Le testimonianze storiche indicano che nel sito in cui oggi sorge il castello normanno era ubicato un santuario sicano-elimo al quale, in epoca romana, si sovrappose un tempio di modeste dimensioni, dedicato alla Venus Ericina. Il culto della divinità fu iniziato dai Sicani, i quali elevarono una piccola ara all’aperto nel centro del “thèmenos” ossia un recinto sacro.

Successivamente  gli Elimi e i Fenicio-Cartaginesi mantennero il culto della dea e incrementarono la fama del santuario, che divenne famoso tra tutti i popoli del Mediterraneo.

I punici identificarono la dea nella loro Astarte e introdussero usi e riti orientali come la prostituzione sacra e l’allevamento di colombe che per tutto l’anno svolazzavano attorno alle mura del santuario: verso la fine di agosto, guidate da una di loro dalle penne rosse, simboleggiante Venere, avveniva la partenza – anagogia- per la Libia (o per la Colombaia). Durante la loro assenza, il santuario veniva addobbato a festa e al  ritorno –katagogia–   iniziavano le feste, mentre le colombe sostavano sulle mura dell’edificio sacro.

Dopo i Romani il tempio decadde rapidamente, fino all’arrivo dei Normanni che ne fecero una delle roccaforti più importanti dell’isola.