Il castello di mare, detto comunemente La Colombaia, secondo la tradizione, fu fatto costruire da Amilcare Barca, su un’isoletta all’estremità orientale del porto, al tempo della Prima Guerra Punica.
Detta anche Torre Peliade il nome Colombaia deriverebbe dall’isolotto Peliàdes (in greco peleia, colomba, specificamente Columba livia). In seguito alla conquista romana la torre fu abbandonata e divenne nido di colombe. Ricostruita nel periodo aragonese prese l’attuale forma ottagonale con volta ad ombrello costolonata: rimaneggiata e rinnovata nei secoli successivi, dopo i moti del 1821 fu trasformata in prigione dai Borboni e fino al 1860 ospitò i patrioti siciliani del Risorgimento.
Inutilizzata dal 1965, anno di apertura del nuovo carcere, nel 2009 entra a far parte del Fondo per l’Ambiente Italiano come Luogo del cuore degli italiani, e nel 2010 passa da bene dello Stato a bene della Regione Siciliana, che ne ha annunciato il restauro.