El castillo, ubicado en lo más alto del cerro por encima del mar y la llanura, es de construcción normanda, si bien la zona ya estaba poblada en tiempos antiguos. De hecho, era aquí donde se levantaba el templo de Venus Ericina, diosa particularmente venerada. La fortaleza está rodeada por robustos muros y protegida por su propio entorno y por tres torres exentas, las torres del Bailío.