El enclave fortificado del castillo fue ocupado al menos desde el reinado del emperador Claudio (41-54 d.C.). Muchas son aún las incógnitas acerca de su historia, pero probablemente date de la alta Edad Media. Hoy queda solo una pintoresca maraña de ruinas de diversas épocas hasta el reinado de Enrique II. Dentro del recinto del castillo, el priorato de San Mauricio alberga en la actualidad el Museo de la Montería.