Una fortaleza en un enclave como éste no podía sino despertar la codicia de quien pretendiera ostentar la soberanía del Périgord. De hecho, la historia del castillo se resume a una sucesión de asedios y luchas por su posesión: en 1214 fue tomado por Simón de Montfort, quien lo mandó demoler. Reconstruido y arrasado otras tres veces -durante la Guerra de los Cien Años, bajo Luis XI y bajo Enrique IV-, fueron las restauraciones del s. XIX las que le dieron su actual aspecto de castillo de opereta.