Cuenta la leyenda que su nombre se remonta a los tiempos de las cruzadas. Por aquel entonces, un señor que se había quedado solo con sus sujetas, pereció por un exceso de complacencia hacia las pobrecitas que sufrían de soledad. Cuando su alma echó a volar se vio un enorme buco planeando sobre el castillo que, desde ese momento, empezó a conocerse como Castelbouc. Las ruinas del castillo, que se yerguen sobre un escarpado promontorio de 60 m, parecen inaccesible. A sus pies encontramos un pueblecito troglodítico encaramado a la roca caliza que se mira en el Tarn.