Pegado a la iglesia de San Pedro, el castillo de Carennac (s. XVI) se compone de un cuerpo principal flanqueado por torretas esquineras y una galería que pasa por encima de las capillas góticas de la iglesia. La recia fachada domina el río Dordoña y la isla de Calipso (o isla Barrade), que recibió su nombre en homenaje a la obra maestra que Fénelon escribió en una torre de la ciudad.