Durand de Beaucaire inició la construcción del palacio en 1254 o 1265. Bernard de Castanet lo convirtió en una fortaleza provista de un recio torreón que se aprecia desde el río. Poco a poco, la fortaleza se fue dulcificando (el adarve, por ejemplo, es hoy un frondoso paseo de lo más agradable) hasta convertirse en un auténtico palacio, que desde 1922 alberga el Museo Toulouse-Lautrec.