El edificio, empezado en 1527, es obra de los florentinos que Jacques II de Chabannes, señor de La Palice, hizo venir desde Italia. La terraza alta del castillo tiene vistas al río Besbre y su valle. Ya en el interior, un magnífico techo de artesones dorados y dos tapices de Les Preux decoran el Salón Dorado. El salón de las Medallas expone numerosas condecoraciones, entre ellas el ancla de oro de Nelson.. La capilla mortuoria de los Chabannes fue reconstruida a mediados del s. XV.