Esta residencia de 15.000 m2 está constituida por el Palacio Viejo y el Palacio Nuevo. El primero, una fortaleza de arquitectura sobria, fue encargado por Benedicto XII en 1334. A Clemente VI, gran príncipe de la Iglesia, artista y pródigo, debió de parecerle demasiado austero y, en 1342, encargó a Jean de Louvres el Palacio Nuevo. La Torre del Guardarropa y dos nuevos edificios cerraron el patio de honor, que hasta entonces era una plaza pública. Aunque el aspecto exterior no cambió, un equipo de artistas dirigido por Simone Martine y Matteo Giovannetti decoró lujosamente el interior.