Este castillo, uno de los mayores de Provenza, lo empezaron a construir los emperadores del Santo Imperio Romano Germánico (Empéri significa "imperio" en provenzal) en el s. X sobre el promontorio del Puech. Durante los ss. XIII a XV se convirtió en la residencia favorita de los arzobispos de Arlés. Hoy alberga el Museo de l'Empéri, Museo de Arte e Historia Militar, que contiene una de las mejores colecciones de uniformes militares franceses, además de banderas, condecoraciones, armas blancas y de fuego, cañones, pinturas...