En 1679, mientras realizaba las obras de fortificación de la plaza de Villefranche, Vauban pensó que una buena manera de protegerla sería construyendo un fuerte en la montaña. Éste sería reformado en el s. XIX y se le dotó de una escalera conocida como de los "mil escalones" (en realidad son 734), realizada en mármol rosa del Conflent, que une la fortaleza a la ciudad. Compuesto por tres recintos amurallados que se apilan uno sobre otro para salvar la pendiente del terreno, el edificio fue utilizado como prisión durante el reinado de Luis XIV en el "asunto de los venenos".