Pedro II de Saboya, que se apoderó de Yverdon en 1259, sustituyó una antigua fortaleza inacabada por este edificio dotado de cuatro torres redondas. Actualmente alberga un museo de historia local con una sección dedicada a Johann Heinrich Pestalozzi (1746-1827). Este eminente educador se consagró a la educación de los niños pobres y puso en práctica sus teorías, en particular en Yverdon.