Ya a finales del primer milenio se menciona la existencia de una fortaleza en este lugar. El actual palacio fue edificado en 1666 en estilo barroco y transformado por el arquitecto de Passau, Domenico de Angeli, tras un incendio en 1727. El antiguo torreón, originalmente una torre romana, constituye la parte más antigua.