El palacio fue mandado construir por Ferdinand Bonaventura, conde de Harrach. Las obras se iniciaron en 1689, siguiendo los planos realizados por Domenico Martinelli, aunque quien lo concluyó fue Johann Lukas von Hildebrandt. En 1845 sufrió una gran transformación tras suprimirse el frontón de la fachada principal y reorganizar el patio. El edificio fue bombardeado en 1944 y fue reconstruido en estilo barroco.