El castillo, edificado en el s. XII por el arzobispo de Salzburgo, protegía desde lo alto de su peñasco la margen izquierda del Sava. Este imponente edificio a cuyos pies fue fundada la ciudad de Brežice ("orillita") fue renovado a mediados del s. XIV, destruido por las revueltas campesinas en 1515 y restaurado en los ss. XVII-XVIII, sirviendo sucesivamente como fortaleza, centro administrativo y residencia principesca. El mecenas Ignaz Maria Attems (1652-1732) mandó la reconstrucción del ala este y de la sala de los Caballeros, con magníficos frescos.