Su emplazamiento, sobre un vado del río, ha sido siempre muy codiciado. En un primer lugar fue ocupado por tribus germánicas y eslavas. En el s. X el lugar cae en manos de los soberanos premislidas de Bohemia y erigen en él una fortaleza. En 1179 el emperador Federico Barbarroja emprende la edificación del actual castillo imperial. Aún hoy siguen en pie algunos elementos como la torre del homenaje en basalto, conocida como la Torre Negra (Cerná vež), y la sala alta de la capilla, decorada con columnas, capiteles esculpidos y bóvedas nervadas.