El primer edificio defensivo de Celje, el llamado "castillo viejo", fue construido en la primera mitad del s. XIII. Un siglo más tarde pasaba a manos de los señores de Žovnek, que en 1341 se convertían en condes de Celje. Su ambiciosa reconstrucción, la cual buscó conservar su aspecto defensivo, lo convirtió en una lujosa residencia. Prueba de ello es la torre Frederick, en la parte este del castillo. Tras ser remodelado en varias ocasiones, en el s. XIX sirvió como cantera antes de que, en 1882, la poderosa fortificación empezara a renacer de sus ruinas.