Las ruinas del castillo de los señores de Valkenburg se alzan por encima la ciudad: de la fortaleza construida hacia 1115 y asediada en numerosas ocasiones solo quedan trozos de muro y algún que otro arco apuntado. El castillo fue arrasado en 1672 por orden el rey-estatúder Guillermo III. Desde la terraza se divisan bellas vistas de la ciudad y el verde valle del Geul.