El primer castillo fue construido por Roberto II de Normandía, hijo de Guillermo el Conquistador, a finales del s. XI. El torreón es lo único que queda del castillo que lo remplazó en el s. XII. Desde lo alto de esta enorme construcción se abarca toda la ciudad, el río y la campiña a lo lejos. En 1848 no tuvieron reparos en atravesar las murallas del castillo con la red ferroviaria que discurre por varias arcadas hasta llegar a la estación central, separando así el torreón de la pintoresca Black Gate.