El castillo de arenisca domina la ciudad desde su loma, en la que ya se levantaba una fortificación en época sajona. Fue el barón normando Guillermo de Mohun quien emprendió su construcción. Cuando George Fownes Luttrell heredó la propiedad en 1867 le encargó al arquitecto Anthony Salvin que transformase el castillo en una mansión fortificada de inspiración jacobina.