El castillo consta hoy únicamente de una gran sala que formó parte de la casa fortificada que se hizo construir Walkelin de Ferrers en el s. XII. Las paredes de la sala, una magnífica muestra de arquitectura doméstica románica, están recubiertas con más de 200 herraduras de todos los tamaños. La herradura figuraba en el escudo de armas de los Ferrers, y todos los pares del reino o miembros de la realeza que atravesaban sus tierras debían dejar una como indemnización.