El primer castillo fue construido en el s. XV por Piers Butler. Hacia 1560, los restos del edificio primitivo fueron integrados en parte en una mansión de estilo puramente isabelino por Thomas Butler, décimo conde de Ormond, para recibir a su prima: la temperamental Isabel I de Inglaterra. El interior es famoso por su gran galería y por su importante colección de cédulas, en virtud de las cuales la corte de Londres otorgaba títulos y privilegios a la familia Ormond.