Residencia principal de los condes de Morton desde 1642, el castillo fue abandonado en beneficio de Aberdour House en 1725. El castillo actual se compone de la torre primitiva del s. XIV, cuya parte superior fue reconstruida en el s. XV. Al sur del castillo, los terrenos estaban acondicionados en terrazas, tras las que se encontraban un palomar y un huerto.