A principios del s. XIII este edificio era la sede episcopal del obispado de Moray. Cuando la sede se trasladó a Elgin siguió siendo la residencia de los prelados. Entre las diferentes construcciones destaca la torre de Davie, un torreón de seis pisos con recios muros de 2.7 m de grosor.