El palacio tal como lo vemos en la actualidad fue construido principalmente por el obispo Gower (1328-1347). El recinto es algo anterior. Consta de un patio bordeado en tres de sus lados por largos edificios y en el cuarto por un muro abierto por una puerta con arbotantes. El edificio que alberga la sala del obispo, la cocina, la capilla y la habitación de las mujeres era probablemente la residencia principal. La gran sala que se encuentra al sur servía probablemente para acoger a huéspedes importantes.