Este edificio fue fundado en 1542 por lord Audley (originario de Audley End), en el emplazamiento de un colegio benedictino. Detrás del segundo patio se erige el Pepys Building, edificio que alberga la biblioteca personal de Samuel Pepys, que legó al colegio en 1703 y que cuenta con el manuscrito de su Diario, redactado en un idioma codificado.