Castle Fraser es la mayor de las fortalezas de Midmar y es un admirable ejemplo de las construcciones defensivas de este periodo (1560-1636). Al mismo tiempo que le dieron una forma tradicional de casa fortificada, los albañiles (los Bell y los Leiper) le proporcionaron un carácter muy personal por el esmero de los detalles decorativos. El castillo se comenzó en 1575 y se terminó en 1636, fue propiedad de los Fraser hasta el s. XX y actualmente pertenece al National Trust for Scotland.