Construido en el transcurso de los ss. XI y XII, es conocido por haber sido propiedad de los obispos de Winchester. Durante la guerra civil Taunton y su castillo fueron asediados hasta en tres ocasiones. Una parte del edificio alberga en la actualidad el Museo de Somerset, que nos propone un recorrido por la historia de la región.