El ayuntamiento ocupa el antiguo palacio episcopal (Castres fue sede diocesana entre 1317 y 1790), construido en 1669 según planos de Mansart. La primera planta alberga el museo Goya. En el patio, la torre de San Benito, recia construcción románica con una elegante portada, es el único vestigio de la antigua abadía de San Benito.