Este palacio está formado en realidad por cuatro residencias señoriales. Dos edificios góticos del s. XIV adornados con escudos dan a la plaza de Pedro Dávila. Los otros dos, que dan a la plaza del Rastro, pertenecen al palacio episcopal.