El hospital fue fundado en el s. XVI por el Cardenal Tavera. Después de la guerra, la duquesa de Lerma restauró el ala izquierda instalando un palacio decorado al estilo del s. XVII. En la planta baja hay una biblioteca y varios cuadros entre los que destaca la Sagrada Familia de El Greco. En el primer piso se expone el Retrato del Cardenal Tavera. En el centro del patio, una galería lleva a la iglesia, con otro cuadro de El Greco: el Bautismo de Cristo.