Giorgio Vasari construyó en 1607 este palacio sobre el solar de dos edificios anteriores incorporando los restos de la llamada torre del Hambre. Cuentan las crónicas que en esta torre el conde Ugolino della Gherardesca, comandante de la flota pisana, fue condenado a morir de hambre junto a sus hijos tras una derrota atribuida a su traición. El propio Dante cita este episodio en El Infierno de su Divina comedia (canto XXXIII).