Justo a la izquierda de la fortaleza, en la plaza de Armas, el marqués de la Torre mandó construir en 1772 una Casa de Correos. Este edificio albergaría posteriormente la Real Intendencia de las Finanzas, y más tarde las oficinas del Ejército. Cuando en 1854 se convirtió en la residencia del vice-capitán general de la isla recibió el nombre de Palacio del Segundo Cabo. A principios del s. XX pasó a ser sede del Senado y más tarde, en 1929, del Tribunal Supremo Popular. En la actualidad alberga una institución cultural.