Construida en la loma de una colina situada en una antigua finca de 32 hectáreas del Toronto del s. XIX, la casa que alberga el Spadina Museum cuenta aún con un jardín de 2,5 hectáreas en un elegante barrio residencial. En 1866 James Austin adquirió la propiedad y decidió remplazar la vivienda que había (1836) por una casa nueva de estilo georgiano. El éxito de su tienda de ultramarinos le permitió hacerse con una parte importante de la Consumers' Gas Compagny, de la que acabaría tomando el mando. Más tarde fundaría el Dominion Bank (constituido en sociedad en 1869) y sería nombrado su primer presidente. Esta mansión de ladrillo de 50 habitaciones sirvió de residencia al hombre de negocios y a sus descendientes. Estos últimos adaptaron el edificio a los estilos arquitectónicos que se iban poniendo de moda y al tamaño de la familia. El hijo de Austin añadió una sala de billar en 1898; las terrazas y el arco cubierto para el coche en 1907. La segunda planta, con tejado inclinado y buhardillas, se construyó en 1912.