En previsión de una gran afluencia turística hacia la costa del Pacífico, los promotores inmobiliarios de principios del s. XX firmaron un acuerdo con la Canadian Pacific Railroad para establecer una conexión marítima rápida entre el continente y Victoria, y empezaron a construir grandes hoteles. El proyecto inmobiliario iniciado en 1904 preveía la desecación de las marismas situadas al este del actual puerto interior (que por aquel entonces servía de vertedero a las empresas del lugar) y la construcción de una calle empedrada (la actual Government Street). El arquitecto inglés Francis Rattenbury concibió el edificio de origen del Empress como si fuera un castillo, compuesto por la sucesión de varias alas. El hotel de 116 habitaciones se inauguró a bombo y platillo en 1908 y se hizo famoso gracias a sus jardines, a sus palmeras plantadas en macetones, a sus tés vespertinos y a sus suntuosas veladas. Frecuentado por miembros de la realeza, famosos, viajeros acaudalados y recién casados, el hotel fue renovado en profundidad en 1989.