El pintor Ferdinand Bol, alumno de Rembrandt y famoso retratista, vivió en esta casa propiedad al negociante Van Raey. La familia Van Loon, cofundadora de la Compañía de las Indias y propietaria desde 1884, decidió convertirla en museo. Quedará seducido por la decoración de la casa, así como por los cuadros del artista. Destacar también la magnífica barandilla de escalera (segunda mitad del s. XVIII) con entrelazos de cobre y el jardín de estilo francés, que parece un parque en miniatura.