Rough Point, que recibe su nombre por la zona rocosa en la que se encuentra, fue construido en 1891 por Frederick W. Vanderbilt en un terreno de cuatro hectáreas dominando el océano. James B. Duke, el magnate del tabaco de Carolina del Norte y fundador de Duke Power, compró la mansión de estilo Gótico en 1922. En 1925, cuando murió, su única hija, Doris, heredó la casa y su colección de arte y antigüedades. En los 68 años que Doris fue dueña de Rough Point siguió ampliando la colección, compró numerosos muebles y retratos europeos de los ss. XVI al XVIII. Hoy en día, la "casa de campo" de 3.716m2 es un monumento al exigente gusto de Duke, y prácticamente no ha cambiado desde su muerte en 1993.