Varberg jugó un papel estratégico desde la Edad Media. Fundada hacia 1280 sobre un promontorio rocoso, la fortaleza fue ampliada en el s. XIV y se convirtió en plaza fuerte real bajo el reinado de Magnus Eriksson. El castillo actual, de estilo renacentista italiano, es obra del holandés Hans van Steenwinckel el Viejo (1617). Utilizado como prisión entre 1848 y 1881, hoy alberga los fondos del Museo de Historia de Halland, entre los que se incluye el Hombre de Bocksten (s. XIV), hallado en una turbera en 1936.