El castillo de Karatsu, levantado en lo alto de un cerro entre 1602 y 1608, fue edificado por voluntad del señor Terasawa Hirotaka, que mandó utilizar para su construcción las ruinas del gran castillo de Hizen Nagoya del general vencido Toyotomi Hideyoshi. Desmantelado durante la era Meiji, el castillo fue reconstruido en 1966 y hoy acoge objetos hallados en excavaciones arqueológicas, armaduras de samuráis y cerámicas de estilo Karatsu. Desde lo alto del torreón se divisan espectaculares vistas de las islas, la playa y el comienzo de la península de Higashi-Matsuura.