El castillo atestigua la importancia militar de Lydford, que entre los ss. VII y XIII fue un puesto de avanzadilla sajón. El torreón, hoy en ruinas, se construyó 1195 para encerrar a los prisioneros.