Las cuevas están situadas al principio del desfiladero. Cox's Cave fue descubierta en 1837 y Gough's Cave en 1890. Una serie de recámaras siguen el curso de arroyos subterráneos que atraviesan la caliza porosa. Los colores de las estalagmitas y estalactitas, las coladas petrificadas, las cortinas de encaje y las columnas dependen de los minerales que componen la caliza: rojo óxido (hierro), verde (manganeso) y gris (plomo).