Oficialmente descoberta por Richard Krone em 1891, a Caverna do Diabo já foi conhecida pelos moradores dos antigos quilombos da região, que usavam a área fresca logo na entrada da caverna para guardar e preservar a colheita.  Freqüentemente, entretanto, encontraram os seus  “estoques”  remexidos ou espalhados fora da caverna e interpretaram esse resultado das ações dos animais da floresta como o trabalho do diabo.  A lenda ganhou força porque os moradores ouviram os sons da água vindo  do interior da caverna e acharam que eram vozes de pessoas conversando.  Essas pessoas “perdidas” também remetiam ao diabo. 

Passando o portão de ferro que protege a caverna, o visitante entra um mundo fantástico, cheio de maravilhas.  Ao percorrer a parte da caverna adaptada para o turismo, passa por bichos estranhos esculpidos de pedra, como o rinoceronte e o elefante, como também o altar, o bolo da noiva, e a fonte batismal.  Nesse mundo subterrâneo único, o visitante observa formações exóticas de cores variadas.  Essas formações incluem os perpétuos estalactites, pendurados não somente do teto, mas também em outras formações.  Outras formações incluem os estalagmites, sendo o mais alto nessa caverna sobe 18 metros. Os minúsculos heligtites que crescem loucamente, aparentemente superando as leis da gravidade, e as cortinas transluzentes que brilham em  tons de laranja quando iluminados por traz pela luz de uma lanterna.  A cavidade original foi aberta pela ação das águas pluviais, que incorporaram gás carbônico ao passar pelo atmosfera.  O gás carbônico dissolvido na água formou um ácido fraco, que corroeu o calcário quando entrou em contacto.  Essa cavidade continua a crescer, devido à ação das águas do Rio das Ostras, que percorre os 8 KM da caverna, saindo pela ressurgência das Ostras. 

Depois de aberta essa cavidade original, entretanto, continuou a penetrar pelo solo essa mesmo água, levemente ácida,  que passou por micro-fraturas no calcário.  Durante essa passagem, dissolveu a calcita das pedras e a depositou quando a água evaporou no interior da caverna uma vez que entrou em contato com o ambiente relativamente livre de gás carbônico.  A lenta evaporação das gotas de água que formaram no teto deixaram anéis minúsculos, que com o tempo formaram canudos, numa velocidade de menos que um milímetro por ano.  Esses canudos engrossaram com a água escorrendo na superfície exterior e depositando a carga de calcita, enquanto as gotas que caíram antes da evaporação deixaram a sua carga de calcita no chão para crescer para cima na forma de estalagmites.  Esses estalagmites formam em baixo dos estalagtites, e a junção dos dois dá origem as colunas.