В 1921 году, ещё будучи студентом, Кастере принял участие в конгрессе Международного института антропологии в Арьеже, чрезвычайно его заинтересовавшем. Его увлекли доклады, научные беседы и дискуссии выдающихся археологов, а во время экскурсии по пещерам-памятникам доисторического искусства он приобрёл практические навыки их изучения. И вскоре он уже сам, в одиночку, сумел сделать ряд важнейших археологических открытий. Настоящей сенсацией стали находки Кастере, сделанные в 1923 году в пещере Монтеспан. Он нырнул в выходящую из-под земли реку, не зная ни её длины, ни направления, однако не утонул, не раскроил себе череп, а вынырнул в подземном гроте, где обнаружил прекрасно сохранившуюся стоянку людей каменного века — их орудия, наскальные рисунки… На окаменевшем глиняном полу среди отпечатков босых ног, ступавших здесь десятки тысяч лет назад, стояла грубая глиняная болванка, отдалённо напоминающая статую медведя. Рядом на полу лежал медвежий череп. На «статуе» можно было заметить следы от медвежьей шкуры и вмятины от дротиков и копий. Неподалёку на стене Кастере увидел три рельефных изображения зверей, тоже безголовых, похожих на львов, которые были вырезаны в глинистых напластованиях. На стене были нацарапаны и изображения лошадей. Никто не входил в эту пещеру после охотников палеолита. Всё так и оставалось в неприкосновенности… Затем были десятки других интересных открытий в пещерах Франции, Испании, Марокко.
Систематического естественно-научного образования у Кастере не было, что не помешало ему, однако, сделать выдающиеся открытия в области не только археологии, но и биологии (эксперименты с перелётами летучих мышей и т. п.), гидрогеологии, минералогии и, конечно, в первую очередь — подземной топографии. Кастере уважали и ценили крупные учёные. Они внимательно прислушивались к его советам, не раз вместе с ним спускались в подземные полости.
Исследование пещер было сопряжено с постоянным риском. Десятки раз Кастере попадал в сложнейшие ситуации. «Исследование пропасти Мартеля, открытой мной в 1933 году и в течение десяти лет считавшейся самой глубокой во Франции, досталось мне ценой больших усилий, — вспоминает он. — Плохо снаряжённый, работая с помощью жены и ещё двух отважных, но неопытных товарищей, я пережил в этой пропасти беспокойные часы. Во время моего первого спуска в эту пропасть я остановился на глубине шестидесяти метров там, где подземный каскад исчезает под нагромождением колоссальных камней, почти полностью закрывающих весь наклонный туннель. Обследовав это препятствие, я убедился, что оно находится в состоянии неустойчивого равновесия и малейший толчок может вызвать камнепад. Через несколько дней я отважился влезть на эту гигантскую ловушку, считая, что основные мои козыри — ловкость и малый вес. Добравшись до вершины, я спустился по другую сторону, очень довольный, что прошёл без всяких затруднений и что наклонный коридор идёт дальше. Чары были разрушены, и с тех пор я много раз с женой и помощниками проделывал свои опасные упражнения. Но однажды произошла катастрофа. Каменный барьер, который я с самого начала счёл очень опасным, но к которому мы постепенно привыкли, рухнул с ужасающим грохотом. Глыбы в три-четыре кубических метра летели кувырком и разлетались в стороны в русле потока, у которого мы все стояли. Чудом никого не задело, и во всей этой передряге погибла лишь часть оборудования, которое у нас буквально вырвало из рук».
А вот другое, не менее опасное приключение: