Интерес к пещерам, расположенным недалеко от села Усть-Кяхта, появился в конце восемнадцатого века. Впервые они были описаны в трудах исследователя, писателя Владимира Птицына, в его знаменитой книге «Селенгинскя Даурия», вышедшей из печати в 1896 году. . В них находили приют не только люди каменного века, но и Робин-Гуды века девятнадцатого.
Усть-Кяхтинские пещеры расположены в полутора километрах от села на правом берегу реки Селенга. Наиболее известная и доступная для посещения, так называемая «Капустинская», названа она по имени солдата Троицкосавского батальона, укрывавшегося здесь от преследования властей за совершенные преступления. Местные жители прозвали его кяхтинским Робин гудом: грабил купцов и делился награбленным с бедными крестьянами. На входе в пещеру можно увидеть еле заметные рисунки- петроглифы, относящиеся к позднему палеолиту
Владимир Жаров, корреспондент ГТРК «Бурятия»:
- С установлением торговых отношений с Китаем в начале восемнадцатого века через слободу Усть-Кяхту шли караваны с чаем к хребту Хамар-Дабан.Село Усть-Кяхта можно отнести к селам с богатейшей историей Отечества, это село богато археологической историей. Только в конце девятнадцатого века, учителем из Тарбагатая Александром Мартисом были открыты более двадцати стоянок человека, который проживал в позднем палеолите, а также найдены две пещеры, вот одна из них.
Пещера Баян Дэлгэр, длинной двадцать семь метров, высотой десять - столетиями служила укрытием для человека каменного, бронзового веков
Динара Данжеева, участница экспедиции «Новый вектор. Усть-Кяхтинские пещеры»:
- Войдя в пещеру, я почувствовала ощущение такой безопасности, стабильности, можно здесь укрыться и спокойно проводить время.
Она была надежным укрытием от непогоды и диких зверей, на стенах еще сохранилась копоть от кострищ ушедших веков. Сегодня пещера привлекает путешественников и исследователей древних культур, историко-археологические находки, сделанные учеными в двадцатом веке, позволяют говорить о родственных связях жителей Северной Евразии с жителями Забайкалья.
