Это место в трех километрах к востоку от современного Чаплыгина издавна притягивало к себе христианских паломников из многих городов и весей великой России. Ступивших на эту землю поражали своим великолепием и красотой здешние природные ландшафты — глубокие и чистые воды речки Московская Ряса, тенистая дубовая роща, почти вплотную подступавшая к правому высокому берегу Становой Рясы. И над всем этим в синеву небес горделиво смотрелись золотые купола церквей.

Петропавловская пустынь, или мужской общежительный монастырь в честь святых апостолов Петра и Павла, сыграл особую роль в жизни православных людей многих поколений. Природа нашего края отличается неповторимой красотой в любое время года, и, видимо, не случайно именно на берегу Московской Рясы было затеяно строительство обители, более чем трехсотлетней истории которой суждено было изобиловать как светлыми, так и трагичными моментами. Знаменательно, что монастырь является как бы памятником победы российских войск над шведами и начала строительства на Неве будущей столицы российского государства — Петербурга. Многое тогда было связано с именем святых Петра и Павла. В Воронежской губернии в том же году был основан Петром I город Павловск, будущий город Новохоперск имел другое название — Петровское, а в столице появилась знаменитая Петропавловская крепость.

Радость от взятия крепости Ниеншанц в устье Невы в апреле 1703-го послужила причиной и выбора названия для монастыря — чтобы монахи молились о здравии государя Петра I и укреплении государства российского.
Митрополит Московский и Рязанский Стефан Яворский дал свое благословение на начало строительство пустыни и ее обустройство, а в 1711 г. прислал иеромонаха Тихона для руководства строительством храмов и всего, что относилось к монашеской обители. В том же году деревянный храм во имя святых апостолов Петра и Павла был освящен и в нем стало проводиться регулярное богослужение. Монастырь расширялся и быстро становился одним из почитаемых мест у тамбовских и рязанских паломников. Из достопримечательностей здесь находились переданные Петром I иконы Петра и Павла, в свою очередь подаренные ему папой Римским Климентом XI, драгоценный крест тонкой работы — подарок А.Д. Меншикова; плащаница, пожертвованная в храм в 1829 г. жителями Новочеркасска.

Местная помещица Бунина в середине XIX в. преподнесла монастырю Тихвинскую икону Божией Матери, что ныне хранится в Михайло-Архангельской церкви села Кривополянье. Каменное строительство здесь было начато при иеромонахе Феофиле. При нем возвели каменный храм во имя святых Петра и Павла, за это деяние он получил сан игумена. При настоятеле Авраамии в монастыре был заведен общежитийный устав. В середине ХIХ в. иеромонах Ириней активно занимается благотворительной деятельностью: он организует сиротский приют для местных крестьян, и первые 15 сирот поступают на содержание монастыря.
А вот что современная Липецкая энциклопедия повествует о дальнейшей судьбе Петропавловской пустыни: «В 1886 пустынью управлял бывший Тобольский епископ Василий, а в 1893 — бывший Тобольский епископ Иустин, устроивший в 40 км от обители скит с храмом Вознесения и школу для детей-сирот. В монастыре существовало 4 храма: собор во имя Петра и Павла с приделом во имя Иоанна Богослова, церковь во имя Иоанна Крестителя с приделом во имя Николая Чудотворца, Успенская церковь и церковь во имя Александра Невского.

На территории монастыря имелось 4 каменных корпуса, в которых располагались настоятельские, братские и больничные кельи, кладовые, хлебни, кухня, просфорная. В одной из башен ограды в 1840 г. была устроена часовня, рядом располагалась книжная лавка. Наиболее почитаемыми старцами монастыря были Мелхиседек (1727-1809), Нафанаил (1779-1861), Пиор (1822-1886), Ириней; при монастыре проживали и юродивые — Авраамий и Герман. После Октябрьской революции 1917 года монастырь был закрыт, а его здания переданы детской колонии. До 1937 все монахи обители были арестованы и высланы из Раненбурга-Чаплыгина». За все годы сменилось уже 42 настоятеля. Новая жизнь монастыря продолжилась в начале XXI века, и сегодня очередное поколение монахов возрождает поруганную обитель...»

Кроме того, существует легенда, будто бы однажды на Петра I была устроена засада, однако покушение оказалось неудачным для врагов Петра, и позже именно в этих местах в память о чудесном спасении царя была устроена пустынь, стараниями Меншикова превращенная в монастырь. Монастырь сейчас возрождается. У его стен на берегу реки Московая Ряса устроен источник в честь иконы Тихвинской Божией Матери с купелью, который известен с давних времен. От источника по ступеням можно подняться к монастырю.