История женского монастыря на Каменной горе в Ельце уходит своими корнями в начало 17 столетия. Тогда, в 1628-1629 годах монахом Савватием в лесу на «старом городище», занимавшим обрывистый каменный мыс, образованный рекой Ельчик и оврагом Каменный верх, был построен скит с деревянной церковью во имя «Рождества Пресвятыя Богородицы и Ея честныя иконы Знамения Курския». В нескольких кельях жили по два-три старца из Троицкого монастыря. В 1657 году в скиту проживало 5 монахов. В это время, при поддержке Елецких купцов благотворителей и воеводы была построена вторая церковь во имя Николая Чудотворца, тогда же монастырь был обнесён деревянным забором. Тихая и уединённая жизнь монахов Троицкой обители закончилась в 1683 году, когда поступил указ епископа Митрофана о преобразовании Каменогорского скита в женский монастырь. В это время в обители действовали храмы, построенные ещё монахами скита. Так же Троицкий монастырь передал насельницам часть своих земель.

В 1764 году с учреждением штатов «Елецкий Богородицкий» женский монастырь был упразднён указом Екатерины Второй. Монахиням предписывалось покинуть обитель и переселится в единственный оставшийся штатным монастырь епархии – Воронежский Покровский. Но, несмотря на указание покинуть монастырь, елецкие монахини продолжали жить в своих кельях на Каменной горе. Не получая жалования, насельницы существовали на помощь от жителей города. Упразднением монастыря беды для оставшихся в нём матушек не закончились. В 1769 году во время большого пожара в Ельце сгорели и все постройки Знаменского монастыря. В это время в обители оставалось три монахини, которым удалось спасти лишь некоторую церковную утварь, а на пепелище обрести нетронутыми пламенем три иконы. Две старица, оставшиеся на пепелище, наотрез отказались покинуть Каменную гору. Монахини жили в уцелевшем каменном погребе, покрытом дубовыми ветвями. Позже силами благотворителей для стариц выстроили новую келью по просьбе епископа Тихона Задонского. А в 1770 году силами прихожан на месте сгоревшей обители был выстроен новый небольшой деревянный храм во имя иконы Знамения Пресвятой Богородицы, а при нём открыт приход. Постепенно росло число сестёр, поселившихся на месте прежнего монастыря. В связи с чем, ельчане в 1774 году решили ходатайствовать о восстановлении в городе женского монастыря, однако получили отказ. Посетив любимый им Елец в последний раз в 1779 году, святитель Тихон Задонский побывал и на Каменной горе, увидел население её, и благословил всех монашествующих и указал место строительства соборного храма.

К 1795 году в общине в 21 келье проживала 41 насельница. Кельи были построены в две линии, меж которыми находилась церковь. Все постройки обнесены деревянной оградою на столбах. Многие из насельниц занимались шитьём, вышиванием золотом, изготовление свечей. Но поскольку монастырь существовал неофициально, в том же 1795 году, поступил губернский приказ его ликвидировать, а постройки сломать или продать, но указание выполнено не было.

В конце 18 века, сестры, укреплённые благословением Святителя Тихона, приступили к строительству каменного храма. Но из-за нелегального положения обители, соборный храм строился как приходской. В это время была заложена храмовая часть в классическом стиле, с большою квадратной световой главою со срезанными углами, с шестью колонными портиками по сторонам. Собор строился на средства елецких купцов и людские подаяния. В 1805 году был освящён первый престол новой соборной церкви, а в 1813 году состоялось его полное освящение. После окончания строительства нового собора ельчане вновь решили начать хлопоты о восстановлении на Каменной горе женской монашеской обители. После долгих лет прошений и согласований в октябре 1822 году император Александр Первый подписал указ о возрождении Знаменского женского монастыря, а открытие его состоялось 15 апреля 1823 года. К этому времени в обители было построено 46 келий и проживало 117 монашествующих.

В 1829 году по указу Орловской духовной консистории начата постройка большой трёхнефной каменной трапезной Знаменского собора, а в нижнем этаже, которой устроена двухпрестольная тёплая церковь. Вокруг монастыря, вместо обветшалой деревянной стены по проекту архитектора Шарлеманя было начато строительство новой кирпичной ограды с четырьмя башнями по углам и тремя воротами. Окончательно ограда выполнена к 1844 году. В это же время была разобрана старая деревянная церковь Знамения Пресвятой Богородицы.

В 1839 году орловский епископ Никодим ходатайствовал перед Синодом о строительстве в Знаменском монастыре каменной колокольни. Комиссия утвердила проект в 1840 году, а через год начато строительство на западной стороне обители. Строительство её завершилось в 1861 году. Трёхъярусную каменную колокольню венчал шпиль с золочёным крестом, а в первом ярусе – святые ворота. В 1841 году с южной стороны монастыря был устроен спуск в виде широкой лестницы с перилами к святому колодезю, а также построена просфорня. В 1872 году на средства благотворителей был построен деревянный на каменном фундаменте корпус, а на могиле затворницы благочиния Мелании сооружён каменный фундамент, на котором поставлен решетчатый чугунный памятник с дверью, в виде малой часовни, увенчанной наверху крестом.

В 1885 году с южной стороны Знаменского монастыря устроены святые ворота, украшенные живописными изображениями святых. В 1890 годах на южном склоне горы, близ южных ворот в двухэтажном доме открылась церковно-приходская школа на 100 девочек. В этом же году состоялся ремонт Знаменского собора. А через два года в приобретенном деревянном доме, устроена больница для сестёр.

В начале 20 века обитель приобрела тот вид и то значение, которыми славилась далеко за пределами Ельца и Орловской губернии. В эти годы в Каменогорском монастыре насчитывалось до 217 насельниц. Обитель обладала большим количеством древних и чудотворных икон, но подлинным её достоянием является жизнь блаженной затворницы Мелании, впоследствии канонизированной РПЦ.

Но все красоты духовного подвига сестёр и внешнего вида самой обители не помешали советской власти уничтожить монашеский городок на Каменной горе. После революции 1917 года службы в Знаменском соборе ещё продолжались, а монахини ещё некоторое время жили по монастырскому обычаю. Гонения на обитель начались сразу же после революции, и с каждым годом всё хуже. Власть стремилась разрушить монашескую жизнь, максимально усложнить существование монашествующим и, в конечном итоге, закрыть монастырь. В 1918 году обитель лишилась хозяйственного имущества, земель. В 1919 году от коммуны, расположившейся в Троицком монастыре, поступило предложение о создании её второго отделения в Знаменском монастыре. Но это предложение, как и предложение о закрытии, поступившее в 1920 году, не было утверждено. В 1922-1923 годах из монастыря изъяли церковную утварь, некоторые книги и иконы. Дабы обезопасить себя от нападок безбожной власти и сохранить за собой жильё, монахини в 1922 году образовали трудовую артель. А в 1926 году была создана ещё одна артель, входившая в Елецкий союз кружевниц. Благодаря этому насельниц на некоторое время оставили в покое, и в целом жизнь в обители не изменилась. В 1924 году были арестованы настоятельница игуменья Антония и настоятель Знаменского собора протоиерей Владимир Кавказский, но суд вскоре отпустил их. Во второй половине 1920-х годов ещё более углубился раскол среди насельниц монастыря, вызванный распространением в регионе оппозиционного движения из-за декларации митрополита Сергия. Часть матушек открыто поддержали оппозицию, в связи с чем они удалились из обители во Владимирскую церковь Чёрной слободы, где служил противник митрополита Сергия – епископ Воронежский Алексей (в 1928-1929 году находился в ссылке в Ельце).

Тем временем нарастала антимонастырская компания, развёрнутая местными властями в 1928 году. В январе 1929 года елецкая газета «Красное знамя» призвала к разгону монастыря и развернула клеветническую компанию против его насельниц. Благодаря лжи и абсурду, постоянно очерняющим монахинь, в марте 1929 года Елецкий горсовет принял решение о закрытии монастыря и передачи его зданий под «культурно-просветительские цели». И в конце мая 1929 года все монашествующие покинули свои кельи и в освободившиеся 120 квартир въехали семьи рабочих. Тяжело сложились судьбы бывших насельниц обители – многих приговорили к длительным срокам заключения, расстрелу, а последняя настоятельница игуменья Антония, отбывшая трёхлетний срок заключения, вернувшись в Елец, приняла мученическую смерть. Так же печально сложилась судьба всего монастырского комплекса. Первое время после закрытия его постройки использовались под жильё и постепенно приходили в упадок. В 1937 году начался разбор Знаменского собора, окончательно разрушенного во время войны. В эти же годы были сломаны часовня на святом источнике под Каменной горой, некоторые кельи, трапезный корпус. Выстояли лишь колокольня, часть монастырской стены и несколько келий. Именно эти «остатки» в 1974 году поставлены под охрану как памятник истории и архитектуры республиканского уровня, однако ни каких мер по их спасению принято не было. В 1980-х годах предпринимались попытки реставрации, но они ни к чему существенному не привели.

В 1997 году комплекс монастырских строений был передан РПЦ в лице общины Вознесенского собора. Силами общины за несколько лет был расчищен фундамент Знаменского собора, у алтаря которого установлен крест с лампадой и уложены сохранившиеся могильные плиты с древнего монастырского кладбища. В 1998 году власти города передали верующим участок земли под Каменной горой у южной лестницы для восстановления надколодезной часовни и устройства купальни, проект которых выполнил А.В. Новосельцев. В 2001 году общине Вознесенского собора пыли переданы три домика из числа бывших монастырских келий, в одной из которых была устроена домовая церковь.