Основатель монастыря чёрный поп Иосиф, в прошлом священник с. Степанищево Козловской округи. В 1627 г. он поселился в лесу на берегу р. Лесной Воронеж в трёх верстах от того места, где через восемь лет был заложен г. Козлов. Со временем к Иосифу стали приходить другие любители монашеской жизни, образовалась небольшая община, где духовный авторитет старца Иосифа был непререкаем. Известны имена трёх сподвижников старца: Пафнутий, Агафоник и Нифонт. Они сами построили себе келии, а для молитвословий – деревянную часовню.