Сперва был на этом месте мужской Афанасьевский монастырь, основанный в XV веке.[1] Назывался также Холопьим, по соседству с так называемым Холопьим городком.[2] Впервые упоминается в 1509 году, когда угличский князь Дмитрий Иванович Жилка отказал монастырю поместье.[2]
Монастырь состоял приписным к угличскому Воскресенскому монастырю. К концу XVII века пришёл в упадок. На момент упразднения в 1764 году за монастырём числилась 1371 крестьянская душа. Обращён в приходскую церковь. В 1795 году здесь открыт женский монастырь.
На конец XIX века имелось четыре церкви: построенный в 1788 году тёплый Троицкий собор с тремя престолами — Святой Троицы, Всех скорбящих Божией Матери и святых Афанасия и Кирилла; построенный в 1840 году холодный собор Сошествия Святого Духа с тремя престолами — Сошествия Святого Духа, Тихвинской Божией Матери и Николая Чудотворца; построенная в 1826 году тёплая церковь Успения Божией Матери с одним престолом; построенная в 1890 году недалеко от ограды кладбищенская церковь Усекновения Главы Иоанна Предтечи.
Главной реликвией монастыря являлся древний (начала XIV века) список Тихвинской иконы Божией Матери, прославленный чудесами. Согласно преданию, икону принёс из Ярославля как отцовское благословление первый Мологский князь Михаил Давидович. В 1929 году святыня была передана в Мологский уездный музей им. Н. Н. Розова. Во время кампании изъятия из музеев предметов из цветного металла в 1930 году её забрал (сохранился акт изъятия) исполняющий должность начальника Мологского ОП ОГПУ. Дальнейшая судьба иконы неизвестна.
После революции монастырь существовал как Афанасьевская трудовая артель. 3 января 1930 года состоялась последняя служба; после литургии всех вытолкали из храма, а колокола перебили. Монастырь затоплен при строительстве Рыбинского водохранилища в 1940-х годах.
В часовне бывшего подворья монастыря в Рыбинске действует Музей Мологского края им. Н. М. Алексеева.