Известный с XVII века (по другим данным — с середины XVI) основной храм и построенные позднее две церкви: надвратная Ахтырской иконы Божией Матери и придельная — Екатерины. Собор вначале был деревянным.
Некоторые источники датируют время основания 1550-ми годами, другие — 1630-ми. Первоначально как иезуитский, монастырь довольно быстро был преобразован в православный. Одна из связанных с монастырём легенд гласит, что здесь воспитывалась мать будущего Петра I, Наталья Нарышкина, о чём он не забыл и повелел построить в память об этом величественный собор.
В православной «ипостаси» монастырь работал как женский. Первая игуменья — Ираида Куракина.
В конце XVII века деревянная постройка пришла в негодность. Тогда по повелению царя был заложен каменный монастырь (зодчий — Осип Старцев). Достраивали собор сначала Данила Калинин, а потом — Кондрат Мымрин. При этом на здании были установлены часы — невиданное новшество для Смоленска. Зодчему также пришлось заниматься реставрацией крепостной стены.
Придельная церковь была построена в 1764-75 гг., а надвратная ещё позднее — в 1827-30 гг. При французах монастырь претерпел разорение, но быстро был восстановлен. В советское время не работал.
Во время Великой Отечественной обитель была серьёзно разрушена, а реставрация началась только во второй половине 1960-х. После этого там проходили выставки. Только в 2004 году монастырь возобновил свою непосредственную деятельность. Для звонницы на Балтийском литейном заводе было отлито 14 разноразмерных колоколов.