Первоначально икона была принесена в город Романов (ныне левобережный город Тулаев) в 1588 году жителем этого города Герасимом, который получил исцеление в Казани. Он находился там по делам и в видении получил указание Божией Матери приобрести икону в одном из магазинов, привезти ее в Романов и построить в ее честь православный храм. Многие чудеса и исцеления произошли благодаря вновь открытому святилищу. В марте 1609 года Романов был разорен польско-литовскими интервентами. Среди них был литовец православного вероисповедания Якуб Лубский. Он взял икону Божией Матери и позже привез ее в Ярославль. Город сильно пострадал от захватчиков, действовавших во имя Лжедимитрия, и многие жители погибли, потеряв своих близких и имущество. Узнав о наличии Казанской иконы в Ярославле, они стали просить Любского продать реликвию, но он отказался. Затем он раздал икону бесплатно. Ярославцы поместили икону в храм Славы Божией Матери при Димитриевском приходе. Враги покинули город в мае 1609 года. Диакону Елеазару из Крестовоздвиженской церкви было откровение от Божией Матери, которая повелела посадским и сервитам построить православный храм в честь чудотворной иконы. Жители, находившиеся в зависимости от церкви, построили ее в благодарность за избавление от захватчиков. Перед освящением храма в его стены торжественно внесли икону Ярославской Божьей Матери. Вскоре в церкви поселились 72 монахини из разоренного врагами Рождественского монастыря. Так было положено начало Казанскому женскому монастырю и почитанию чудотворной иконы.
Два раза в год проходили крестные ходы с чудотворным образом Ярославско-Казимирской иконы Божией Матери. С 1761 года икона привозилась в город Романов в июне. Икона путешествовала по левому берегу Волги и в Романове была помещена в Преображенскую церковь в Казани, где должна была провести три недели, после чего ее должны были перевезти на Правый берег, в Воскресенскую церковь. Через две недели икона была отправлена в Ярославль на правом берегу Волги. Вторая процессия 1800 года отправилась в Рыбинск в июле, после религиозного праздника монастыря. Там икона пробыла семь недель. Шествие двигалось по правому берегу Волги до Рыбинска и обратно — по левому берегу.
Сегодня восстанавливается традиция крестных ходов с Казанской иконой. Каждый год в июле многодневный крестный ход проходит по левому берегу Волги через левый берег Тувы (Романов) до Рыбинска, обратно по правому берегу через правый берег Тувы (Борисоглебск) до Ярославля. Процессия останавливается во многих церквях и деревнях.
Казанский монастырь пережил много разрушений и период запустения в 20 веке, разделив судьбу многих российских монастырей. В 1918 году, во время подавления антибольшевистского восстания, монастырь был сильно поврежден. В том же году он был закрыт. Архиепископ Феодотия и ее сестры переехали в Толгский монастырь, который все еще действовал. В 1920-21 годах в монастырских зданиях размещался один из ярославских концентрационных лагерей.
Некоторое время Покровский храм функционировал как приходская церковь. Здесь хранились главные святыни монастыря — Ярославская Казанская икона Божией Матери, икона Нерутворского Спаса и Троеручица. После закрытия церкви община была переведена в Крестовоздвиженскую церковь, куда были перенесены и святые мощи. В 1931 году этот приход был ликвидирован, судьба святынь, в том числе Ярославской Казанской иконы, неизвестна. Сохранилась лишь живописная рама чудотворной иконы, которую можно увидеть в древнерусском отделе Ярославского художественного музея.
В начале 1990-х годов Казанский собор, который еще не был возвращен Церкви, был увенчан последовательно пятью позолоченными часовнями. В 1997 году в монастыре возобновилась литургическая жизнь. Собор был открыт как приходская церковь. Службы проходили в подвале. В 1998 году монастырь был вновь открыт после 80 лет закрытия. В том же году была передана Сретенская домовая церковь, и началась ее реставрация. Сохранившиеся здания, заселенные жителями, передавались постепенно в течение нескольких лет. В 1999 году архив был перевезен в Рыбинск и передан Казанскому собору. Началась долгая и трудная реставрация. Иконостас собора в настоящее время реставрируется.
К тысячелетию Ярославля был построен новый планетарий, а Покровская церковь была возвращена монастырю. В настоящее время ведутся работы по его восстановлению. На территории монастыря находится гимназия имени святителя Игнатия Брянчанинова Ярославской губернии и Регентская школа при Ярославской семинарии. В 2003 году на территории Казанского монастыря перед собором был установлен памятный крест «Жертвам кровавых событий лета 1918 года нашей эры».
