Na předměstí Brna při Svrateckém náhonu byl v roce 1451 založený klášter františkánů. Ženská komunita vznikla roku 1482 na popud Markéty, vdovy po brněnském zlatníkovi, která v roce 1487 zakoupila dům na předměstí, jižně od Židovské brány. Řádový dům na klášter řeholních terciářek sv. Františka Serafinského změnil kardinál Dietrichštejn v roce 1606 a přes odpor protestantsky orientované rady františkánkám v roce 1616 vymohl pozemek pro stavbu kostela sv. Josefa, který téhož roku na vlastní náklady postavil.
Velkou ranou pro klášter byla Třicetiletá válka. V roce 1643 k Brnu přitáhlo švédské vojsko pod vedením generála Torstensona a vydrancovalo předměstí na jihovýchodě Brna. Brňané proto z obranných důvodů zapálili zbytek předměstí. Aby Švédové nemohli využít jako oporu k útoku klášter františkánů, byl zapálen. Společně s ním vyhořel i klášter františkánek sv. Josefa a areál Petrova byl požárem také zasažen. V roce 1645, kdy švédské vojsko směřovalo k Vídni, bylo už město Brno na obranu připraveno. 600 kroků od hradeb byly zbořeny všechny budovy, mezi nimi také kromě kláštera františkánek klášter františkánů s kostelem sv. Bernarda a klášter kapucínů s kostelem sv. Kříže. Po třicetileté válce se Brno stalo pevnostním městem, obnovení klášterů před hradbami bylo nepřípustné.
Františkánky se přestěhovaly do Dietrichštejnského majorátního paláce na Zelném trhu a roku 1645 odešly z Brna do Vídeňského Nového Města. O dva roky později se vrátily do Brna a usídlily v dnešní lokalitě. K domu, který zdědily po člence řádu, za pomoci hraběte Františka Magnise přikoupily sousední čtyři domy i přes protesty městské rady, která si nepřála další klášter v hradbami uzavřeném městě na úkor počtu měšťanů. V roce 1651 byl položen základní kámen kostela sv. Josefa a stavba kláštera započala v roce 1653 dle projektu Pavla Weinbergera či Ondřeje Erny a byla ukončena v 70. letech 17. století.
Dalším velkým zásahem do řeholního života byly reformy Josefa II. V roce 1782 byl klášter františkánek zrušen. Velká část sester přijala řád sv. Voršily, jehož úlohou je zejména vzdělávání dívek a péče o chudé a nemocné. S tímto posláním mohl klášter fungovat, byla zřízena německá triviální dívčí škola a zvláštní industriální škola.
Poslední a pro klášter fatální zlom přišel v roce 1950, kdy byl komunistickým režimem zrušen a přestavěn pro potřeby Technického muzea. V areálu kláštera se nachází dnes už odsvěcená kaple Ježíš na hoře Olivetské, postavená okolo roku 1700 pravděpodobně Janem Křtitelem Ernou. Původně byla přistavěna k jižní straně kostela sv. Josefa a sloužila jako márnice, dnes slouží jak skladiště. Dále byl pak pro potřeby Technického muzea blízko kaple vystavěna letní expozice - pavilon páry, zkolaudovaný v roce 1986. V roce 1991 byl řádu navrácen, ale svému účelu už neslouží. V roce 1997 proběhla oprava pro komerční využití. Kostel sv. Josefa na opravu ještě čeká. V roce 2014 byl vysvěcen pro potřeby řeckokatolické církve.
