Klášter Augustinů poustevníků s kostelem Zvěstování Panny Marie a svatého Tomáše apoštola se nachází na pomezí Moravského náměstí a Běhounské ulice. Klášter byl založen asi 2. 2. 1350 markrabětem Janem Jindřichem jako rodový klášter a hrobka moravských Lucemburků. Roku 1358 byl koupen dvůr v blízkosti Běhounské brány. Roku 1359 byl dokončen konventní kostel. Jednalo se o síňovou trojloď s dlouhým chórem a kostel byl první velkou cihelnou stavbou v obvodu vnitřního města. K propojení kláštera s městem sloužila Branka za sv. Jakubem.

 

Za husitských válek byl klášter značně zničen, protože nebyl pod dostatečnou ochranou. Z tohoto důvodu byl roku 1486 obehnán třemi hradbami s věží a od vnitřního města byl oddělen jen příkopem. Klášter se tak stal součástí vnitřního města. 

 

Roku 1645 byla snaha města zbourat klášter i s kostel z obranných důvodu., což se nakonec nestalo. Ale při obléhání města Švédy byly zničeny augustiniánské zahrady. Roku 1664 proběhla přestavba fortifi kačního opevnění kvůli hrozbě od Turků. Došlo ke zrušení příkopu mezi klášterem a městem. Roku 1665 proběhla na klášteře první přestavba. Probíhala až do roku 1675. Přestavbu řídil Jan Křtitel Erny. Došlo k přestavbě kostela na trojlodní, dále byl kostel vydlážděn a doplněn obrazy a sochy. V klášteru vznik dormitář, společná ložnice pro kněží, a nová křížová chodba konventu. 

 

Mezi léty 1731-1752 proběhla druhá přestavba pod vedením Mořice Grimma, který vystavěl větší konvent, prelátu a hospodářskou budovu. Jednalo se o barokní přestavbu. Došlo k zasypání příkopu mezi klášterem a městem. 18. března 1783 se musel klášter na příkaz císaře a markraběte moravského Josefa II. přestěhovat do Starobrněnského kláštera na dnešním Mendlově náměstí. Z budovy kláštera se stal zemský dům a byli zde dikasteriální úřady, archív, obrazárna a byty. Od roku 1928 zde byl zemský úřad, poté od roku 1957 muzeum dělnického hnutí a dnes je tu Moravská galerie.