Svou historii začala káznice psát 20. července 1772 položením základního kamene stavby. Poslání budovy, jak ostatně napovídá její pojmenování, mělo odlehčit náporu vězňů ve věznici na hradě Špilberku. Zprvu se však z nové stavby stal sirotčinec, až po jeho zrušení v roce 1784 se káznice začala plnit vězni odsouzenými za méně vážné trestné činy.

Původně měla káznice jediné patro a přilehlou zahradu. Od okolního světa oddělovala vězně zeď a ostnaté dráty v oknech. V roce 1779 byla v areálu zbudována vězeňská kaple sv. Anny. Postupem času se káznice rozdělila na mužskou a ženskou část. Vězenkyně i vězni si výkon trestu krátili různými pracemi.

Měnila se také podoba objektu. V roce 1825 doplnilo původní čtyřkřídlý tvar vnitřní příčné křídlo, v letech 1843-44 se pak komplex rozšířil směrem k dnešním ulicím Cejl a Bratislavská. Přibylo také nové honosné průčelí na Cejlu s hlavním vstupem zdobeným dórskými sloupy.

Počátek 20. století přinesl rekonstrukci budovy trestního soudu i věznice, současně se káznice zvětšila o jedno patro a o úřední dům. K bytům, které již od zbudování objektu využívali dozorci, přibyly další obývané jednotky pro přednostu věznice, dále také inspektora a kontrolora.

Během první světové války strávil část života v brněnské káznici básník Petr Bezruč a po neúspěšném puči v židenických kasárnách zde po několik měsíců setrval také vůdce československých fašistů Radola Gajda. Obzvlášť temnou kapitolu své historie začala káznice psát v období druhé světové války, kdy ji využívaly německé orgány. Na půdě budovy byly za partyzánskou činnost oběšeni čeští odbojáři Alois Zavadil a Květoslav Kolařík.

S koncem války se smutná etapa káznice bohužel nedopisuje. Po doznění posledních výstřelů končí na popravišti příslušníci německého obyvatelstva i Češi kolaborující s protektorátním režimem. Po roce 1948 se do objektu se dostávali političtí vězni, v celách skončili například básníci Jan Zahradníček se Zdeňkem Rotreklem. Život řady několika dalších vězňů ukončili popravčí. Jako hmatatelný důkaz komunistických represí slouží současný stav vězeňské kaple, která na přelomu 40. a 50. let doznala změn kvůli svému využívání pro ideologické a výchovné účely.

To už však hovoříme o posledních letech, v nichž káznice sloužila jako místo pro odsouzené. V roce 1956 se totiž brány komplexu zavřely a trestanci začali putovat do nové věznice v brněnských Bohunicích. Opuštěnou káznici nejprve využíval Moravský zemský archiv jako svůj depozitář. Jeho provoz byl nicméně kvůli nevyhovujícím podmínkám značně omezen. V roce 2006 se archiv dočkal nového depozitáře v Bohunicích a prostory káznice tak znovu osiřely.

Od stavebních úprav na začátku 20. století se podoba káznice zásadním způsobem nezměnila. Přesto se dle závěrů stavebně technického průzkumu nachází areál v lepším stavu, než se původně jevilo. I proto lze káznici v současnosti alespoň v omezené míře využívat kreativci a pro veřejné prohlídky.