Nadat Frederik Hendrik ‘s Hertogenbosch in 1629 ingenomen had werd de stad garnizoensstad voor het Staatse leger en zou dat blijven tot 1794. In 1744 werden in Den Bosch vier kazernes gebouwd: Mortelkazerne, Tolbrugkazerne, Berewoutkazerne en Sint-Jacobskazerne.
De Sint-Jacobskerk 1 werd in 1689 overgedragen aan het garnizoen. De Sint-Jacobskazerne werd gebouwd naast de Sint-Jacobskerk en deze kerk werd een onderdeel van de kazerne. Er werden verdiepingen in aangebracht en het gebouw werd gebruikt zowel voor legering als voor opslag. Tot 1924 werd de voormalige kerk gebruikt door het leger.
Zoals al vermeld bij Sint-Jacobskerk 1 werd de voormalige kerk daarna de huisvesting van het Noord Brabants Museum en tenslotte van de BAM. De overige gebouwen werden opgenomen in de psychiatrische inrichting “Reinier van Arkel”. Een gevelsteen in de Sint Jacobsstraat herinnert nog aan de vorige functie.