In 1569 werd de oorspronlijke en uitgebreide Sint-Jacobskapel parochiekerk (1569-1629).
In 1629, na de verovering van de stad door Frederik Hendrik, werd het gebouw door de Staten Generaal geconfisqueerd en door protestanten in gebruik genomen. In 1689 kwam er een einde aan de religieuze bestemming van het gebouw en werd het overgedragen aan het garnizoen.
In 1924 kwam het gebouw weer vrij en werd het voor lange tijd de vestiging van het Noord Brabants Museum.
Na het vertrek van het museum in 1987 is in het pand de gemeentelijke dienst voor bouwhistorie, archeologie en monumenten (BAM) gevestigd.
Vanwege de depotfunctie werd aan het pand de naam Groot Tuighuys gegeven, mede als herinnering aan de functie voor opslag van militaire goederen toen het onderdeel was van de Sint-Jacobskazerne.