De eerste vermelding van een Sint-Jacobsgasthuis was in 1429. Vermoedelijk lag dit gasthuis vlakbij de Sint-Jacobskapel. Het kan zijn dat de Sint-Jacobsbroederschap in de 15e eeuw ook een vijftal huizen die het in de Kapoenstraat in bezit had gebruikte als gasthuis. Er is nauwelijks iets vastgelegd over het lot van het Sint-Jacobsgasthuis sinds de tweede helft van de 16e eeuw.