Het Sint-Jacobsgilde wordt vermeld in 1444. Het is waarschijnlijk dat gilde, gasthuis en kapel tegelijk ontstaan zijn eind 14e eeuw.
Het Sint-Jacobsgilde bleef de gilde-organisatie kennen en de gildebroeders maakten als leken geen deel uit van de kerkelijke hierarchie. De magistraat van Bergen op Zoom bestaande uit schout, burgemeester en schepenen had het toezicht op de stoffelijke bezittingen. Het bestuur van het gilde bestond uit een deken en een aantal gezworenen (ook regeerders of gildemeesters genoemd). Het waren gewone burgers en vaak ambachtslieden.
Na de hervorming in 1580 werden de bezittingen van het Sint-Jacobsgilde niet meteen genaast door de stedelijke overheid. In 1602 wees Prins Maurits de bezittingen toe aan het stedelijke gasthuis, maar de overdracht kon pas werkelijk plaatsvinden op 2 juli 1714 toen de laatste gildebroeder gestorven was. Het stedelijk gasthuis moest toen nog enige jaren aan nabestaanden van gildebroeders een uitkering betalen van 10 à 15 stuiver per week.
Het Sint-Jacobsgilde bezat de Sint-Jacobskapel, het huizencomplex van het Sint-Jacobsgasthuis en ontving jaarrenten op diverse huizen.
Opm.: Omdat de link naar het tijdschrift de Waterschans een foutmelding veroorzaakte bij plaatsing onder het hoofdje links staat deze onder het hoofdje bron.