Rond het midden van de 19e eeuw kwam de sociale zorg binnen het katholieke deel van de bevolking van Dordrecht geleidelijk op gang.
Van Dalen (p. 900) meldt de stichting van de Sint Elisabethsvereniging in 1850, gericht op armenzorg. Van Dalen (p. 948-949) en Frijhoff (p. 238) geven aan dat het stichten van een katholiek ziekenhuis in 1905 in een stroomversnelling kwam door een groot legaat van mevrouw Elisabeth Heytink van Vronesteyn, weduwe van Adrianus Johannes Baesjou, waarmee binnen een jaar een ziekenhuis voor katholieke minvermogende mannen, vrouwen en kinderen uit Dordrecht gesticht moest worden. Aan de Wijnstraat werd 1 mei 1906 een ziekenhuis geopend en de verpleging werd verzorgd door de Zusters van het Sint Catharinagesticht in Bergen op Zoom. Het ziekenhuis werd Franςois Heyting-Baesjou Stichting genoemd, maar ook wel Sint Elisabethgasthuis. Het ziekenhuis werd al snel te klein. Uiteindelijk werd er bij het Sint-Jacobsgesticht een nieuw ziekenhuis gebouwd. De patiënten verhuisden 17 juni 1912 tijdelijk naar het Sint-Jacobsgesticht. De Zusters van Bergen op Zoom vertrokken 10 februari 1913 en de verpleging kwam in handen van de Zusters van Sint Jacob van de congregatie van Charitas uit Roosendaal. Het bestuur van het nieuwe ziekenhuis werd overgedragen aan het RK Parochiaal Armbestuur, dat het Sint-Jacobsgesticht al bestuurde. Per 5 augustus 1913 was er zo een fusie ontstaan tussen het nieuwe R.K. Ziekenhuis en het Sint-Jacobsgesticht onder de naam Sint-Jacobsstichting.
De geschiedenis van het Sint-Jacobsgasthuis na de grote stadsbrand van 1457 loopt door tot en met het huidige Pelgrimshuys. In de lijst met jacobalia is er bewust voor gekozen de verschillende fasen apart te behandelen, omdat er niet een doorlopend verband is met Sint-Jacob. Dit zijn steeds beknopte beschrijvingen. Een langer verhaal over ook andere aspecten, vindt u bij Kloosterman, een latere bewoner (zie link).