Na de Reformatie werd de katholieke bevolkingsgroep sterk beperkt in hun mogelijkheden. Het duurde bijna twee eeuwen vóórdat het maatschappelijke leven weer opbloeide.
Van Dalen (p. 978) vermeldt dat in Dordrecht 11 juni 1849 een katholiek weeshuis werd opgericht onder bestuur van de Armmeesters van het RK Parochiaal Kerkbestuur.
Van Dalen (p. 958) en Frijhoff (p, 210) melden dat het weeshuis 11 december 1879 verplaatst werd naar de Grotekerksbuurt. Het werd daar gevestigd in het pand dat gebouwd was op de plek waar tot 1613 het Sint-Jacobsgasthuis had gestaan (en dat op het laatst ook wezen huisvestte). De instelling werd naar de historische plek aanvankelijk het Sint-Jakopsgesticht genoemd, maar de naam werd al snel veranderd in Sint-Jacobsgesticht. Behalve voor wezen was het Sint-Jacobsgesticht ook bedoeld voor de verpleging van rooms katholieke oude mannen en vrouwen (geen echtparen).
De geschiedenis van het Sint-Jacobsgasthuis na de grote stadsbrand van 1457 loopt door tot en met het huidige Pelgrimshuys. In de lijst met jacobalia is er bewust voor gekozen de verschillende fasen apart te behandelen, omdat er niet een doorlopend verband is met Sint-Jacob. Dit zijn steeds beknopte beschrijvingen. Een langer verhaal over ook andere aspecten, vindt u bij Kloosterman, een latere bewoner (zie link).