Nadat bij de grote stadsbrand in 1457 het gasthuis, de kapel en het termijnhuis verloren gegaan waren werden ze snel weer opgebouwd.
Het gasthuis werd in 1566 genaast door de stedelijke overheid. De Sint-Jacobsheren verhuurden het gasthuis als opslag en voor bruiloften, maar dat gaf conflicten met de overheid. In 1571 staan de Sint-Jacobsheren het gebouw af voor het stichten van een weeshuis, maar zelf hielden ze de bier- en wijnkelder en de keuken en zij bedongen dat er 2 à 3 bedden beschikbaar bleven voor doortrekkende pelgrims.
In 1613 wordt het gasthuis met erf en inclusief de kapel en het termijnhuis verkocht aan particulieren (o.a. de burgemeester Herman Hallincg) om er woningen te bouwen.
Gegevens voor de beschrijving zijn ontleend aan Lips (p. 125-127), Balen (p. 137 en 158), van Dalen (p. 727 en 940) en Frijhoff a (p. 166 en 324) en b (p. 253).
De geschiedenis van het Sint-Jacobsgasthuis na de grote stadsbrand van 1457 loopt door tot en met het huidige Pelgrimshuys. In de lijst met jacobalia is er bewust voor gekozen de verschillende fasen apart te behandelen, omdat er niet een doorlopend verband is met Sint-Jacob. Dit zijn steeds vrij beknopte beschrijvingen. Een langer verhaal over ook andere aspecten, vindt u bij Kloosterman, een latere bewoner (zie link).