Het pand aan de Grotekerksbuurt dat nu Het Pelgrimshuys heet, staat op de plek waar vanaf 1348 het Sint-Jacobsgasthuis stond, dat bij de grote sradsbrand van 1457 verwoest is, meteen daarna herbouwd en in 1613 verkocht om er woningen te bouwen. Het pand heeft ongetwijfeld nog wat verbouwingen ondergaan tot het Sint-Jacobsgesticht er in 1879 in gevestigd werd. Vanaf 1913 was het onderdeel van het Ziekenhuis tot dat in 1989 verhuisde naar Zwijndrecht. Het is daarna door particulieren bewoond en er is sinds 2005 een balletschool in gevestigd.
Uit de beschrijving van het monument (zie link) blijkt het gebouw oorspronkelijk in de Lodewijk XVI-stijl te zijn gebouwd met vijf vensterassen met een in stuc gepleisterd middenrisaliet. De latere uitbreiding aan de linkerkant met drie vensterassen met een smaller risaliet is, blijkens een klein ingemetseld steentje, gebouwd in 1893.
Het is niet bekend vanaf wanneer het pand Pelgrimshuys heet.
De geschiedenis van het Sint-Jacobsgasthuis na de grote stadsbrand van 1457 loopt door tot en met het huidige Pelgrimshuys. In de lijst met jacobalia is er bewust voor gekozen de verschillende fasen apart te behandelen, omdat er niet een doorlopend verband is met Sint-Jacob. Dit zijn steeds beknopte beschrijvingen. Een langer verhaal over ook andere aspecten, vindt u bij Kloosterman, een latere bewoner (zie link).