Het huis dat oorspronkelijk behoorde tot het bezit van het Sint-Jacobsgilde en waar mogelijk het Sint-Jacobsgasthuis in was gevestigd kwam in 1704 in eigendom van het Stadsgasthuis. Het werd vóór 1737 gesplitst en het zuidelijke deel kreeg daarbij de naam Kleine Sint Jacob.
Op de plek van de huizen Kleine Sint Jacob en Engelenborg en het terrein waar de Sint Jacobskapel gestaan had werd in 1860 een gecombineerd Bejaardenhuis en Weeshuis gebouwd voor de Diakonie van de Hervormde Gemeente. Het weeshuis deed dienst tot 1906 en de bejaarden vertrokken in 1929.
Rond 1930 ging het deel uitmaken van het Sint-Catharinegesticht.
Opm.: Omdat de link naar het tijdschrift de Waterschans een foutmelding veroorzaakte bij plaatsing onder het hoofdje links staat deze onder het hoofdje bron.