Het gebouw met als naam “Het Weeshuis” was oorspronkelijk de kapel van een Sint-Jacobsgasthuis. Onduidelijk is of die kapel tevens als gasthuis fungeerde, maar wanneer het een afzonderlijk gebouw was, zal het er tegenaan gestaan hebben. Het is vermeld in 1436. Het herbergde ook pelgrims, die op weg naar Santiago voor weinig geld een eet- en slaapplaats konden krijgen. Sinds 1681 is het gebruikt als weeshuis.
Nu is er een restaurant in gevestigd, “Het Weeshuys”.