Dit huis is gebouwd in 1612, de voorgevel is rijk versierd met Jacobsschelpen en boven in de gevel staat het jaartal 1612.
Waarschijnlijk bracht de eigenaar van Huis Sint Jacob 1, dat in 1651 moest worden verkocht, het uitgangsbord naar dit pand, gelegen op de hoek van de Zwanestraat en Achter de Muur. Pas sindsdien heet dit pand Sint Jacob. Een kwarteeuw later kwam het in handen van het Koopmans- en Kramersgilde, dat het liet verbouwen tot gildehuis. In 1703 werd het verpacht aan kasteleins. In 1737 heette het pand, verwarrend genoeg, “de oude Sint Jacob”, de laatste keer dat deze naam in stukken voorkomt.