In 1580 werd het Sint Jacobshuis door de stad Zierikzee in eigendom overgenomen, omdat het gilde zelf geen middelen meer had om het te onderhouden. In 1582 werd hetzelfde huis bestemd tot bergplaats van de stedelijke artillerie (arsenaal). De voorraad kanonnen, geweren en munitie werd hier geborgen. Eigendommen van het gilde, bestaande uit landerijen, werden in 1599 publiekelijk verkocht en de opbrengst werd aangewend voor het onderhoud van het Sint Jacobshuis en ten behoeve van de personen die er toen -naar het schijnt- gratis woonden. In 1658 diende genoemd Sint Jacobshuis als “stads-ammunitiehuis” en werden er voorts bakens en zeetonnen opgeborgen. Daarna, althans zeker tot 1678, werden de vier woninkjes van het huis, dat sedert omstreeks 1700 Sint Jacobshof werd genoemd, regelmatig door oude vrouwen of weduwen bewoond. Tot 1739 genoten de bewoonsters vrij turf van de stad, maar in dat jaar werd dat voordeel de arme vrouwtjes ontzegd en bleef alleen de gunst van vrij wonen over.
In 1989/1990 werden de Vismarkt en het Sint Jacobshofje keurig gerestaureerd.