De visserij is één van de belangrijkste welvaartsbronnen voor Zierikzee geweest. In het midden van de 17de eeuw bestond de vloot uit bijna 100 schepen. Echter in de loop van de 18de eeuw werd de vissersvloot door de concurrentie van andere plaatsen steeds kleiner. De markt werd kleiner. Op 30 juli 1805 werd uiteindelijk de vismarkt verplaatst naar het hofje van het St. Jacobusgilde.
In de zomer werd er ook wel eens fruit geveild. Het viscomplex (zie foto) is een overblijfsel van het Sint Jacobshofje, dat werd gesticht door de destijds machtige vereniging van zeevarenden, het Sint Jacobsgilde.
Het gedeelte links van het marktpleintje is overkapt met een galerij, waar vroeger de vis werd schoongemaakt. Aan de buitenmuur, aan de straatkant, hangt een informatiebord van ANWB.
De kleine, witte woningen werden bewoond door armen uit de stad. Het afslagershuisje staat in het midden en in de ruimte ervoor, gevormd door banken in een cirkel werd de vis afgeslagen.