Bergen op Zoom heeft een duidelijk relatie met de pelgrims naar Santiago de Compostela, hetgeen blijkt uit het feit dat nog tot in de 17de eeuw veel huizen namen hadden, die deze relatie uitdrukten.
Een huis met de naam Sint Jacob in Compostella stond in de Zuivelstraat.