Bij de stichting van het Sint Jacobsgasthuis werd in een deel van het huis aan de Klokstraat een kapel ingericht. In deze Sint Jacobskapel werd dagelijks de mis gelezen door de Dominicanen van de Jacobijnerkerk. Ter bekostiging hiervan werden inkomsten uit bepaalde bezittingen van het Sint Jacobsgasthuis gebruikt.
Na de overdracht van het Sint Jacobsgasthuis aan het Sint Anthonygasthuis in 1532 bleef de Sint Jacobskapel mogelijk nog enige tijd in gebruik, maar met de reformatie was dat in ieder geval afgelopen. De kapel kreeg de functie van pakhuis voor de Nieuwe- of Sint Jacobstoren die tegen de kapel aangebouwd werd. In 1877 werd wat er nog restte van de kapel, wegens bouwvalligheid gesloopt.