Van Dalen (p 649) noemt vier huizen met de naam Sint-Jacob in Dordrecht. Het Huis Sint-Jacob in de Korte Breestraat droeg de gevelsteen die nu te vinden is aan het huis aan de Pottenkade (zie: gevelsteen). De steen was in 1613 gemaakt.
Zoals bij alle huizen met de naam Sint-Jacob is niet bekend wat de relatie was met Jacobus of de bedevaart naar Santiago.