Aan het Spui lag het Patmos, een arm straatje in een zeer arme buurt.
Aan dit Patmos stichtte de griffier van het Leenhof van Holland omstreeks 1560 een hofje met aanvankelijk zes huisjes, gewijd aan de Heilige Drievuldigheid. Zij werden ook wel Sint-Jacobshuisjes genoemd. In 1563 werd er een kapelletje bij gebouwd. Zeer waarschijnlijk is toen de naam Sint Jacobstraat ontstaan.