De eerste verwijzing naar de Sint-Jacobsbroederschap, alsmede het gelijknamige gasthuis, dateert uit 1375. De Broederschap had de zorg voor het gasthuis.
In 1528 werd de stad en het bisdom ingelijfd door het Habsburgse Rijk. De stadsverdediging werd aangepakt en ook kerkelijke instellingen, waaronder enkele gasthuizen, moesten daaraan meebetalen. Het Jacobsgasthuis werd aangeslagen voor twee roeden, hetgeen wijst op een gemiddelde positie tussen de andere gasthuizen.
In 1538/39 liet de Habsburgse overheid een onderzoek instellen naar de situatie van de Utrechtse gasthuizen. Er werd geconstateerd, dat het de broeders van het Jacobsgasthuis vooral te doen was om de gezamenlijke lekkere maaltijden. Die werden als te overdadig beoordeeld. Met name de gezamenlijke maaltijden moesten worden afgeschaft. In reactie daarop lieten de broeders weten alle overvloedicheyt ende insolentie te verlaten, als ze maar weer samen konden eten.
Volgens het rapport was de verhouding tussen inkomsten en uitgaven en tussen de besteding van de gelden en het oorspronkelijke doel zoekgeraakt. Nieuwe gasthuisbroeders in de 16e eeuw kwamen meer af op het prestige dat de gasthuisbroeders genoten dan om de oorspronkelijke doelstelling: de pelgrimage naar Santiago.
Toen de raad van Utrecht in 1586 had besloten de broederschap op te heffen, lieten de broeders in 1601 een nieuw huis bouwen. De opheffing was onvermijdelijk, het gasthuis werd in 1642 verkocht. Onbekend is wat er met de gasthuisbroeders nadien is gebeurd.