In een oorkonde van 16 april 1366 werd vastgelegd, dat een Jacobusbroederschap voortaan het aan de apostel Jacobus de Meerdere gewijd altaar in stand zou gaan houden. Dit altaar bevindt zich in de Rotterdamse parochiekerk (deze kerk zou pas vanaf 1460 als Sint-Laurenskerk te boek staan).
De broederschap werd aangevoerd door een priester en bestond verder uit dertien mannelijke leken en drie weduwen. Het gezelschap als geheel behoorde, volgens van Herwaarden, tot het betere deel van Rotterdam. Verondersteld mag worden, dat de meesten op bedevaart naar Santiago zijn geweest.
In februari 1482 besloten de eigenaren van de Jacobskapel (zie onder Jacobskapel) de eigendom van de kapel aan de Jacobsbroederschap over te dragen. Ruim drie jaar later, november 1485, heeft de broederschap het geheel overgedragen aan het Sint Nicolaasgilde, dat eveneens een altaar had in de Laurenskerk. Het Sint Nicolaasgilde voerde ook het beheer over het kort daarvoor opgerichte Sint Elizabethgasthuis, bestemd voor weduwen.
Jacobsbroederschap, Sint Nicolaasgilde en de Sint Elizabethstichting vloeiden op deze manier ineen. Daarmee verdween de naam Sint Jacobs Gasthuis, omdat dat gebouw als naam kreeg: Elizabethgasthuis.