Het Sint Jacobs Gasthuis wordt voor het eerst vermeld in een akte van 5 september 1276. In deze akte draagt Aleida, zuster van Graaf Willem II van Holland en weduwe van Jan van Avesnes, het patronaatsrecht van de (door haarzelf in 1262 gestichte) parochiekerk van Schiedam en de kerk zelf over aan het door haar voor arme en zieke bejaarden gestichte gasthuis en tevens 18 morgen land in het Ambacht Mathenesse. Verder draagt het gasthuis, met haar instemming het bedieningsrecht van de parochiekerk over aan het klooster Koningsveld in Delft. Ter bekostiging van die bediening worden de tienden van wijlen Dirk van Roekel en de inkomsten van offergaven beschikbaar gesteld.
Het gasthuis is 1276 of tot hooguit enkele jaren eerder gesticht.
Het gasthuis was bedoeld voor arme zieke bejaarden. Deze beperking van de op te nemen mensen is later meerdere keren bevestigd. Het gasthuis had dus geen functie voor het bieden van onderdak aan pelgrims. Het gasthuis had ook geen band met een Jacobusbroederschap, zo dat al bestaan heeft in Schiedam. Het is vooralsnog onduidelijk hoe het gasthuis aan de naam Sint Jacob gekomen is. Het zou kunnen zijn dat met de overgedragen parochiekerk de kerk uit het vroegere dorp Kethel bedoeld is, ondanks dat het gasthuis hartje Schiedam stond.
Het gasthuis heeft moeilijke financiële tijden gekend, maar is wel steeds blijven bestaan. Het was aanvankelijk gevestigd in het pand Wildenberch of Weeldenburgh aan de Drieweeghscee, de plaats van de oudste bebouwing van Schiedam en ongeveer op de de plek van de kruising van de huidige Hoogstraat en Korte Dam (ongeveer het huidige Hoogstraat 182). Door ruil met Jan de Keyzer, rentmeester van Zeeland, komt het gasthuis in 1322 in zijn huis Vrederixshuis, dat gestaan heeft op de hoek van de huidige Hoogstraat en de Brede Marktsteeg (ongeveer ter hoogte van het huidige Hoogstraat 167-171). Na 1532, maar zeker vóór 1547, is het gasthuis verhuisd naar de definitieve plek aan de Hoogstraat (het huidige 112).
Het gasthuis was in de eerste helft van de 14e eeuw al onttrokken aan de invloed van de geestelijkheid. Daardoor kon het bij de Reformatie blijven bestaan. Wel werd de inpandige kapel gesloten.
In 1785 wordt het gasthuis afgebroken en vervangen door nieuwbouw op dezelfde plek.