Het voormalige Sint-Jacobs Gasthuis huisvest nu het Stedelijk Museum van Schiedam. Het gasthuis was uitsluitend bedoeld voor arme bejaarden en zieken.
Aan het einde van de achttiende eeuw werd het gebouw van het gasthuis gesloopt om plaats te maken voor het huidige neoclassicistische gebouw van de van oorsprong Italiaanse architect Jan Giudici (1746-1819). Het is symmetrisch in een U-vormige compositie. De beide vleugels zijn met elkaar verbonden door een kapel. De buitenzijde van de kapel heeft een sterk classicistische opbouw met fronton en kolossale zuilen. In de rechter vleugel woonden de vrouwen, in de linker vleugel de mannen.
In 1934 verhuisden de bejaarden van het Sint-Jacobs gasthuis naar een nieuw, comfortabeler gebouw aan de Burgemeester Knappertlaan.
Het gasthuis heeft een aantal jaren leeggestaan, tot daar in 1940 het Stedelijk Museum van Schiedam is ondergebracht.
Van 2003 tot 2006 is het grondig gerestaureerd en gerenoveerd. Op 8 april 2006 is het museum feestelijk heropend door koningin Beatrix.