Vóór 1319 werd op het terrein van de Schoterburcht, net buiten de muren van de stad, een Sint-Jacobskapel gebouwd, in eerste instantie bedoeld voor pelgrims. Er is een verordening uit 1319 waarin wordt bepaald, dat leprozen, die meenden dat zij genezen waren, zich in de leprozerie van de Sint-Jacobskapel moesten laten onderzoeken. Later werden er ook voorzieningen voor ouden van dagen gebouwd. In 1564 vond er wederom een uitbreiding plaats en wel voor de opvang van krankzinnigen, destijds “dollen” genoemd. Daaraan ontleent het complex zijn huidige naam: “Het Dolhuys”. In 1797 werd het Dolhuis opgeheven.
Daarna is het gebruikt als “Buitengasthuis” van het Elisabeth Gasthuis in Haarlem. Weer later werd het gebruikt voor de opvang van wezen en ouden van dagen.
Deze locatie heeft meer dan zeven eeuwen een rol vervuld voor de gezondheidszorg en wat daarmee samenhangt in Haarlem.
In de beginjaren van de 21e eeuw vond een grote restauratie plaats en werd er het nationaal Museum van de Psychiatrie gevestigd. De voormalige kapel doet nu dienst als restaurant van het museum.