Nadat de bestaande kerk tijdens de belering van Haarlem in 1577 voor de katholieken verloren was gegaan werd in 1630 een schuilkerk ingericht in een houten boerenschuur. Deze kerk was net als vroeger toegewijd aan Sinte-Gertrudis, maar Jacobus de Meerdere werd daaraan toegevoegd.
Toen in 1796 de katholieke eredienst weer openlijk gevierd mocht worden, ontstond het plan de schuilkerk, die in slechte staat verkeerde, te vervangen. Met financiële steun van de staat was er uiteindelijk voldoende geld beschikbaar en werd de schuilkerk op dezelfde plek in 1837 vervangen door een nieuwe van steen.