De Jezuïetenkerk Franciscus Xaverius is de opvolgster van een schuilkerk die van 1654 tot 1884 in het grachtenhuis “de Crytbergh” gevestigd was.
Oprichter van deze kerk was pater Petrus Laurens. De kerk was in de periode 1708-1788 officieel gesloten. De Jezuïeten moesten weliswaar het land verlaten, maar de kerk bleef toch heimelijk in gebruik. Sinds 1789 bestond er wederom vrijheid van godsdienst en in 1853 werd de bisschoppelijke hiërarchie hersteld.
Pater Franciscus Fol verbouwde het kerkje in 1835. Elisabeth Moyana had hem twee belendende gebouwen geschonken waardoor de oude Krijtberg afgebroken kon worden en onder een gevel gebracht kon worden. In de periode 1881-1883 werd er door de Utrechtse architect Alfred Tepe een nieuwe kerk gebouwd. De inrichting is onder meer afkomstig van het Utrechtse atelier Wilhelm Mengelberg, de buurman van Tepe, zoals het hoofdaltaar, Maria-altaar, communiebank, beelden, apostelbalk, muurschilderingen en kruiswegstaties.
Maar ook Roermond was vertegenwoordigd. Het atelier Cuypers & Stolzenberg leverde het Jozef altaar, de preekstoel, de zeven biechtstoelen en twee godslampen. A.F. Nicolas vervaardigde enkele glas-in-lood ramen.
In 1904 werd het 250-jarig bestaan van de Krijtberg gevierd. In 1934 wordt de Franciscus Xaverius weer parochiekerk. In 1968 wordt bij de vaststelling van het “Pastoraalplan binnenstad”?, sluiting van de Krijtberg aangekondigd. De kerk zou volgens het bestuur van de Citykerk financiële tekorten hebben. De Citykerk wilde de Krijtberg verkopen aan een Belgische bouwonderneming. Er werd daarom een comite tot behoud van de Krijtberg opgericht. In mei 1974 besluit de bisschop van Haarlem, Th. Zwartkruis, de Krijtberg te handhaven. In de periode 1976-1982 vond er een restauratie plaats, die echter niet afgerond kon worden door het stopzetten van de subsidie.
De apostelbalk dient als scheiding tussen het koor en het schip. Deze is vervaardigd vóór 1892 in het atelier van Wilhelm Mengelberg. De derde figuur links is de apostel Jacobus de Meerdere, die in zijn linker hand een pelgrimsstaf vasthoudt.