Op de plaats waar nu de Witte Kerk staat, werd omstreeks het midden van de 14de eeuw een eenvoudige kerk gebouwd, gewijd aan Sint-Jacobus de Meerdere. Zeker na de verbouwing in het begin van de 16de eeuw moet het een fraaie kruiskerk geweest zijn.
In 1572 trekken enkele honderden watergeuzen Steenbergen binnen en plunderen o.a. de Jacobuskerk. In 1591/92 nemen de protestanten het kerkgebouw over. De kerk was veel te groot voor de kleine protestantse gemeenschap (circa 50 leden). Voor hun samenkomsten wordt een kleine ruimte afgeschut, de rest wordt verhuurd als opslagruimte.
De staatsregeling van 1798 opende de mogelijkheid dat katholieken de oude kerkgebouwen terug kregen. Na onderhandelingen over de prijs komt het niet tot verkoop en behouden de protestanten de kerk.
In 1830 adviseert de architect Huysers de kerk af te breken en een nieuwe kerk te bouwen. Op de fundering van de oude kerk wordt in 1832 een nieuwe protestantse kerk gebouwd.
In diezelfde periode hebben de katholieken midden op de markt een nieuwe kerk gebouwd, de Sint-Gummaruskerk.