Begin 1800 kocht de R.K. parochie huizen aan de Pottekaai en het Groenewoud. De huizen werden op de gevels na afgebroken en de eerste steen voor de kerk werd gelegd in 1804. De kerk was klaar in 1805 en werd ingewijd op 28 mei en toegewijd aan Sint Jacob.
In 1818 werd de kerk al te klein en uiteindelijk werd in 1856 geprobeerd een belendend pand te kopen. Aan de ééne kant lukte het niet, maar aan de andere kant wel. Dat huis en de kerk werden afgebroken en de eerste steen voor de nieuwe kerk werd gelegd op 6 juli1857.