Rond het jaar 900 werd er in Rolde de eerste kerk gesticht. Eerst een houten kerk, die rond 1200 werd vervangen door een Romaanse kerk van baksteeen. In het eerste kwart van de 15e eeuw werd deze kerk vervangen door de huidige gotische kerk. De inwijding was waarschijnlijk in 1428. De verbouwing in 1854 heeft de harmonie van het gebouw sterk verstoord; dit is hersteld bij de verbouwing van 1960-1964, waarbij de kerk werd teruggebracht in de staat zoals bij de bouw in 1427.
Deze kerk wordt sinds de jaren zestig van de 20e eeuw door alle christenen gebruikt. Op zondag door hervormden en gereformeerden, tegenwoordig samen de ‘Protestantse Jacobuskerkgemeente’, op zaterdagavond door rooms-katholieken. Daarnaast zijn er ook oecumenische vieringen en vesperdiensten.
Over de patroonheilige van deze kerk heeft lang onduidelijkheid bestaan. Volgens de naspeuringen van Roemeling waren Cosmas en Damianus de patroonheiligen. Tijdens de restauratie vanaf 1960 werd tegen de zuidmuur een fragment van een Jacobsschelp gevonden en dat was voor de kerkelijke gemeente de aanleiding om daarna te spreken van de Jacobuskerk. In één van de nissen in het koor wordt aandacht geschonken aan Jacobus de Meerdere en de pelgrimage naar Santiago de Compostela.
In de kerk van Rolde is lange tijd rechtgesproken tijdens drie van de vier bijeenkomsten (de zogenoemde Etstoel) per jaar van de vertegenwoordigers (Etten) van de zes dingspelen (Zuidenveld (Sleen), Oostermoer (Anloo), Noordenveld (Vries), Rolde, Beilen en Diever), waarin Drenthe verdeeld was. Rolde was destijds de hoofdplaats van het landschap Drenthe. De Etstoel kwam bijeen in het koor van de kerk in Rolde. Mogelijk is daarom dat koor zo ruim en bijna net zo lang als het schip van de kerk. De vierde bijeenkomst in het jaar werd gehouden in Anloo.