Op de huidige plek stond al vanaf 1310 een Latijnse School. Dat gebouw werd in de 16e eeuw vervangen door het huidige gebouw. Het stamt uit het begin van de Renaissance, maar vertoont nog kenmerken van de late gotiek. De Latijnse School werd in 1842 opgeheven.
Tot heden heeft het gebouw diverse bestemmingen gehad en raakte in verval. In de jaren zeventig werd de Latijnse school geheel gerenoveerd.
De oorspronkelijke beelden waren vrijwel geheel verdwenen door de tand des tijds. De huidige beelden zijn in de zestiger jaren door een Italiaans-Nederlandse beeldhouwer Guiseppe Roverso gemaakt. Ze bevinden zich aan de voorgevel van het gebouw.
Het vierde beeld van links is Jacobus de Meerdere. Zijn naam staat eronder. Jacobus is afgebeeld met een pelgrimsstaf met een kelkje dat zich achter zijn rechter hand bevindt.