Het voormalige Sint Jacobsgasthuis was opgegaan in het Sint Anthony Gasthuis. Toen het Sint Anthony Gasthuis in de 19e eeuw te klein werd en het bestaande complex niet meer vergroot kon worden, begon men in 1861 met de bouw van het Nieuwe Anthony Gasthuis aan het Perkswaltje. De achterste vleugel, nu gelegen langs de Groeneweg, werd, ter herinnering aan het Sint Jacobsgasthuis, de Sint Jacobsvleugel genoemd.
De nieuwbouw beviel zo goed dat het bestaande complex in 1878 vervangen werd door nieuwbouw op dezelfde plek. In het spraakgebruik bleef de naam Oude Sint Anthony Gasthuis (of Oude Antoon) in gebruik. Maar in feite was het oude dus nieuwer dan het nieuwe.