Aan de tuinzijde van het museum, naast de vroegere hoofdingang is een grote gevelsteen geplaatst met het wapen van de stichter van het huis. Dat was Hessel van Martena die het stadskasteel stichtte in 1498. Hij trouwde met Both van Hottinga, die is overleden in 1541. Zij voerde het wapen van haar famile Hottinga van Kee en daarin komen in het kwadrant rechtsonder op een gouden achtergrond 3 Jakobsschelpen voor.
Onder de wapenschilden staat de tekst “Nemo sine cruce”(vertaling: “er is niemand zonder zijn kruis”). In ons spraakgebruik: Ieder huisje heeft zijn kruisje.