Erste urkundliche Erwähnung für den Standort erfolgte zum Marienhospital 1445, was 1639 abbrannte. 1732 wurde an gleicher Stelle ein Gebäude als Gefängnis und zur Unterbringung von Waisen errichtet, im Stil des Barock, mit repräsentativ ausgearbeiteter Westfassade und geschwungener Freitreppe. Nach Schließung des Waisenhauses 1824 hielten verschiedene Nutzungen Einzug, bspw. Schulkirche, fürstliches Landratsamt, Beamtenwohnungen, Fachwebschule. Ein Teil diente bis 1866 als Gefängnis. Der Standort lag außerhalb der Stadtbefestigung. Nach dem letzten großen Stadtbrand 1780 und den starken Schädigungen 1945 erfolgte stets der Wiederaufbau. Mit dem Umbau 1911 zum städtischen Museum in neobarocker Prägung bekam das Haus bis heute nur noch eine Funktion. 2003 erfolgte die Generalsanierung und Entwicklung zu einem Kleinod mit modernster Innenausstattung und Wiederherstellung des ursprünglichen Eingangs durch den neuen Treppenanbau im barocken Stil.