Den bereits in einem Ratsprotokoll aus dem Jahre 1521 bezeugten Namen Priesterhäuser verdanken die ursprünglich zwölf Gebäude dem Umstand, dass in ihnen anfangs die Geistlichkeit und sonstige Bedienstete der Kirche St. Marien wohnten. Auch Lehrer der in unmittelbarer Nachbarschaft gelegenen, berühmten Zwickauer Lateinschule wohnten hier.
War man vor Beginn der Sanierung und der damit verbundenen archäologischen, bauarchäologischen und restauratorischen Untersuchungen noch davon ausgegangen, dass die Häuser aus dem 15./16. Jahrhundert stammen, so musste diese Annahme grundlegend revidiert werden. Dendrochronologische Datierungen, bestätigt durch archäologische Befunde, belegen für das älteste Haus eine Entstehung im Jahr 1264. Bereits 1466 bestand das Ensemble in seiner heutigen Grundstruktur. So bilden die vier zum Museum gehörigen historischen Priesterhäuser das älteste erhaltene Wohnbauensemble Sachsens.
Bis 1880 blieben die Häuser in kirchlichem Besitz. Dann gingen sie in kommunales Eigentum über und wurden bis in die 70er Jahre des 20. Jahrhunderts weiter als Wohnbauten genutzt.
Im Gegensatz zu einem großen Teil der sonstigen mittelalterlichen Bebauung im historischen Stadtkern, der dem Plattenbau zum Opfer fiel, blieben sie im westlichen Stadtgebiet von allen Versuchen sozialistischer Umgestaltung verschont. Aber auch erste Bemühungen einer Rekonstruktion Mitte der 1980er Jahre kamen nicht über eine Notsicherung des Bestandes hinaus.
