Powstanie zespołu klasztornego sióstr zakonnych bernardynek w Wieluniu związane jest z osobą Anny ze Sroczyńskich Koniecpolskiej, żony wojewody sieradzkiego Aleksandra i matki hetmana wielkiego koronnego Stanisława. Będąc już wdową, postanowiła ufundować w Wieluniu konwent, w którym spędziłaby resztę swego życia na modlitwie. Na budowniczego kościoła i klasztoru fundatorka powołała Jerzego Hoffmana ze Złoczewa, który prace budowlane prowadził w latach 1613–1615. Życiu zakonnemu poświęciły się dwie córki Anny Koniecpolskiej: Leonarda i Barbara. Z tego między innymi powodu hetman Stanisław Koniecpolski stał się jednym z donatorów konwentu.
W 1819 r. siostry zakonne przeniesiono do dawnego klasztoru Paulinów przy Krakowskim Przedmieściu, natomiast budynek poklasztorny sprzedano w ręce prywatne. Karol Neuville, a następnie jego syn Hubert, belgijscy przedsiębiorcy, urządzili w dzisiejszym budynku muzeum manufakturę sukienniczą, w której zatrudniano nawet 250 robotników. Po jej pożarze w 1844 r. pofabryczny obiekt przekształcono na koszary dla wojsk rosyjskich. W dwudziestoleciu międzywojennym był częściowo zamieszkany, a przez kilka lat stanowił siedzibę kina „Miraż”. Mieściła się w nim również sala Żydowskiego Stowarzyszenia Gimnastyczno-Sportowego „Makkabi”. W latach II wojny światowej niemieccy okupanci uruchomili w gmachu zakład stolarski. Funkcję tę dawny klasztor pełnił do 1959 r., kiedy po kolejnym pożarze stał przez kilka lat opuszczony. W wyniku skutecznych zabiegów dyrektora Muzeum Ziemi Wieluńskiej Tadeusza Olejnika, budynek przejęto na cele muzealne i w latach 1964–1969 poddano gruntownej przebudowie. Nadano mu wówczas charakter budowli renesansowej, nawiązując tym do okresu, w którym powstał. Szczęśliwie odnaleziono zamurowany portal okienny, dzięki czemu odtworzono w piaskowcu portale dla wszystkich okien. Od strony południowej dobudowano część parterową, opartą na reliktach fundamentu muru obronnego, w której znalazły się hol i sala koncertowa. Nad tą częścią budynku powstał taras o powierzchni 200 m2, z którego roztacza się widok na planty miejskie (park im. rtm. Witolda Pileckiego).
Ostatni remont obiektu wykonano w roku 2021 dzięki wsparciu finansowemu Urzędu Marszałkowskiego Województwa Łódzkiego na realizację zadania związanego z remontem dachu i kominów zabytkowego budynku.
