Muzeum znajduje się na Żywieckim Przedmieściu, w budynkach dawnej wytwórni, a od 1887 roku fabryki sukna i towarów wełnianych, założonej przez bielskiego sukiennika Karola Büttnera (1833-1884), później prowadzonej przez jego synów Karola Teodora (1863-1932) i Gustawa Adolfa (1865-1933). Zespół zabudowań powiększał się stopniowo. Na zakupionej w 1868 roku posesji najpierw wystawiono dwupiętrowy dom przy ul. 1 Maja 8 z warsztatami i oficynami od strony dziedzińca, a w 1888 roku wielokondygnacyjny budynek fabryczny przy ul. Sukienniczej. Dwupiętrowa hala z obszernym poddaszem od strony pl. Żwirki i Wigury, mieszcząca główną część ekspozycji Muzeum, powstawała w dwóch etapach: w 1900 roku wzniesiono jej część północną, a w latach 1906-1907 południową, z klatką schodową. Dalsze zabudowania w miejscu dzisiejszych zieleńców oraz kamienicę przy pl. Żwirki i Wigury, własność Büttnerów od 1906 roku, wyburzono przy poszerzaniu ul. Zamkowej w 1974 roku. W latach 30. XX wieku, w miejscu starego parterowego domu na rogu ul. Sukienniczej i 1 Maja stanął tzw. bazar, w którym ulokowała się m.in. kawiarnia Adlon. W tym czasie firma Karola Büttnera Synowie zatrudniała 150 robotników w dwóch zakładach, obok produkcji tkanin sukiennych, szewiotów i tkanin czesankowych rozpoczęto też ręczny wyrób dywanów. Działały przedstawicielstwa w Poznaniu i Gdańsku, a wyroby trafiały m.in. do krajów Bliskiego Wschodu. Po II wojnie światowej upaństwowiona fabryka weszła w skład Zakładów Przemysłu Wełnianego (ZPW) im. Leona Laska, później znana była jako ZPW „Bewelana” zakład B/A. Po zakończeniu działalności przemysłowej posesję podzielono między nowych właścicieli, część zabudowań przeznaczając na potrzeby ówczesnego Muzeum Techniki Włókienniczej, które wprowadziło się tutaj w 1983 roku.

W 1979 roku przy ówczesnym Muzeum Okręgowym w Bielsku-Białej utworzono Muzeum Techniki Włókienniczej. Przejęło ono eksponaty działu tkactwa macierzystej instytucji, a następnie powiększało swoje zbiory o maszyny i urządzenia pozyskiwane głównie w miejscowych zakładach przemysłowych. W 1983 roku Muzeum wprowadziło się do pofabrycznych pomieszczeń ZPW „Bewelana”, gdzie przez ponad dekadę pozostawało w stanie organizacji, a jego działalność polegała na gromadzeniu, inwentaryzowaniu i zabezpieczaniu eksponatów. Dopiero po 1990 roku, dzięki opracowaniu projektu ekspozycji i zatrudnieniu większej liczby doświadczonych włókienników, udało się przełamać impas i po kilku latach wytężonej pracy uruchomić Muzeum Techniki i Włókiennictwa (nazwa wprowadzona w 1995 roku). Pierwszą część ekspozycji na parterze otwarto dla publiczności 2 grudnia 1996 roku, a rok później udostępniono wystawę na pierwszym piętrze. Od tego czasu zabytkowe maszyny pozostają w większości na wyznaczonych im wówczas miejscach, natomiast kilkakrotnie zmieniała się przestrzeń w sąsiedztwie wejścia, gdzie pojawiały się niewielkie wystawy poświęcone m.in. drukarstwu, pożarnictwu i historii lokalnych wodociągów. Włączenie Muzeum do Szlaku Zabytków Techniki Województwa Śląskiego (2006) stało się impulsem do jego gruntownej przebudowy. W 2010 roku oddano do użytku obszerne sale poddasza, służące odtąd wystawom czasowym (Galeria w Fabryce), a w latach 2011-2012 remont przeszły pozostałe hale ekspozycyjne. Przebudowano przy tym część parteru, gdzie w latach 2013-2015 stworzono od podstaw stałą wystawę historyczną Od włókiennictwa do małego fiata. Przemysł Bielska-Białej w XIX i XX wieku. Od końca 2013 roku Muzeum nosi nazwę Stara Fabryka.