Budynek dzisiejszego muzeum zwyczajowo określa się mianem zajazdu Pod św. Benedyktem, choć umiejscowienie tu zajazdu nie jest pewne. Patron nawiązuje do pobliskiego kościoła pod tym właśnie wezwaniem oraz do nazwy fortu „Św. Benedykt”.

26 lutego 1784 roku decyzją cesarza Józefa II Habsburga osada Podgórze uzyskała status wolnego miasta królewskiego. W tym czasie wydano pierwszy plan Podgórza ukazujący murowane budynki – zaznaczono na nim kompleks trzech budowli należących do kupca Józefa Hallera, z których dwie zajmuje dzisiejsze Muzeum Podgórza. Na kupieckie zabudowania składał się budynek główny wraz z dwiema małymi oficynami (pozostałości jednej z nich można zobaczyć w sali konferencyjnej muzeum). W roku 1838 powstał pierwszy plan katastralny dla Podgórza, na którym zaznaczono zabudowania działki mieszczącej dziś Muzeum Podgórza. Z planu wynika, że oficyny zostały w tym czasie powiększone, a część nieruchomości zajmował sad i ogród. W połowie XIX wieku w budynku muzeum mieścił się szpital wojskowy. W 2. połowie tego stulecia i w początkach XX wieku zajazd Pod św. Benedyktem pełnił funkcje wojskowe – na planie z 1870 roku zaznaczono tutaj magazyny artylerii, a w roku 1916 – warsztaty artyleryjskie.

31 października 1918 roku koszary  zostały opanowane przez oddział pod dowództwem podporucznika Franciszka Pustelnika, stając się jednym z pierwszych wyzwolonych budynków na ziemiach polskich.

W latach międzywojennych mieści się tu Wojskowa Wytwórnia Wozów Taborowych, a w roku 1940 uruchomiono warsztaty naprawcze oraz punkt sprzedaży niemieckich pojazdów koncernu Auto Union AG. W czasie II wojny światowej budynek pełnił funkcję filii więzienia św. Michała, czego świadectwem jest niezwykły eksponat prezentowany na wystawie, a odkryty w czasie remontu budynku. To wiadomość z 1942 roku od więźniów zmuszonych do prac adaptujących kolejne sale na cele więzienne. Tekst napisano odręcznie na opakowaniach po bibułkach do skręcania papierosów.

Budynek funkcjonował jako filia więzienia św. Michała aż do roku 1949, później znajdowały się tu mieszkania funkcjonariuszy służby więziennej.

W roku 1951 podjęto decyzję o wyburzeniu obiektu i budowie na jego miejscu bloku mieszkalnego. Mimo wydanego już pozwolenia na budowę oraz zgromadzonych na dziedzińcu materiałów, w niewyjaśnionych okolicznościach decyzję tę cofnięto, choć wpisu budynku do rejestru zabytków dokonano dopiero wiele lat później (2010).

W latach 50. i 60. XX wieku budynek przechodził pod zarząd różnych instytucji, użytkowany był m.in. przez Krakowskie Przedsiębiorstwo Obrotu Surowcami Skórzanymi i Włókienniczymi, spółdzielnię inwalidów wytwarzającą wyroby kaletnicze i elektroniczne, nadal też pełnił funkcje mieszkaniowe. Pod koniec lat 70. zmienił się wygląd założenia, zburzona została południowa oficyna, w miejscu której zaplanowano przebieg nowo wytyczonej ul. Telewizyjnej. W pamięci mieszkańców Krakowa pozostaje restauracja prowadzona na parterze i w piwnicach oraz sklep meblowy na pierwszym piętrze. Przez krótki czas budynek nielegalnie zajmowali squattersi, którzy organizowali tu wystawy i koncerty. Szybko jednak zmuszono ich do wyprowadzki. Opuszczony budynek zabezpieczano doraźnymi remontami. W ciągu lat pojawiały się różne pomysły na jego zagospodarowanie, m.in. miała się tu mieścić siedziba muzeum Jerzego Dudy-Gracza. Po latach starań zainicjowanych przez Stowarzyszenie PODGORZE.PL w roku 2008 Rada Miasta Krakowa przyjęła uchwałę dotyczącą utworzenia w zabudowaniach Pod św. Benedyktem Muzeum Podgórza. które oddano pod opiekę Muzeum Historycznego Miasta Krakowa. Trwający dwa lata generalny remont przywrócił zabudowaniom blask, pozwolił zaadaptować zabytkowe wnętrza na potrzeby nowoczesnej instytucji muzealnej.