Miejsce to jest ściśle związane z tragiczną historią Polaków pod okupacją niemiecką w latach 1939-1945. To tutaj znajdowało się główne więzienie, w którym w czasie II wojny światowej przetrzymywano i zamęczono tysiące Polaków. Idea powstania Muzeum zrodziła się w latach 50. z inicjatywy byłych więźniów „Pawiaka”. Najpierw rękoma mieszkańców Warszawy odgruzowano teren, a następnie postawiono budynek Muzeum na ocalałych fundamentach i zachowanych fragmentach piwnic oddziałów VII i VIII dawnego więzienia. Zachowano oryginalne fragmenty ścian oraz wykorzystano ocalałe kraty, zawiasy, zamki itp.
Dziś w Muzeum nie tylko znajdują się zgromadzone pamiątki związane z wydarzeniami lat 1939-1945, lecz także organizowane są prelekcje, wykłady i spotkania z kombatantami. Na zewnętrznych ścianach budynku znaleźć można tablice upamiętniające poszczególne obozy i organizacje. Znaczącym elementem Muzeum jest tzw. Pomnik Drzewa Pawiackiego – odlew drzewa znajdującego się przed bramą główną „Pawiaka”, na którym umieszczone są nazwiska pomordowanych więźniów.
Muzeum jest oddziałem Muzeum Niepodległości.
Zwiedzanie Muzeum może być uzupełnieniem do wycieczki szlakiem II wojny światowej, Powstania Warszawskiego i Kamieni na szaniec.