W latach 1824–1826 na wzgórzu zamkowym, w miejscu zniszczonego zamku królewskiego, z inicjatywy Stanisława Staszica i według projektu Jana Stompfa, wzniesiono istniejącą do dziś neogotycką budowlę, przeznaczoną na więzienie kryminalne Królestwa Kongresowego. Wcześniej, jeszcze w średniowieczu, funkcję więzienia pełniła wieża mieszkalno-obronna – donżon.
W okresie rozbiorów w więzieniu na zamku przetrzymywano uczestników walk o niepodległość Polski, na przykład powstańców styczniowych. Także w latach 1918–1939 oprócz więźniów kryminalnych umieszczano tutaj skazanych z powodów politycznych.
W 1939 roku, po wkroczeniu wojsk niemieckich do Lublina, więzienie zostało przejęte przez policję bezpieczeństwa i służbę bezpieczeństwa III Rzeszy. Stało się centralnym więzieniem dystryktu lubelskiego Generalnego Gubernatorstwa (Polizeigefangenenhaus – Lublin). Do cel trafiali więźniowie polityczni – osoby zaangażowane w działalność Polskiego Państwa Podziemnego, ale także skazańcy kryminalni. Szacuje się, że w okresie okupacji niemieckiej przez zamek lubelski przeszło około 40 000 osadzonych. Przedwojenne plany przewidywały, iż w więzieniu może jednorazowo przebywać około 700 osób. W rzeczywistości na zamku przetrzymywano jednocześnie nawet ponad 3000 osób.
Przez cały okres działalności niemieckiego więzienia odbywały się egzekucje. Pierwsza została przeprowadzona już 13 listopada 1939 roku, kiedy rozstrzelano dziesięciu mieszkańców wsi Siedliszcze i Majdanek Zahorodyński. 23 grudnia 1939 roku rozstrzelano dziesięciu więźniów zamku – zasłużonych obywateli miasta – na starym cmentarzu żydowskim. Latem 1940 roku około 500 osadzonych zamordowano w ramach Akcji AB w wąwozie na Rurach Jezuickich. W latach 1940–1944 więźniów rozstrzeliwano także w egzekucjach o charakterze represyjnym. 22 lipca 1944 roku, podczas niemieckiej ewakuacji z Lublina, w ostatnich godzinach funkcjonowania niemieckiego więzienia, zamordowano około 300 osób. Na Zamku Lubelskim urzędował Sondergericht – tak zwany sąd specjalny, wydający wyroki śmierci.
Warunki, w których więźniom przyszło egzystować, były nieludzkie. Cele były przepełnione, szerzyły się choroby, panował głód. Osadzonych poddawano nieustannym szykanom ze strony niemieckiej załogi. Wielu skazanych zostało zamordowanych albo utraciło zdrowie podczas brutalnych przesłuchań-tortur prowadzonych w areszcie „Pod Zegarem” lub kancelarii więziennej.
Pomoc skazańcom zapewniali polscy strażnicy więzienni, pracujący na zamku jeszcze w okresie przedwojennym, a także niektórzy więźniowie funkcyjni. Wsparcie przychodziło także z zewnątrz, od rodzin lub organizacji, takich jak Rada Główna Opiekuńcza czy Polski Czerwony Krzyż.
Koniec II wojny światowej w Lublinie nie oznaczał końca tragedii. Już we wrześniu 1944 roku na zamku lubelskim siły komunistyczne utworzyły więzienie służb bezpieczeństwa (najpierw sowieckich – podległych NKWD i Smierszowi, a następnie polskiemu Ministerstwu Bezpieczeństwa Publicznego); zamek stał się po wkroczeniu wojsk sowieckich głównym więzieniem w Polsce.
Warunki były porównywalne do tych, jakie panowały podczas okupacji niemieckiej. Wyposażenie było to samo co w latach 1939–1944 (na przykład sienniki, ale też narzędzia tortur). Według relacji pierwszych osadzonych, kiedy ich aresztowano, cele były jeszcze mokre od krwi ofiar mordu z 22 lipca. W kwietniu 1945 roku na zamku miało się znajdować około 8000 osób, co znacznie przekraczało najwyższe stany liczbowe z lat wojny.
Podobnie jak w okresie funkcjonowania więzienia niemieckiego na zamku jednocześnie umieszczano więźniów politycznych (członków Polskiego Państwa Podziemnego z czasów II wojny światowej oraz kontynuujących walkę o niepodległość po 1944 roku; wielu z osadzonych było wcześniej więźniami aresztowanymi przez okupanta niemieckiego) i kryminalnych. Niektórzy z nich musieli dzielić cele ze swymi oprawcami z lat II wojny światowej. Badania sugerują, iż w latach 1944–1954 przez zamek lubelski przeszło około 32–33 tysięcy osób.
Przeprowadzano brutalne przesłuchania i egzekucje. Rozstrzeliwano od samego początku funkcjonowania komunistycznego więzienia (przeważnie w piwnicach nieistniejącego już budynku administracyjnego). Na więźniów zamku wydano 515 wyroków śmierci, z czego w więzieniu zabito 180 osób. Ostatni zamordowany, Edward Bukowski vel Obarski, został rozstrzelany 12 stycznia 1954 roku.
W lutym 1954 roku rozpoczęto likwidację więzienia. W 1956 roku budynek przekazano instytucjom kultury. Historię więzienia komunistycznego ukrywano i cenzurowano do 1989 roku.
