زندان قصر در تاریخ ۱۱ آذرماه ۱۳۰۸ به دست رضا شاه افتتاح گردید. فاز اولیه زندان که در آن زمان افتتاح شد ۱۹۲ اتاق بود با گنجایش ۸۰۰ زندانی.
بعد‌ها و تا زمان ساخت زندان اوین در دهه چهل، این زندان تنها زندان پایتخت بود. در این دوران زندان قصر توسعه زیادی پیدا کرد. پس از انقلاب اسلامی ایران این زندان محل حبس زندانیان غیر سیاسی بود.
در سال ۱۳۸۳ این زندان تعطیل شد و شهرداری شروع به تخریب بخش‌هایی از زندان نمود که با پی گیری کانون زندانیان سیاسی قبل از انقلاب با ثبت زندان به عنوان آثار ملی ایران در سازمان میراث فرهنگی از تخریب آن جلوگیری شد.
البته در این میان تا قبل از ثبت محل، زندان زنان سیاسی تخریب شد.
نهایتاً در سال ۱۳۹۱ به وسیلهٔ شهرداری تهران براساس طرح معماری و ایده مفهومی تجربی معماری کلانشهر به باغ موزه تبدیل گردید و در تاریخ ۱۴ آبان ماه ۱۳۹۱ با حضور شهردار تهران و جمعی از هنرمندان برای بازدید عموم رسماً افتتاح گردید.
اولین زندانی زندان قصر، سازنده آن یعنی سرتیپ درگاهی بود. او تنها دو روز پس از همراهی رضا شاه در مراسم افتتاح زندان، در همان زندان محبوس گردید. در تصاویر روز عکس‌های زندان قصر را ببینید.