در یك كیلومتری جنوب شرقی قصر شاه عباسی یا قصر بهرام , یك بنای دیگر صفوی به چشم می خورد كه حرمسرا نامیده میشود و ظاهرا در هنگام مسافرت خاندان سلطنتی، حرمسرا و در سایر مواقع محل سكونت شكارچیان سلطنتی بوده است.
آب آشامیدنی این بنا از چشمه های واقع در دامنة سیاه كوه، توسط یك كانال و پس از عبور از یك دره به استخری در بیرون جبهه جنوبی حرمسرا می رسید و پس از پر كردن آن از طریق كانالی دیگر به حوضی درداخل حرمسرا منتقل می‌شد.
در نیمه جنوب غربی حرمسرا، یك تالار بزرگ و در شمال آن تالار دو ایوان وجود دارد. در شمال ایوانها دو اتاق بنا شده است، كه ابتدا وجود نداشته ولی بعد ها به بنا افزوده شده است. تالارهای موجود در ضلع شمال كاملاً منهدم شده اند و چنین به نظر میرسد كه زلزله ای شدید باعث انهدام آنها شده است.