این قلعه بالای كوه صخره‌ای مشرف بر امامزاده اسماعیل در حومه شهر فیروزكوه قرار گرفته است. برای ساخت این قلعه در قسمت دیوارهای خارجی و دفاعی و برج از لاشه سنگ همراه با ملات گچ و ساروج استفاده شده است.
از این قلعه فقط كمی از دیواره‌های ضلع غربی و ضلع جنوبی همراه یك برج باقی‌مانده است و در ضلع شرقی و كنار برج تعدادی اتاق مخروبه مشاهده می‌شود. برج كه نسبتا سالم مانده دایره‌ای‌شكل است و حدود ۵ متر هم از دیواره‌ها باقی‌مانده است. در وسط این برج یك پنجره كوچك مستطیل‌شكل دیده می‌شود.
كلاویخو، جهانگرد مشهور اروپایی كه در دوره مغول به ایران سفر كرده بود در مورد این قلعه می‌نویسد: «گویند دژ فیروزكوه چنان نیرومند بود كه هیچ‌كس نمی‌توانست آن را در صورتی كه پادگان كافی در آن موجود می‌بود، به حمله بگیرد، چون حصار برنوك كوهی است مشرف بر دشتی كه این كوه را از كوه‌های دیگر به كلی مجزا می‌كند.
در پای حصار در كنار دشت دیواری است كه گرداگرد آبادی فیروزكوه راگرفته است و از آنجا دفاع می‌كنند. در داخل این دیوار آبادی فیروزكوه قرار گرفته و بالاتر از این دیوار، دیوار دیگری به موازات آن كشیده شده است و بالاتر هم دیواری است به موازات ۲ دیوار اول كه همانا دیوار دژ اصلی است. در میان ۲ دیوار اخیر خانه‌های مردم آبادی واقع است. برفراز اینها سنگر‌ها و استحكامات دژ مركزی قرار دارد با دیوار محكم و برج‌های استوار و بسیار. به این طریق با آن كه فیروزكوه داخل یك دژ است، ۳ حصار دارد كه یكی برفراز دیگری است و نیز در دژ مزبور چشمه زلالی است كه اهالی آنجا را كفایت می‌كند و حال آن كه از پایین حصار هم رودخانه‌ای می‌گذرد كه روی آن پل‌های متحرك وجود دارد كه برای دست‌یافتن به حصار اول باید از آنها گذشت.»
قلعه فیروزكوه شامل سه بخش بوده كه بخش اول شامل شهر قدیم فیروزكوه بخش دوم شامل تعدادی خانه با دیوارهای خشتی برج ، آب انبار و چاه آب بخش سوم كه از پشت دروازه و دیوار عظیم بخش دوم آغاز و انتهای كوه امتداد می یافت بوده است و در بالاترین قسنت كوه ارگ حكومتی ساخته شده بود . مصالح بكار رفته شامل خشت و گل برای خانه ها و سنگ لاشه و ساروج برای برجها و استحكامات بوده است.
