در زمان سلجوقیان، اسماعیلیان بر طبس استیلا یافتند و قلاع محكمی در كوه های آن ساختند.قلعه اسماعیلیان طبس كه یكی از قلعه های معروف این فرقه است، بر فراز كوهی ایجاد شده كه در مجاورت آن روستای خراوان پایین قرار دارد.از فراز قلعه به هر طرف كه چشم دوخته می شود، كوهستان است و افق بازی وجود ندارد و تنها می توان روستاهای خراوان بالا و پایین را مشاهده كرد.در درون قلعه چهار آب انبار وجود دارد كه سالمترین آنها در بالاترین سطح كوه قرار دارد و تنها پوشش گنبدی آن در وسط از بین رفته است.