مهم‌ترین قلعهٔ كوهستانی شهر یزد، قلعهٔ رفیع، محكم و با عظمت شواز است. این قلعهٔ مسكونی با مساحت پنج هزار متر مربع، در ارتفاع صد متری، بر فراز صخره‌های سنگی از نوع سنگ‌های سفت رسوبی بنا شده و در اطراف آن پرتگاه‌ها و خاكریزهایی با شیب تند وجود دارد. دیوارهای اصلی بنا از بیرون سنگ و از داخل، خشت خام و درگاه ورودی آن از آجر است. قلعه در طرف شرق گاوپهلوی مرتفعی دارد كه از آجر بنا شده و از آن برای كشیدن آب استفاده می‌كردند. از زیبایی‌های دیگر این قلعه، درِ سنگی آن است. علاوه بر این، در داخل قلعه چند مغازه در دل سنگ كنده‌اند كه شباهت بسیار به مغازه‌های میمند كرمان و لاریجان مازندران دارد.