قلعه خویدك در زمان های قدیم كه راهزنان به روستا ها حمله می كردند روستاییان برای حفظ جان خود به درون قلعه خویدك میرفتند. این قلعه بسیار گسترده است به طوری كه گویااین قلعه خود یك روستای بزرگ بوده است .در چهار طرف این قلعه چهار برج قرار دارد كه در این برج ها سوراخ هایی تعبیه شده به طوری كه وقتی راهزنان به قلعه نزدیك میشدند افرادی كه در برج بودند بر انها تسلط كافی داشته اند و انها به وسیله تیر كمان های سنگی(منظور تیر وكمان هایی كه به وسیله ان سنگ پرتاب میكردند) راهزنان را مورد حمله قرار می دادند. قلعه خویدك یزد كه به شماره ۱۳۰۲۹ در مرداد سال ۸۴ در فهرست آثار ملی كشور به ثبت رسیده از جمله شاهكارهای كویر ایران است كه با مصالح كاملا بومی و با استفاده از روش‌ها و متد معماری سنتی كویر ساخته شده است. ساخت و ساز فعلی بنا مربوط به دوران آل مظفر(قرن هشتم هجری) می‌باشد كه در چندین مرحله نیز پس از آن تعمیراتی بر روی بنا انجام شده و در بعضی نقاط از جمله سقف یكی از اتاق‌ها خشت‌هایی با ابعاد معمول پیش از اسلام دیده شده كه به احتمال قوی مصالحی است كه در ساخت و ساز اولیه بنا در پیش از اسلام به كار برده شده و بعد از تخریب مجدد از همان مصالح برای تعمیرات دوباره بنا استفاده شده است.در كتب تاریخ یزد متعلق به قرن ۹ و ۱۰ هجری به این قلعه اشاره شده كه می توان از”تاریخ جدید یزد و جامع مفیدی” نام برد. دیواره اطراف قلعه با تركیب و چینه با ارتفاعی بیش از ۸ متر و با تزییناتی در نمای بیرونی ساخته شده است. ضمن آنكه درب ورودی قلعه با طاق هلالی بلند در ضلع جنوبی قلعه واقع شده است.فضای داخلی قلعه به صورت چهار ردیف اتاقك‌هایی است كه سه كوچه در امتداد شمالی – جنوبی، آنها را از هم مجزا می‌كند و سقف این اتاق‌ها به صورت آهنگ و اكثرا با قوس هلالی است و بر روی بخشی از كوچه‌ها ساباط‌هایی دیده می‌شود.اتاق‌های ضلع جنوبی و شرقی به صورت دو طبقه بوده‌اند كه سقف طبقه سوم در اكثر موارد فرو ریخته است و در چهار گوشه قلعه برج‌های دیدبانی تعبیه شده است؛ در اطراف دیوار دو جداره قلعه خندقی به عرض ۱۰ متر وجود داشته است كه در حال حاضر پر شده است.بقایای یك آسیاب آبی در جوار قلعه دیده می‌شود كه در مسیر قنات بوده و نشان دهنده وجود سیستم آبرسانی در قلعه نیز می باشد و نام بنا برگرفته از نام روستای محل ساخت است.بنای این قلعه باستانی با مساحت تقریبا ۲۲۵۲ متر مربع با خشت و گل احداث شده است و به عنوان قلعه مسكونی و تدافعی در طول سده‌های متوالی مورد استفاده بوده است.