قلعه پهلوان بادی در كنار آسیاب بادی و متروكه قرار گرفته است و مردم منطقه در محاوره های عمومی از این قلعه به نام پلوون یاد می كنند.این قلعه در مسیر آبشار دره گاهان كه تنها آبشار استان یزد محسوب می شود، در مسیر دره ای به نام لاكانو و برفراز كوهی به همین نام قرار د ارد.
طول مسیر دره تا قلعه سه كیلومتر است و طی كردن آن به علت سنگلاخ بودن، خرابی جاده و باریك بودن آن بسیار مشكل بوده و به راه بز رو معروف بوده. بنای قلعه از آجرهای نازك ساخته شده و ۱۵۰۰ متر مربع مساحت دارد.
