قلعه اسكندرآباد در پنج كیلومتری سمت غربی شهر باخرز واقع است. پیرامون دیواره بیرونی به استثناء ضلع شمالی آن دارای سه برج نگهبانی و تدافعی بوده اما فضای داخلی آن در حال حاضر بدلیل تخریب های بسیار فاقد هرگونه اجزا و عناصر معماری است. ساختار معماری قلعه مشتمل بر سه بخش مسكونی در ضلع های غربی و میانی است. سفال های پراكنده متعلق به دوره تاریخی و وجود قطعه سفال های دوره هشتم و نهم هجری موید اهمیت این مكان در قرون و سده های گذشته است.