یكی از اثار باستانی شهرستان حاجی آباد قلعه تاریخی این شهر می باشد كه قدمت آن به دوران ایلخانان، تیموریان و صفویه می رسد این قلعه در ورودی شهر حاجی آباد قرار دارد و احتمالاً در دوره صفویه نیز از آن استفاده می شده است. این قلعه روی صخره ای در جنوب غربی شهر قرار دارد. ارتفاع آن بین ۳۰- ۲۷ متر و طول و عرض۸۰ متر می باشد و دارای چهار برج است . ظاهراً این قلعه در روزگار دولت های قبل از اسلام بنا شده و بعدها توسط پادشاهان هرمز بازسازی گردیده است. احتمال می رود قلعه كهن حاجی آباد به دلیل موقعیتی كه داشته توسط سپاهیان تیمورلنگ تخریب و پس از قتل عام اهالی به آتش كشیده شده سپس به وسیله سیفین یكی از پادشاهان هرمز بازسازی میگردد . و به نام قلعه سیفین (دو شمشیر) نامگذاری میشود . شهرحاجی آباد در اطراف همین قلعه بوجود آمده و رشد كرده و درحال حاضر یكی از محلات قدیمی این شهرستان به نام پای قلعه مشهور میباشد.