این اثر كه به سبك معماری یزدی بنا شده و قدمت آن را به دوران صفویه نسبت می‌دهند هنوز به ثبت میراث فرهنگی نرسیده است.
نقل است كه شخصی از اهالی یزد كه زائر كربلا یا مكه بوده در هنگام برگشت از مسافرت به مقصد یزد كه بار تسبیح و مهر به همراه داشته در شهر خالدآباد بیمار شده و در منزل یكی از اهالی خالدآباد بستری و تحت مراقبت قرار می‌گیرد كه بعد از چند روز دار فانی را وداع گفته و در مكانی كه در حال حاضر به بقعة باباحاجی معروف است مدفون گشته كه بعدها اقوام و فرزندان او به خالدآباد مراجعت نموده و بقعه‌ای به سبك معماری یزدی بر سر قبرش بنا كرده‌اند.
نقل است زمانیكه اهالی قصد غسل دادن میت را داشتند بدلیل فصل سرما نتوانستند وی را با آبهای روان غسل دهند و مجبور به استفاده از آب چاه داخل منازل بودند لذا در طی چند مرحله برداشتن آب از چاه برای غسل دادن هر بار مشكلی بوجود می‌آمد و مانع از انجام كار می‌شد كه پس از بررسی متوجه وجود جانور مرده‌ای داخل آب شدند و در آن موقع مشخص شد كه باباحاجی فرد باكرامتی بوده است. همچنین نقل است زمانیكه فرزندان وی بر سر مزارش حاضر شدند چون در هنگام گریه و عزاداری برای پدر خود می‌گفتند بابا حاجیم (چون پدرشان حاجی بوده) كه به همین علت این فرد به باباحاجی معروف گشت و بقعة باباحاجی هم به همین نام معروف است.
