این مسجد درجنب خانقاه مزبور ساخته شده است و جامع مفیدی بنای اولیه‌ی آن‌را به‌خانش بیگم همشیره‌ی شاه طهماسب كه همسر یكی از نواده‌های شاه نعمت‌الله بوده است نسبت می‌دهد (مستوفی بافقی : ۶۰ ) بنا به قول ایرج افشار قدیم ترین تاریخی كه حدود بنای مسجد را نشان می‌دهد سنگ محراب آن است كه مربوط به سال ۸۷۳ هجری است (افشار : ۱/۴۱۲) وحال آنكه خانش بیگم در ۹۹۹ هجری فوت كرده است . بنابراین احتمال اینكه تاریخ بنای این مسجد مربوط به قبل از زمان وی باشد صحیح تراست آیتی بنای این مسجد را به شاه ابوالولی فرزند شاه ابوالمهدی منسوب می‌داند وی معاصر شاه عباس بوده وچندی حكومت یزد داشته است .
مسجد شاه ولی (مسجد امام) مربوط به سدهٔ ۸ ه. ق. است و در تفت، محله بازار واقع شده است. این اثر در تاریخ ۲۳ اسفند ۱۳۴۶ با شمارهٔ ثبت ۷۷۱ به‌عنوان یكی از آثار ملی ایران به ثبت رسیده‌است.
این مسجد كمی پیش از زمان جهانشاه قره قویونلو ساخته شده‌است. همانند مسجد كبود تبریز در بین دو شیوهٔ آذری و اصفهانی ساخته شده. گنبد آن دو پوسته پیوسته‌است و روی كاربندی نهاده شده و زمینهٔ چهار گوشهٔ آن بی هیچ چین و شكنجی چنبره و گرد شده است. درگاه‌ها و روزن‌های آن بسیار خوش اندام و زیباست. برخی آرایه‌های آن فروریخته و گج اندود شده است.
