در شمال كاروانسرای حوض سلطان، بنایی به نام قلعه قرمز با كاربردی نظامی ساخته شده است. این بنا ۱۱۲ متر عرض و ۱۱۵ متر طول دارد و كاملاً مشخص است كه با شتاب ساخته شده و ناتمام مانده است. تمام بنا جز سر در ورودی آن از خشت و گل ساخته شده و دورادور آن اتاقهای متعدد وجود دارد. حیاط كوچكی در سمت شمال بنا شده و در برابر سر در اصلی یك باغ كوچك به كاشتن سبزیجات اختصاص داشت. به این ترتیب در زمان آبادی این راه، قلعه قرمز محل مسكونی كشاورزان بود. در جلوی قلعه، آب انبار بزرگی وجود دارد كه از آب باران پر میشود.