كاروانسرای كلمرد قدیم و جدید در كنار هم قرار دارند. قدیمی بر اثر گذر زمان از بین رفته و تنها خرابه ای از آن بجای مانده ، اما كاروانسرای جدید كاملا سالم ، در كنار جاده ای كه حالا كم تردد است شكوه و تنهایی خاصی دارد.یكی از ویژگیهای این بنا بلندای یكسان آن در دور تا دور بناست.و بجز بادگیر حتی سردر ورودی نیز با دیوارها در یك سطح است.
در دو سوی ورودی كاروانسرا در خارج بنا ایوانچه هایی وجود دارد كه در هر طرف شش عدد است و در پای سكوی هر كدام افساربندی ایجاد شده كه جای بستن دهانه اسب و شتر كاروانیان بوده است.همچنین اجاقها یا بخاریهای دیواری این بنا در برخی از ایوانچه های حیاط و هشتی ورودی در گوشه ها پیش بینی شده است.
پشت بام این كاروانسرا نیز به زیبایی آجر فرش شده كه جلوه ای خاص به آن بخشیده است.كاروانسرای قدیمی كه مخروبه شده دارای مساحت ۸۵۵ متر مربع می باشد و لی مساحت كاروانسرای جدیدتر ۳۱۸۴ متر مربع است. این افزایش مساحت در طی ۱۰۰ سال در این دو بنا كه كاربری یكسانی داشته مبین این نكته است كه این مسیر پر رفت و آمد شده بوده و احتیاج به وسعت و گنجایش بیشتر باعث افزایش سطح بنای جدید گردیده است.هم اكنون در داخل این مكان، یك مرد چوپان به همراه زن و فرزندانش زندگی می كنند.
شاید حضور همین خانواده دلیلی بر سالم ماندن و دور بودن از گزند انسانها به آن باشد.تا حدود ۱۵ سال قبل كه مسیر طبس به یزد و تهران از این محل بود، مسافرینی كه مسیر جنوب كشور به شرق و شمال شرق و بالعكس را می پیمودند در این مكان به استراحت می پرداختند. اما اكنون كاروانسرای كلمرد تنها شاهد خانواده مردی چوپان و تعدادی دام است . تاریخ و گذشته و حضور كاروانیان را می توان در سكوت حاكم بر این كاروانسرا در ذهن مجسم نمود.
