روستای خشت سر جمعیتی بالغ بر ۸۰۰ خانوار و ۳۵۰۰ نفر دارد .این روستا از شمال به دریای مازندران از جنوب به جنگلهای نه چندان انبوه شمال ، از سمت شرق به شهرستان محمودآباد و از طرف غرب به ایزد شهر منتهی می شود. براساس آمارهای موجود ۶۵ درصداهالی كشت سر از راه كشاورزی امرار معاش می كنند و بقیه در مشاغل خدماتی و كارگری فعالیت دارند. آستانه امامزاده فضل دركنار جاده ی اصلی روستا با بنایی زیبا و پرجاذبه رهگذران را مجذوب خود می كند.این امامزاده از نوادگان امام موسی كاظم (ع) است ومكان آن ۹۰۰ سال قدمت دارد.بنای جدیدامامزاده درسال ۱۳۶۰ شمسی مجددا با معماری زیبا و چشم نواز ساخته شده است. شغل اصلی مردمان روستای خشت سر صیادی است.