آب‌انبار سردار كوچك روبروی مدرسه سردار در انتهای جنوبی محله قملاق و جنب خیابان تبریز شهر قزوین قرار گرفته است. این آب‌انبار یكی از آب‌انبارهای مهم شهر قزوین به شمار می‌رود كه توسط دو برادر به نام‌های محمدحسن خان و محمدحسین خان سردار (از امرای فتحعلی شاه قاجار) در سال ۱۲۲۹ هجری قمری ساخته شد.سردرِ آب‌انبار مزین به كاشی‌كاری و داخل ورودی آن دارای رسمی‌بندی است. راه شیر آب‌انبار دارای ۳۶ پله است و ۴ شیر آب، ۴ گنبد و ۴ هواكش دارد. گنجایش مخزن این آب‌انبار ۳۸۰۰ مترمكعب می‌باشد. از آنجا كه این آب‌انبار منتسب به برادر كوچك‌تر می‌باشد به آب‌انبار سردار كوچك معروف شده است در حالی از لحاظ ابعاد و گنجایش مخزن، از آب‌انبار سردار بزرگ وسیع‌تر است.این آب‌انبار جزو مجموعه مسجد و مدرسه سردار می‌باشد.
آب انبار سردار كوچك بر خلاف نام آن از آب انبارهای بزرگ و مهم شهر قزوین به شمار می‌رود.این آب انبار در انتهای جنوبی محله قملاق (به لهجه قزوینی، مغلواك) و شمال محله آخوند، جنب خیابان تبریز و به فاصله كمی در شمال بقعه سلطان سید محمد روبروی مدرسهٔ سردار واقع شده‌است.خیابان شهید انصاری (كوروش) پس از طرح توسعه به سمت غرب، از شمال این آب انبار عبور كرده‌است كه دسترسی گردشگران به این آب انبار و سایر آثار تاریخی بافت قدیم قزوین را آسان ساخته‌است.این آب انبار سی و هفت پله دارد با چهار شیر و انبار آن به چهار گنبد و چهار بادگیر یا بخاركش مسقف است.نمای آن با آجرهای كاشی تزیین یافته و دارای كتیبه‌ای از سنگ مرمر است.
بانی این آب انبار محمد حسن خان و محمد حسین خان سردار، دو برادر از امرا و سرداران فتحعلی شاه و محمد شاه قاجار بوده‌اند كه در سال ۱۲۹۹ هجری قمری اقدام به ساخت این بنا كرده‌اند. چون این آب انبار منتسب به برادر كوچك تر می‌باشد به آب انبار سردار كوچك معروف شده‌است در حالی كه كه از لحاظ اندازه وسیع تر از آب انبار سردار بزرگ است.
