این باغ در سال ۱۲۷۶ هجری قمری توسط نور سلطان محمد میرزای سیف‌الدوله؛ حكمران ملایر در دوره ناصرالدین شاه (و از نوادگان فتحعلی شاه قاجار) به منظور تفرجگاه و تفریحگاه مردم شهر وقف شد كه بعدها به منظور تجلیل از واقف، «سیفیه» نامیده شد.
از آنجا كه سازندگان این بوستان مهندسان ایتالیایی بوده‌اند، این پارك را به شكل صلیبی و بیضی ساخته‌اند. چارچوب كلی باغ تحت عوامل داخلی است و احتمالاً این باغ به تقلید از شیوه باغ‌سازی دوره صفویه در اصفهان (چهارباغ اصفهان) ساخته شده است. در واقع به این دلیل كه سیف‌الدوله مدتی در اصفهان زندگی می‌كرد، این عامل را در باغ‌سازی به این روش كه در معماری قبل از دوره صفویه و قاجار نیز معمول بوده است را بی‌ثمر نمی‌توان دانست. این بوستان دارای دو استخر و یك مسجد می‌باشد كه توسط سیف‌الدوله احداث شد و ساختمانی كه ظاهراً محل سكونت بانی آن بوده است.
مصالح به كار گرفته شده در مجموعه باغ سیف‌الدوله به تناسب نیازهای قسمت‌های مختلف بنا عبارتند از سنگ، گِل، چوب، آجر، خشت، ساروج، كاشی و ملاط گچ.
در محوطه این پارك كه در گذشته محل سكونت اختصاصی حاج سیف‌الدوله بود، آرامگاه وی و مزار امیر المؤید (نوه سیف‌الدوله كه در واقع مالك اصلی پارك و اراضی اطراف آن بود) و ۷ قبر دیگر بنا شده است. این مقبره دارای پلان چهارضلعی می‌باشد كه بر فراز آن گنبدی واقع شده است. در داخل مقبره علاوه بر اتاق بزرگی در وسط با پوشش گنبدی شكل، ۴ اتاق كوچك مربع شكل به ضلع ۴ متر با پوشش نیم گنبدی نیز بنا شده كه هر كدام با دو ورودی به بیرون راه پیدا می‌كنند و با دو ورودی به داخل مقبره ارتباط می‌یابند. در داخل مقبره تابلویی بزرگ كه بر روی آن آیاتی از قرآن نگاشته شده به چشم می‌خورد و نیز چند عكس از سیف‌الدوله، امیر المؤید و افراد خانواده وی مشاهده می‌شود.
در اوایل دوره مشروطیت و هنگامی كه هرج و مرج كشور را فراگرفته بود، این پارك بارها مورد غارت قرار گرفت و خسارت‌ها و ویرانی‌های بسیاری بر آن وارد شد ولی سیف‌الدوله با علاقه‌ای خاص اقدام به جبران خسارت‌ها نمود و تا پایان عمر عهده‌دار این امر بود. پس از سیف‌الدوله نوه ایشان عهده‌دار این امر گردید و در وصیت‌نامه خود این باغ را به شهرداری شهر واگذار كرد و از آن پس حفظ و نگهداری این مجموعه تاریخی بر عهده شهرداری ملایر قرار گرفت.
