باغ پهلوان‌ پور یکی از آثار بر جای مانده از اواخر دوره قاجاریه است که در اصل متعلق به شخصی به نام «حسن ملارضا» بود؛ ولی بعد از او، مالکیت باغ در اختیار داماد ایشان یعنی آقای علی پهلوان‌ پور» قرار گرفت. علی پهلوان‌ پور یکی از تاجران یزدی در آن زمان بود که نام باغ نیز از نام ایشان گرفته شده است.

گذشتگان، داستان باغ را چنین روایت می‌کنند که در گذشته‌ای نه‌چندان دور در این منطقه، دو باغ مجزا و کنار هم قرار داشت که با دیوار چینه‌ای از یکدیگر جدا شده بودند. این دو باغ که به آقایان پهلوان‌ پور و حسن ملا علی‌رضا تعلق داشت، بعد از ازدواج فرزندان آن‌ها و ایجاد خویشاوندی این دو خانواده، دیوار بین باغ‌ها برداشته و هر دو باغ به یک باغ و به نام علی پهلوان‌ پور نامگذاری شدباغ پهلوان پور به‌عنوان یک نمونه زیبا از باغ‌های اصیل ایرانی در تاریخ هفت مهر سال ۱۳۸۱ هجری شمسی و با شماره ۶۳۳۴ در فهرست آثار ملی ایران به ثبت رسید. همچنین این باغ در سال ۲۰۱۱ (۱۳۹۰ هجری شمسی) و طی نشست سی‌وپنجم در فهرست آثار جهانی یونسکو قرار گرفت.