کاخ صفی آباد در میان باغی زیبا به صورت بنایی مربع شکل و دارای ابعاد ۲۵x۲۵ متر بوده و در دو طبقه ساخته شده است. این کاخ در ارتفاع ۶۵۰ متری از دریا وجود دارد. به علت ارتفاع بالا به‌راحتی می‌توان بندر ترکمن و بندرگز را از این چشم‌انداز نگاه کرد. ورودی کاخ در سمت شمالی قرار داشته که با عبور از پنج پله امکان دسترسی به داخل طبقه اول کاخ وجود دارد. طبقه اول دارای اتاق‌های متعدد بوده که از طریق راهرو و هشتی امکان دسترسی به داخل آن وجود دارد. طبقه دوم نیز دارای راهرو و اتاق‌های زیبایی است.

از این کاخ تا باغ شاه بهشهر که به عمارت چهل ستون مشهور است، یک راه زیر زمینی احداث شده بود. این راه در مواقع ضروری مورد استفاده عبور و مرور یا سایر جریان‌های دیگر می‌گردید. در فاصله میان کاخ صفی‌آباد تا باغ بهشهر، تونل زیرزمینی حفر شده است که در گذشته در شرایط ضروری از این تونل برای رفت و آمد استفاده می‌شده است. فاصله کاخ صفی آباد تا باغ شاه بهشهر چیزی حدود ۱۶ کیلومتر است. از این تونل زیرزمینی برای جلوگیری از حمله دشمنان از راه دریای خزر هم استفاده می‌شده است
کاخ صفی‌ آباد در زمان شاه صفی، فرزند شاه‌ عباس توسعه پیدا کرد و یکی از بناهای موردعلاقه شاه‌ عباس بود. این کاخ در حمله افغان‌ها آسیب شدیدی دید؛ ولی در دوره افشاریه به‌دست نادرشاه افشار تعمیر و بازسازی شد.