في عام 1808 امر محمد علي باشا ببناء قصره الصيفي و استغرق بناؤه و زخرفته اكثر من ثلاثة عشر عاما و كان اول قصر اضيء بغاز الاستصباح، و قد جعل منه مصيفا فاخرا يطل على النيل من شاطئه الشرقي و قسم حديقته الى رياض صغيرة، ترتفع الواحدة منها عن الاخرى و في وسطه كشك فرشت ارضه بالرخام الاحمر و فسقية جميلة فضلا عن انواع الطير و بادر الزهر و الشجر و في جانب البستان ، استراحة صغيرة مقامة على مدرج هرمي يحيط بها اندر انواع الشجر .
"قصر الأساطير"، كأنه قصر الف ليلة و ليلة، قصرا ألهم الشعراء ويقول عنه الشاعر الفرنسي مارمييه عام 1846 : " كل ما فيه يوقف الخطى و يبهج النفس، الوان تجتذبها ازكى العطور، تفتن العين حين تشدو السماء باعذب الموسيقى، تسير من روض الى روض حتى تصل الى قصر الحاكم ، انني لست في استامبول و لا القاهرة، و لكنني هنا حيث تحيا اساطير الخيال ".
و يقول الرحالة الايطالي باروفي : " ان ذلك المبنى الانيق الذي يتوسط بستان شبرا الذائع الصيت الذي لا نظير له في اوروبا، ملآن باعظم درجات التقدير و هو مثل من الامثلة القليلة التي تؤكد سحر الشرق و عجائبه " .
يقول مسيو " ج ولشيفالري " في كتابه حدائق القاهرة و متنزهاتها، معددا محتويات القصر: " يحتوي قصر الوالي على : ملحقات القصر، مسكن البواب، نافورة شرفة و عليها جوسق، بركة فسقية، حمام شرقي، معمل لتحضير غاز الاستصباح، البهو الاخضر، طريق مزروع بالصنوبر الحلبي، تكعيبة كرم، مجموعة من اشجار الموالح، اشجار الفاكهة ذات الاوراق المتساقطة، مدخل من شارع شبرا، روضة الزهور، حديقة الخضر.