據歷史記載，遠在公元前21世紀的商代就有了苑。苑是選擇一塊山林之地，在裡面放養一些野獸專供帝王在這裡狩獵行樂。這時，除了在苑內築有高土台供觀察天文和瞭望以外，還沒有什麼建築。到了西周(公元前10世紀到前8世紀)苑被稱為囿，囿的規模有大到方圓70裡的，在這些囿中蓄養禽獸和魚類，挖有靈沼，築有靈臺，在靈臺上開始建造宮室以供帝王享用。秦、漢統一中國，這種苑囿得到進一步發展。漢代建造的衛林苑，長達300裡，在其中蓄養百獸，採種各地花木，建造宮殿和供觀賞遊樂的建築，已經是一座供帝王娛樂休息用的園林了。
魏晉南北朝時期，各國統治者之間相互併吞殘殺，連年戰爭不息，使一些文人士大夫產生一種消極悲觀的思想。他們不理世事，崇尚玄理，喜好清談，一時間，逃避現實的老莊學說備受歡迎。他們隱逸江湖，寄情於山水。這時期，山水詩、山水畫大大盛行，大自然成了人們寄託感情的環境，於是文人士大夫開始也在自己周圍經營起具有自然山水之美的小環境，這就興起和發展了追求自然情趣的山水園林。帝王的以狩獵為主的苑囿也開始向山水園轉化，在園中開池堆山，佈置亭台樓閣，創造一種具有自然之美的環境。佛寺為了避開塵世之擾，多選擇風景優美的山林之地建造寺廟，由此也開發了山區的自然風景點。文人仕宦更大量興建私家園林，在園裡堆築小山，培植花木以陶冶他們的性情，寄託他們的感情。這個時期可以說是中國山水園林的奠基時期。
唐代是山水園林全面發展的時期。這一時期，國家相對安定，經濟得到發展，文化上詩文、繪畫、工藝都呈現出一片繁榮景象，建築更得到大規模的發展。京都長安城的北郊設有規模宏大的禁苑，另外還有東內苑、西內苑和南苑諸園；在大明宮的內廷區，挖有太液池，在池中堆有蓬萊仙山，池周圍佈置殿宇長廊，形成一個專門的內廷園林區。將長安城的東南角曲江一帶開闢為公共風景遊覽區，每年二月的中和節三月的上巳節九月的重陽節，這裡都是百姓聚會遊樂的勝地。在杭州、廣西的桂州(今桂林)都有這類供百姓遊樂的自然風景區。在各地的風景建築中最著名的是初建於唐代的江西滕王閣、湖北黃鶴樓和湖南的岳陽樓。這三座樓無論從建造地址的選擇和建築形像上都達到很高的水平。這個時期的私家山水園更得到極大發展。詩人白居易在他任杭州刺史時，極力開發了西湖風景區，同時他又精心營造了他自己在洛陽的小宅園。宅園佔地僅17畝，其中住宅佔1/3，水面佔1/5，竹林占1/9；水池中有三島，島上有小亭，池中種有白蓮、菱及菖〔chang昌〕蒲；池岸曲折，環池的小路穿竹林而過，四周建有小樓、亭台、遊廊，供讀書、飲酒、賞月和聽泉之用；園中堆築有太湖石、天竺石、青石和石筍。小小宅園，經營了10多年，可見他用心之精。這類私家小園在洛陽一地就有千家之多。
到了宋代，造園更加普遍，從京都到地方，從貴族到平民，造園的地區和規模都擴大了。在京都汴梁，建造的帝苑就有九處之多，其中最著名的就是宋徽宗時所建的艮嶽。為了建造這座帝王園林，在平江府(今江蘇蘇州)專門設了應奉局，負責蒐集南方名花異石，凡發現民間有一石一木可用者就破牆拆屋強奪運往汴梁。當時運輸花石的船成群結隊，所以稱為“花石綱”，為此還引起極大的民憤。汴梁城內外，大臣貴族的私園不下一二百處。當時連一些酒樓為了招攬生意，也在店內設置園林，建造亭榭，有的挖池沼，設畫舫，讓賓客在船上飲酒作樂。大規模的造園活動促進了造園技術和藝術的發展。園中造山由用土堆山轉為用石堆山，仿照自然界的屏嶂、峰岫、石壁、瀑布、溪谷，有的還做出山間磴道、棧道，仿蜀道之難，在這些實踐中造就了一批堆石造山的名匠。植物栽培術也得到了發展，用馴化、嫁接技術使洛陽園林的花木多達千種，光牡丹、芍藥的品種就達到了百餘種。南方的名花如紫蘭、茉莉、山茶花等也都在洛陽落戶生長。
明、清兩代是我國古代園林的最後興盛時期，給我們留下了不少名園，使我們能夠具體地領略到古代園林的風采。