大河東流是中國西高東低的地形大勢所決定的。東西向河流不能給南北交通提供便利，因此，開鑿南北大運河解決南北交通運輸的宏圖大業，便成為歷代統治者的願望。早在春秋時代，吳王夫差想爭霸黃河流域，於公元前486年，開鑿了溝通長江和淮河的運河——邗〔han含〕溝。這就是南北大運河最早開端。在不斷開鑿南北之間地區性的人工河的基礎上，完成開通南北大運河宏圖的是隋煬帝。
隋代統一中國後，南方已成為“魚鹽杞梓之利，充仞八方，絲綿布帛饒覆天下”的富庶地區。隋煬帝的軍隊和京城都需要大量的糧食和布帛。他要享受江南的繁華，於大業元年(公元605年)興百萬之眾，先後用六年時間，在各段舊運河的基礎上，開鑿了連通黃河與淮河的通濟渠、連接淮河與長江的山陽瀆、穿連鎮江—蘇州—無錫—嘉興—杭州的江南運河。最後又鑿通黃河以北諸水的永濟渠，到達北京附近的涿郡。至此，一條縱貫南北五大東西水系的大運河就開通了。這樣，便形成了以洛陽為中心的全國水運網。運河上出現了“舳艫相接，二百餘里”的盛況。
運河的開通，促進了沿岸地區經濟發展、城鎮繁榮和南北的文化交流。隋唐時代，揚州成為“十萬人家”、“十里長街”的繁華都市，“街垂千步柳，霞映兩重城。天碧臺閣麗，風涼歌管清”(唐杜牧詩)。著名的古城蘇州、人間天堂的杭州，成了有名的旅遊城。唐詩人杜筍鶴詩《送人遊吳》：“君到姑蘇見，人家盡枕河。古宮閒地少，水港小橋多。夜市賣菱藕，春船載綺羅。遙知未眠月，鄉思在漁歌。”白居易亦不忍離開美麗的西湖，在他的《春題湖上》：“湖上春來如畫圖，亂峰圍繞水平鋪。松排山為千重翠，月點波心一顆珠。碧毯線頭抽是稻，青羅裙帶展新蒲。未能拋得杭州去，一半勾留是此湖。”
隨著全國政治中心的轉移，運河中心亦隨之易地。北宋以開封為中心，元明清以北京為中心。元世祖忽必烈統一中國後，需大量的糧食，主要依賴長江下游地區。經著名水利專家郭守敬的規劃設計，開鑿山東運河段和北京通惠河，使大運河直通北京城裡的積水潭(今什剎海)。至此，北起大都南至杭州的京杭大運河全線貫通。南來的漕船從杭州直航大都城裡，泊於什剎海。當時的什剎海“舳艫蔽水”，可見其盛。
清代又對運河的某些河段進行疏浚或改道，使其暢通。因此漕運量大增，最高年份漕糧運量可達580萬石，它對北京的繁榮與發展起到了巨大的作用。
京杭大運河全長約1750公里，是世界上開鑿最早、航線最長、工程最大的人工運河。它可與跨山越嶺的萬里長城媲美。這一輝煌工程充分體現中國古代水利、建築、測量、工程設施等方面的科學成就，反映了古代中國人民的高度智慧和卓越創造。
從邗溝開始，兩千多年來，大運河北段雖時塞時通，但江南運河卻古往今來，船舶雲集，百舸爭流。直至今日，南運河仍然是江南交通運輸的動脈。北運河也將與宏偉的南水北調工程結合而復興其南北交通運輸的功能。