兵馬未動，糧草先行。當忽必烈指揮他的鐵騎水師，將戰火燒過淮河、燒過長江之後，後勤供應問題讓伯顏這位徵宋都元帥頗費腦筋。
要知道，幾十萬大軍的糧秣，需要近百萬的民工運輸。那時沒有現代化的運輸裝備，只能靠騾馬大車、肩扛人挑，速度緩慢，運輸量小，耗費極大。因此，在開戰之前，他便和河渠副使郭守敬進行了一次大規模的考察，他們考察了河北、山東的河道，考察了隋唐的運河，成功地利用隋唐舊有河道運送給養，不僅節約了運力，提供了運能，而且也滿足了前線將士的後勤供應。
至元十三年（1276年），丞相伯顏攻下南宋首都臨安（今杭州）後，對江南水路四通八達的狀況更是深有感觸。他回大都後，即向元世祖忽必烈建議：“今南北混一，宜穿鑿河渠，令四海之水相通，遠方朝貢京師者，由此致達，誠國家永久之利。”
對於伯顏的建議，忽必烈非常重視。他知道：剿滅南宋，得益於優良的水路運輸，才使得蒙古大軍長驅直入。如今，四海統一，萬民來朝，大都作為首都，需要源源不斷的糧食、貢品，而這單依靠陸路交通是遠遠不夠的。單糧食一項，近百萬的人口就需要從南方調運兩三百萬石糧食，運費開支將是多麼巨大。他還知道：雖然現在財政比較緊張，但一日不解決這個問題，京城將一日不得安寧。於是，他下定決心，一定要構築一條溝通南北的水上通道！
看著郭守敬的開挖疏浚運河形勢圖，忽必烈很想听一聽這位水利專家的意見。
對於郭守敬，忽必烈並不陌生。他是劉秉忠的弟子，由張文謙推薦上來的。中統三年（1262年）春，他在當時新建的京城上都（今內蒙古多倫附近）召見了郭守敬。透著精氣和靈性的郭守敬一下子引起了他的注意，這次詔見，郭守敬向他提出了六項水利工程計劃，豐富的第一手資料、淵博的知識、科學的設計使他對這個博學的漢人深為讚許。
他還記得，當時他就任命郭守敬為提舉諸路河渠，主持掌管全國修河開渠之事，並任命張文謙任河渠副使，幫助並保障郭守敬的後勤供應。他當時就一個目的，就是希望他能挖更多的河，開更多的渠，把旱地都變成水田！
郭守敬也沒有讓他失望，至元元年（1264年）初夏，忽必烈汗派郭守敬往西夏一帶視察黃河河渠水道。到了那裡，他立即著手整頓。有的地方疏通舊渠，有的地方開闢新渠，有的地方重新修建起許多水閘、水壩。郭守敬帶領工匠、民夫日夜趕工，以最快的速度修復了黃河中上游許多被破壞了的渠道，不但農業生產很快得到恢復，而且這裡還成了江北糧倉，為忽必烈滅亡南宋提供了不竭的財源。
如今，時間已經過去二十多年了，當年的提舉諸路河渠使早已成為都水監、工部郎中。還是先聽聽郭守敬的意見吧。
郭守敬叩拜皇帝忽必烈後，忽必烈微笑著對他說：“郭愛卿，自你掌管都水監，掌管河渠、堤防、橋樑、閘壩等的修治工程以來，全國疏濬河道，開挖水渠，興修水利，朕對你的工作很滿意呀！最近，大臣都上書要求開鑿運河，利用水道運糧，以節減運力，提高運量，節約成本，我想听聽你有什麼好的建議？”
郭守敬趕忙回答：“啟奏陛下，臣下以為，此乃功在當今，利在千秋之事。”
“噢？你說說為什麼？”忽必烈聽他這麼說，連忙問道。
“陛下你想，如今我大都消費糧食，約十之七八來自於江南，而江浙一帶的漕糧沿著江南運河北上入淮河，在淮安由淮河轉入黃河之後溯流至中灤鎮（今河南封丘西南約30裡）；在這裡卸船裝車，轉為陸路運輸，到達淇門（今河南濬縣西南）；再裝船入御河（今衛河），運至直沽（今天津），沿白沙河至通州；最後陸運至大都。如此這般水陸相交，反复裝卸，費時又費力，況且這一路雖以河道為主，但河道迂迴曲折，運行不暢。因而，盡快在原有的這些運河基礎上去彎取直，開鑿直穿山東而取直北上的運河河道，使南北實現直航，是當前亟待解決的大事。況且，運河一旦完成，不但減少了運費開支，更重要的是能使子孫萬代受益！”
忽必烈看著地圖，眼睛在掃視著郭守敬說過的這些地點。他知道，一旦運河溝通南北，那將成為溝通全國的經濟命脈，不但有巨大的經濟價值，在戰略上也有不可低估的作用。財政再困難，也得挖！只有拉直了韁繩，馬兒才能任自己驅使。對，就叫它“將馬頭上的韁繩拉直”運河修築方案吧。
“好！那朕就命你全權負責運河河渠疏浚開挖工作，幫朕把馬的韁繩拉直了！不過，運河開鑿是一個浩大的工程，動輒耗資百萬，費時費力，絕非兒戲！你一定要先作周密的考察，制定切實可行的規劃和措施，然後我們再上馬，千萬不要重蹈膠州至萊州運河的覆轍，一定要愛惜民力，慎之又慎呀！”忽必烈語重心長地說。
“卑臣願鞠躬盡瘁，完成皇上的宏願，造福子孫，留芳千古。”
接受任務以後，郭守敬便馬不停蹄搞起了運河開鑿的調研工作。他一路翻山越嶺，蹚水躍渠，遍訪地方群眾，走訪沿途船工，掌握了大量的第一手資料。在山東境內，看到滿路的運糧民工，他更是深有感觸。回到工部衙門，他立刻與各位水利專家商量，確定運河開挖方案。
馬之貞認為，開挖運河，重點在山東，而山東要開挖運河，只需把黃河和衛河水道溝通即可。要溝通兩河，他建議應開鑿汶泗新河。此議一提，立即引起郭守敬的重視。
方案很快就擬訂出來，並報請忽必烈審批。這個方案的核心是將隋朝完成的、呈扇面展開的大運河，裁彎取直：北端自大都起至通州，保留永濟渠河北段，後進入山東德州，再南下聊城、臨清、濟寧，進入永濟渠、山陽瀆，經揚州越過長江與江南運河連通，直達運河最南端的杭州。棄“弓”走“弦”後的這條南北大運河，比起扇面展開的隋代運河來，航路縮短2000裡。
元世祖欣然同意。
經過一番籌劃，至元十七年（1280年），“將馬頭上的韁繩繃緊拉直”的浩大工程拉開了它最初的序幕。
直通大都的大運河並不在一個水平面上，沿途地勢三起三伏，最高處是山東境內的南旺鎮，人們將這裡稱為“南旺水脊”。
保持水源充沛和河面水平，克服懸殊的水位差，以使船隻能順利地爬過“水脊”，成為擺在工部郎中郭守敬面前的一道難題。汶水向西折而東流，泗水折而南流，要使運河有充足的水源，必須要對兩河加以改造，郭守敬經過實地考察，精心設計出了爬越“水脊”的方案——
利用東平、馬場、南旺等湖泊作為蓄水的水庫，用來調節運河水量，同時利用這些湖泊為天然航道。湖畔之間阻隔不通的地段，開掘人工河道以相連接；然後，北引汶水作為水源；在今寧陽的岡城（汶水與洸水分流處）築壩建斗門，阻遏汶水，使汶水南流入洸水，到任城（今屬濟寧市）匯入馬場湖；再將此水分流南北，南與泗水會合流入淮河，北由任城開河道至須城（今屬山東東平）的安山，與大清河相接，以入於海。
此方案需要開掘的河道從濟寧任城開始到須城安山，全長約百里，稱濟州河。
丞相伯顏將此施工方案奏報給了元世祖忽必烈。
元世祖在收到奏摺的當日就批准了這個方案，並欽批：“以鈔萬錠為傭值，仍給糧食，開鑿濟州河。兵部尚書奧魯赤、劉都水及精於算數者一人，給宣差印往濟州，定開河夫役；同時令大名、衛州新附軍亦往助工。”
按郭守敬規劃的方案，在兵部尚書奧魯赤的指揮下，在劉都水的具體監督下，數十萬河夫星夜奮戰在挖河工地上，挑築的號子響徹河北、山東，河夫們用號子將棄“弓”走“弦”的宏偉藍圖，化為山河大地上的壯麗景觀。
整個河道，南起濟州（今山東濟寧），北達須城（今山東東平）安山鎮，全長150餘里。濟州河開通後，輸運入京的物資便可以先由大清河運至利津，從那裡入渤海，出海後沿海道轉運至直沽，這樣比原來經河南走御河大為便捷。可好景不長，連接濟州河段的重要環節——大清河，其入海口為泥沙淤積，通航不便，再加上海上風高浪大，這樣便不得不廢棄大清河航道，船隻通過濟州河進入大清河後，只能航行到東阿（今山東東阿以南），再陸行200里至臨清入衛河抵達通州。如此下來，雖然只有200多里，但需要常年役使13200多民戶來運糧，特別是茌平一段，地勢低平，每逢夏秋霖雨，便會泥濘不堪，車馬阻滯、輸運艱難，民工苦不堪言。這樣，在開鑿濟州河之後，如何解決由東阿至臨清這一段路運的困難又提上了元政府的日程。對此許多大臣紛紛上書，奏請朝廷開鑿一條連接御河與濟州河的運河。
太史院令史邊源、壽張縣尹韓仲暉向朝廷建議：自安山穿渠至臨清通御河。次年十月，丞相桑哥再次提出此議。見這麼多的朝臣建言開挖運河，經過認真考慮，忽必烈果斷下旨，開鑿聯通御河與濟州河的運河。
於是，郭守敬又一次來到了山東。這次他帶著禮部尚書張孔孫及韓仲暉等人，他們勘察了今山東西南的泗水、汶水、御河等主要河流，設計、審訂了大運河山東段的河道路線。
要修建這段河道，關鍵是要爬過地勢較高的大清河。年近花甲的郭守敬有著三十多年的治水經驗，他首先說道：“要突破地勢起伏坡度大的難關，必須採用閘化運道。即沿河修築船閘，利用兩端閘板的此閉彼啟，往返控制，調節流量，平衡水面高差，實現運河水位的動態變化，互相闔闢，勢如呼吸，這樣我們就可以實現由高到低或由低到高的通航了。”
壽張縣尹韓仲暉對當地地形地貌比較熟悉，他一聽郭守敬的閘化運道，便建言道：“要過大清河，我們可以採用'引汶絕清'的方案，即在岡城以下，利用泰山西麓地勢較高的有利條件，使汶水保持稍高於大清河的水平，繞道北流，積瀦於安山，從安山山腳築閘開溝引入壽張縣境內的大清河，再堵絕大清河，迫使河水向北注入通往臨清的新溝。針對臨清新溝一帶坡降較大的地形特徵，為防止開建的新渠瀉水過快導致運道淺澀，採用築造節水閘的辦法，使南來北往的船隻逐閘浮升，以順利地'爬'過大清河。”
“好！就採用此方案！”郭守敬一聽，大喜道：“這樣可以容納較多的船隻順利通行，又可以達到節約用水的目的，建設完成後就可以實現梯級通航。”
最後，郭守敬補充說道：“這一段，修築船閘是關鍵。在建造船閘的時候，一定要充分考慮到地形的變化。大體上採取統一規格，船閘一般長一百尺，闊三十尺，孔間淨長四十尺，淨闊二十尺，高十尺，可用大條石築成各長三十尺的'雁翅'。在地形變化較大的地方和重要的碼頭之處，則用兩閘或三閘串聯，配合使用，以保障通航的能力。”
方案又報到元世祖忽必烈那裡，元世祖欣然同意。為穩妥起見，至元二十六年（1289年）正月，元政府委派漕河副使馬之貞與邊源等人再一次進行實地考察。
方案確定後，忽必烈這次撥出鈔幣一百五十萬緡、米四萬斤、鹽五萬斤作為開河經費，又徵調民夫三萬人，委命斷事官忙速兒、禮部尚書張孔孫、兵部尚書李處巽負責工程指揮。至元二十六年（1289年）正月，工程正式動工，僅用半年時間，六月便告工成。這條新的河道，南起須城（今東平）安山之西接濟州河，中經東昌（今聊城市）至臨清入御河，全長二百五十餘里，中間修建閘門三十一座，隨時蓄水和排水。因這條運河起於須城安山，初名為安山渠。河道開通以後，河渠官張孔孫等人說：“開魏博之渠，通江淮之運，古所未聞。”忽必烈對此河的開通也十分高興，親自賜名為“會通河”。
從理論上將，會通河說來並不算太長，它南起安山，北抵臨清，全長二百五十餘里，佔不到南北長約三千多里的大運河的十分之一。然而，此段因在平地開河，沿途多丘陵，地形高低起伏，所以其技術之複雜、規模之宏大、役工之多、工期之長，無疑是中國運河史上最大的工程之一。它採用劃時代的“閘化運道”，突破地勢的起伏，凝聚了古代建設者們的傑出智慧和才能。
會通河的開鑿，從此結束了山東境內漕運必須周轉陸運的歷史。元二十八年（1291年），元世祖又從郭守敬建議，役使一萬九千多名兵士、五百四十多名工匠、三百多名水手、一百七十多名“沒官囚奴”，共用二百八十多萬工，開鑿了從大都到通州的通惠河，全長一百六十多里。這樣，北自大都、南至杭州的大運河貫通起來了，它連接海河、黃河、淮河、長江和錢塘江五大水系，加強了京師與最富庶的江南地區的聯繫。南北經濟、文化的交流開始了一個新的時代，在政治上也起了鞏固統一的作用。