根據中央軍委的統一部署，華野在粟裕和譚震林的領導下，於10月4日開始，在曲阜的孔林召開了師以上乾部會議，對不久即將開打的大仗進行了充分討論、做了準備。 11月初，我軍的偵察人員發現駐連雲港地區的敵第九綏靖區的部隊有從海上撤退的跡象，粟裕立即命令部隊準備發起攻擊，並於11月6日向中央作了報告。華野的司令部也來到了距黃百韜兵團不遠的郯城西北的馬頭鎮。為了大部隊行動的保密，粟裕命令各部，“為免過早暴露，各縱行動中，盡量利用長途電話線接線聯絡、汽車傳騎聯絡，到集結地點後再行恢復電台聯絡”。所以，部隊展開行動以後的3天之內，華野總部與各縱隊之間的電波基本消失，讓國民黨軍隊一直未能搞清楚我軍各部隊的具體行動方向。
11月6日，粟裕、譚震林、陳士榘、張震、唐亮等華野總部領導在馬頭鎮召開了有各縱隊首長參加的軍事會議。在會上，粟裕告訴各縱隊領導，我軍南下的動作敵人已經知道了，敵人必然會收縮兵力於徐州附近，這對我軍展開作戰十分不利。所以我軍必須快速南下，拖住、切斷並包圍黃百韜兵團。張震副參謀長又對各縱隊的具體進軍方向與任務作了進一步的佈置。會後，在西起單縣、東到贛榆的350來公里的推進面上，分兵四路，浩浩蕩盪，向徐州地區的蔣軍殺去。醞釀已久的淮海大戰正式打響。
第一路的左翼縱隊是華野蘇北兵團的3個縱隊，即二縱、十二縱、十一縱（中野的十一縱，這時隨華野行動），由韋國清司令員率領，由贛榆地區出發，目標是連雲港、海州與新安鎮之間的阿湖鎮，其任務是切斷黃百韜兵團向東邊撤退後從海上逃走的退路。同時佔領連雲港和海州。
第二路的中路大軍是由粟裕親自率領的華野總部和7個縱隊的強大兵力，即一縱、六縱、九縱、魯中南縱、四縱、八縱、十三縱，由臨沂地區出發，直指黃百韜兵團總部駐地新安鎮，將對黃百韜兵團進行包圍，並切斷其與李彌兵團之間的聯繫。
第三路的右翼縱隊是山東兵團的3個縱隊，即七縱、十縱、十一縱，由政委譚震林和副司令員王建安率領，由滕縣地區出發，目標是位於徐州以東、新安集以西隴海線上的曹八集和大許家車站，任務是切斷黃百韜兵團向西邊逃入徐州的去路，並阻擊從徐州向東援助黃百韜的敵軍。
第四路的側翼縱隊是由華野三縱、兩廣縱隊和冀魯豫兵團的獨立旅組成的，目標是徐州西北部地區，任務是配合中野在徐州西部的行動，阻止駐在商丘地區的邱清泉兵團向東援救黃百韜兵團，保證我軍對黃百韜兵團實現全殲。
毛澤東在戰役打響之後十分興奮，第二天他在給華東野戰軍粟裕等人的電報中表示，完全同意他們的攻擊部署，並說：
完全同意魚戍（按：這裡的“魚戍”是當時中文電碼中使用的“韻目代日”的表示方式，以地支代表月份，以韻目代表日期，“魚戍”就是代表11月6日）電所述攻擊計劃，望你們堅決執行。非有特殊重大變化，不要改變計劃，愈堅決愈能勝利。在此方針下，由你們機斷專行，不要事事請示，但將戰況及意見每日或每兩日或每三日報告一次。
淮海戰役開始之前，黃百韜的七兵團駐紮於徐州以東的新安鎮和阿湖鎮一帶的隴海路沿線。根據11月5日徐州軍事會議的決定，在他東邊大海邊上的第九綏靖區李延年部要全部向西撤，原來屬於第九綏靖區的四十四軍還要交由黃百韜指揮。按照軍事會議的決定和顧祝同的命令，雖然黃百韜的七兵團也要向西撤，要渡過運河向徐州靠近，由於李延年部還在他的東邊，暴露在華東野戰軍的打擊之下，所以，按照顧祝同的命令，黃百韜必須得讓李延年部先動，必須要掩護李延年，要待李延年部西撤完畢之後，七兵團的大部隊才能行動。由於四十四軍已歸於黃百韜指揮，又由於原來開往海州的一零零軍歸還七兵團建制，黃百韜兵團一下子就成了5個軍，要在一個狹窄的範圍內迅速轉移這些部隊就相當困難。而這時黃百韜已經察覺到北邊的我華東野戰軍正在向南邊壓過來，他必須按徐州軍事會議的部署盡快向西移動，渡過運河。所以這時黃百韜對顧祝同的部署極為不滿，大發牢騷，並對李延年說：“國防部作戰計劃一再變更，處處被動，正是將帥無才，累死三軍。”
黃百韜所以有如此牢騷不足為怪，因為突然要讓5個軍迅速轉移的確困難。還有一點是，黃百韜早就看到了徐州地區的國民黨軍隊幾十萬人在隴海線上一字排開的不妥，他曾向劉峙提過兩條建議：
（一）陳毅部主力將會和蘇北的3個縱隊夾擊職部（按：“職部”是舊時的謙稱，就是我部）。而劉伯承則從西南方向牽制鈞部（按：“鈞部”是舊時的尊稱，就是你部、貴部）主力各兵團，使不能應援職部。如此擊破職部後，再循序各個擊破各兵團之企圖，已甚明顯。
（二）我軍分佈於隴海沿線，戰線遼闊，且四面八方均有敵情，備左則右寡，備前則後寡，無所不備則無所不寡。唯有效拿破崙的團式集中法，結合各兵團於徐州四周，然後掌握戰機，趁陳、劉大軍尚未會師之前而各個擊破之。
應當說，黃百韜的上述分析還是很不錯的。可是，他的意見猶如石沉大海，劉峙沒有任何回音，更不說有任何行動。直到現在才叫轉移集中，已經為時太晚了。
按照黃百韜原來的命令，七兵團應當在11月6日出動。由於要等李延年，又只好向後推遲一天，在7日出動。 6日晚上，黃百韜在新安鎮的兵團司令部中對他在陸軍大學的同班同學李以劻說了不少心裡話。由於我華野派出的四個化裝進入新安鎮的偵察員被敵人發現，所以黃百韜已經知道華野30萬大軍南下的消息，他的七兵團是首當其衝，而此時顧祝同和劉峙給他的命令卻是向西移動，因此，“西撤途中，側面受敵，隨時應戰，立足未定，各個擊破，最堪憂慮”。他要李以劻第二天一早盡快離開新安鎮，去向劉峙說明情況，“如我被圍，希望別的兵團來救”。他還要李以劻向蔣介石轉告：“我黃某受總統知遇之隆，生死早已置之度外，絕不辜負總統期望。我臨難是不苟免的，請記下來，一定要轉到呀！”他最後還說了這樣一句話：“國民黨是鬥不過共產黨的，人家對上級指示奉行徹底，我們則陽奉陰違。”
應當說，黃百韜這時還是相當清醒的，他已經明白自己的下場是什麼。而且，我們也得承認，黃百韜的牢騷滿腹和憂心如焚也不是沒有道理的。這裡可以說一件看來不大，但對於黃百韜不久的全軍覆沒卻有著不小關係的事：按照顧祝同在徐州主持的軍事會議決定，第九綏靖區立即撤銷，所屬的四十四軍西撤，交給黃百韜指揮。這本來是重要的軍事機密，可是，由於劉峙的貪得無厭，在這最緊張的時刻，竟然首先想到的是他在海州開設的幾家鹽店。他怕這幾家鹽店撤晚了要受損失，就讓司令部的機要科長以最快的速度將這一消息通知了在海州為他管理鹽店的經紀人唐某。唐某一方面收拾東西準備逃跑，一方面又告訴了他商場中的朋友。朋友再傳朋友，熟人再傳熟人，於是海州和連雲港立即大亂，紛紛出逃。而這時，身為第九綏靖區司令長官的李延年還未看到命令他撤退的電報。當第九綏靖區和第四十四軍開始撤退時，無數的商人、財主、公務人員、鄉紳等拖家帶口的隊伍乘著牛車馬車，帶著箱包擔籠，早已擠滿道路，大大延緩了四十四軍西撤的速度，特別是在過橋時，更加擁擠不堪。這一情況，不僅使黃百韜為了等待第九綏靖區人員和四十四軍而推遲了西撤的出發時間，更影響了整個黃百韜兵團西撤的速度。而這時，時間對黃百韜來說是至關重要的。黃百韜所以會被我軍迅速包圍以至全殲，他西撤過晚過緩，應當是一個極為重要的原因。而他所以會如此緩慢，就是由於劉峙這個總司令為了幾家鹽店的利益竟然有意洩露軍事機密所造成的。
11月6日夜，我華東野戰軍的先頭部隊已經與黃百韜兵團的部隊接火。 7日晚，直插曹八集地區的山東兵團首先插入到徐州東北的運河一線。九縱首殲韓莊的守敵，七縱攻占了由韓莊到台兒莊之間運河上唯一的一座橋樑萬年閘。大部隊遂通過萬年閘向南猛撲過去。與此同時，蘇北兵團從黃百韜兵團以東迂迴向南，到了徐州東南。
就在這個關鍵時刻，在徐州以北賈汪地區的國民黨軍隊第三綏靖區的一個軍部、三個半師舉行起義，向我軍敞開了南下的大門，讓我東野大軍得以更加順利地向南開進。
最早攻入黃百韜兵團在新安鎮司令部的，是九縱副參謀長葉超率領的偵察營。當他們在11月8日進入新安鎮之後，才知道黃百韜兵團已經完全西撤，而且並未走遠。鎮中的老百姓說：“老廣（黃百韜兵團殿後的部隊六十三軍是廣東部隊，大多是廣東人）走了不到兩個小時。”九縱司令員聶鳳智得知這一消息，立即報告給粟裕設在馬頭鎮的臨時司令部。粟裕毫不猶豫地立即向各縱隊下達命令：追！用最快速度追！各路大軍的戰馬和汽車首先啟動，迅速向敵人追去。
根據這一突然發生的變化，粟裕一邊上報中央和中野總部，一邊向各部隊下達了新的作戰命令：王建安指揮的山東兵團的任務不變，但必須排除一切困難，用最快速度插入徐州以東的曹八集、大許家地區，搶在敵人的前面，切斷敵人向西逃走的去路；已經位於隴海路以南的皂河地區的蘇北兵團十一縱和江淮軍區的兩個旅立即由南向北，經土山鎮以最快速度向大許家車站前進，與山東兵團會合，切斷敵人的西逃之路；一縱、六縱和九縱在粟裕親自指揮下沿隴海路的南面迅速向西追擊；四縱和八縱則沿隴海路的北面迅速向西追擊。蘇北兵團的其餘部隊則從宿遷經雙溝向徐州東南前進，威脅徐州，並從敵之西南方阻擊敵人。
11月9日華野總部向全部隊發出了《全殲黃百韜兵團的政治動員令》，號召全軍“不怕疲勞，不怕困難，不怕飢餓，不怕傷亡，不怕打亂建制，不為河流所阻，敵人跑到哪裡，堅決追到哪裡，全殲黃兵團！活捉黃百韜！”
黃百韜兵團是在11月7日清晨從新安鎮向西撤退的，我華野大軍是在第二天上午向敵人發起追擊的。為了追回這一天多時間，我各路追擊大軍以能夠達到的最快速度急行軍，一天行軍60公里到70公里。不僅部隊在追，緊隨其後的大量支前民工也推著小車、抬著擔架，一刻不停地跟著追。
從新安鎮地區向西行進，最大的麻煩是過運河。黃百韜預先考慮到了這一點，事先就與徐州“剿總”聯繫，要求派工兵在運河上架設浮橋。 “剿總”答复說將派出一個工兵團，結果是一個工兵的影子也沒見到。原先預料中的浮橋沒有了，除六十三軍之外的四個軍全部都只能從唯一的一座鐵路橋上通過。加之四十四軍從海州方向西撤時，夾帶了大量的跟隨西撤的家屬、商人、職員、鄉紳、學生等，總數竟有10萬人之多，又是轎子，又是車子，大大影響了過橋速度。
11月8日從早晨到中午，黃百韜的六十四軍、兵團直屬部隊與兵團總部、四十四軍陸續通過鐵橋。下午兩點，我華野的先頭部隊在九縱司令員聶鳳智的率領下就已經追到運河邊，各種火力一齊向橋面打去。敵第二十五軍和一零零軍一邊抵抗，一邊過橋，雖然在黃昏時分都過了橋，但是二十五軍被我殲滅了一個團，一零零軍四十四師也被我殲滅一部。 8日下午，當黃百韜的大部隊渡過運河之後，為了擺脫我軍的追擊，在敵二十五軍一零八師還未過鐵橋時，黃百韜就悍然下令炸毀了鐵橋。當天晚上，黃百韜兵團到達了距徐州只有75公里的碾莊。由於這兩天已經跑得相當疲憊，部隊又相當混亂，黃百韜下令在11月8日晚上部隊休整，整理隊伍。之所以敢於停下來休整，是因為黃百韜認為華野還不能追上他的部隊，認為他的部隊已經接近徐州了。還有一個重要原因，就是黃百韜認為工兵已將運河鐵橋炸毀了，河東的解放軍主力過不來了；他還認為，河西是沒有解放軍主力的，有的只是一些地方部隊。
可以肯定，黃百韜在估計我軍的行軍速度上犯了一個致命的錯誤，因為他沒想到我軍能以超乎尋常的速度追了上來，沒想到我軍能以他想不到的方式渡過運河，更沒能想到我軍會突然插在他的前面。我軍為了追趕敵人，有橋過橋、有船乘船，沒橋沒船就涉水而過。九縱的“濰縣團”官兵在渡河時竟站在水中，用自己的身體扛著攻城用的木梯搭成便橋讓戰友們跑了過去。這樣，就在黃百韜在碾莊休整的這天，我山東兵團利用第三綏靖區賈汪起義所造成的有利條件，以超常的速度南下，在11月9日插到了碾莊與徐州之間，七縱到了大許家和黃集，十縱到了東賀村，十三縱到了曹八集。這樣，黃百韜兵團退回徐州的路就被切斷。
到了11月10日，我華東野戰軍就展開了對黃百韜兵團的包圍，到11日就從四面完成了對黃百韜兵團的包圍。黃百韜兵團4個軍大約12萬人就被我軍包圍在以碾莊為中心的大約18平方公里範圍之內。時間在這個關鍵時刻真是顯得太重要了。戰後，粟裕這樣說：“只要我們在賈汪多待4小時，我們的機會就丟失了。”
被我軍包圍在碾莊的敵軍是4個軍，即二十五軍、六十四軍、四十四軍和一零零軍，不過只有六十四軍和四十四軍還是完整的。被包圍的範圍是東西6公里，南北3公里，中心是碾莊。本來還有一個六十三軍，這個軍是在完成了掩護全兵團撤退的任務之後才出動的，由於沿隴海一線人馬太多，所以沒有沿著隴海路西撤，是從南邊向西撤退的。 11月7日上午11點出發，剛走了20公里就被我蘇北兵團的先頭部隊追上。
六十三軍邊打邊撤，11月8日黃昏到達運河邊上的窯灣鎮時即被我軍包圍。窯灣沒船沒橋，由於六十三軍是粵系余漢謀的舊部，本是廣東部隊，官兵中不少人都會游泳，於是，會游泳的就強行游泳渡河，其餘就在窯灣鎮拼死抵抗。我軍的十一縱最先趕到窯灣，就在敵人渡河時加以痛擊。很快我一縱也飛兵趕到，遂對敵人進行強攻。戰鬥到11日下午，無論是已渡河的還未渡河的，除了軍參謀長宋健人、一八六師師長張澤深等極少數人化裝逃跑之外，全軍被我殲滅。軍長陳章抱著一塊木板泅水渡河，剛一上岸就被我軍的密集掃射所擊斃（粵系軍閥余漢謀為了給自己的部下貼金，在對外宣傳時說陳章是自殺“成仁”，在南京和廣州開了追悼會，當時連六十三軍的幾名高級將領都稱之為“最為可笑”）。這個軍就成為我軍在整個淮海戰役中最早消滅的一個軍。