黃百韜兵團被全殲，黃百韜在兵敗無救之時自殺。這一消息使南京當局大為震動。不過，對於徐州戰場上的兩個總司令，卻不怎麼意外，因為早在幾天之前，他們就已經預料到了這一必然的結果。
劉峙本來對這一盤難下的棋就心中無數，到了這時就更加沒有主張，總覺得黃百韜的今天就是自己的明天，所以打算乾脆撤離徐州這個兇多吉少之地算了。
杜聿明畢竟氣盛一些，他認為劉峙未免過於悲觀。
就給劉峙打氣，認為目前還未到放棄徐州的時候。何況在撤退中如果處置不當，反而會在運動中被解放軍所消滅。今後怎麼著，只得聽蔣介石來安排。
蔣介石在南京聽到這一噩耗，所作出的反應是命令劉峙和杜聿明立即到南京見他。
就在黃百韜自殺之後的第二天，即11月23日，劉峙和杜聿明到了南京。蔣介石這時所考慮的是如何把徐州地區的剩餘部隊保存下來，所以他未再提黃百韜兵團覆滅的責任，而是要杜聿明立即採取措施，打通徐州和蚌埠之間的交通線。蔣介石指揮作戰多年，他很清楚，我中原野戰軍奪取宿縣，切斷徐、蚌之間的交通線這一招太厲害了。如果不能馬上打通徐州和蚌埠之間的交通線，無論是增援徐州還是撤出徐州都無從談起。只要能打通徐州和蚌埠之間的交通線，哪怕難以增援徐州，但也可以把徐州地區的大量軍隊南撤到蚌埠，用來拱衛南京，保住蔣家王朝的中央政府。具體方案是由郭汝瑰提出來的，就是要用南北夾擊的辦法將宿縣奪回來。北邊的部隊就是目前在徐州周圍已打殘了的部隊，南邊的部隊則指望正從西邊向東開進的黃維十二兵團，和新組建的第六兵團。
在蔣介石面前討論作戰方案時，杜聿明認為這個方案本身沒有什麼問題，關鍵是兵力。他在過去十來天中已經充分領教了華東野戰軍的厲害，他明白陳毅和鄧小平既然敢於中間開花，攻下宿縣，就肯定對在攻下之後如何守住這處於中心位置的宿縣有所部署，有所準備。現在徐州地區的軍隊只有孫元良十六兵團基本完整，邱清泉兵團和李彌兵團都已打殘，而且又是惡戰剛停，未得休整。南邊的第六兵團是剛剛組建的，原來連一點基礎都沒有。兵團司令官是淮海戰役打響之前的第九綏靖區司令官李延年，原來其下只有一個四十四軍。四十四軍當時撥給了黃百韜指揮，第九綏靖區就宣布撤銷。李延年撤到蚌埠之後，蔣介石決定由他組建第六兵團，其下的部隊是從河北昌黎南撤的三十九軍、由徐州“剿總”直轄的在蚌埠地區的九十六軍、九十九軍，還有就是在遼沈決戰塔山阻擊戰中被東北野戰軍打得一敗塗地的五十四軍。五十四軍軍長闕漢騫當時差點被蔣介石槍斃，逃回南京後又重新組織起五十四軍。這幾個軍戰鬥力都不強，又是剛湊到一起的新兵團，在配合協作上肯定不行。至於黃維兵團，正在向徐州開進途中，假若配合不好，非但打不通徐、蚌交通線，反而有把黃維兵團陷進去被包圍的可能。所以杜聿明要求增加5個軍兵力，而且指明了要現駐清江浦附近的第四軍、現駐南京附近的八十八軍和五十二軍。蔣介石說要5個軍不行，但可以想法抽出兩三個軍。他要杜聿明先回徐州部署，增加兵力的事以後再解決。
杜聿明和劉峙帶著蔣介石的旨意回到徐州之後，立即著手部署從北線進攻宿縣的安排。杜聿明決定由兵力較弱的李彌兵團留守徐州，由還沒有打過硬仗的孫元良兵團（即十六兵團），和雖然已被打爛但相比之下戰鬥力還算是較強的邱清泉兵團向南出動，進攻宿縣。
11月25日，從徐州地區出發的北路國民黨軍隊開始向宿縣方向攻擊前進，邱清泉兵團沿津浦路東側，孫元良兵團沿津浦路西側，第一步目標是符離集。儘管這時國民黨軍隊大多數官兵認為這是突出包圍、避免黃百韜兵團被圍殲的下場的最後的一次機會，打起來還是相當賣命的。
可是打了三天，別說到不了宿縣，連符離集也到不了。在我解放軍的堅決阻擊下，孫元良兵團只到了靈寨村、後官橋、潘家莊一線，邱清泉兵團也只到了牌坊、平樓、韓大莊、褚蘭一線。在南線，李延年指揮六兵團也出動了，也是落得與北線一樣的下場，根本無法接近宿縣，更不說要想攻克了。至於這時兵力最強的黃維兵團，則已被我中原野戰軍團團圍住了。
在孫元良兵團向南進攻的激戰中，曾經出現過一次在當時國民黨報紙上被稱為“打了一次大勝仗”的戰鬥，發生在紗帽山。這場“大勝仗”的來歷是這樣的：由於劉峙向南京謊報了所謂“徐東大捷”，不僅蔣介石派來了以國民黨中央宣傳部部長張道藩為團長的慰問團，還來了一些新聞記者，甚至還來了由國防部新聞局陪同的美國記者。杜聿明已經從朋友處知道，這幾個美國記者中，有一個是美國當時駐日本的盟軍最高司令官麥克阿瑟派來實地考察戰況的。這些美國佬的觀感很可能影響美國今後的對華援助，是得罪不起的，得罪了就無法向蔣介石交差。
由於這些人來到徐州時，正好就是黃百韜兵團覆滅之時，這使劉峙和杜聿明無法下台。雖然在一些政工人員的連夜努力下，徐州“剿總”僅憑在戰場上撿來的解放軍的兩百多條槍，被俘的20多個解放軍戰士，炮製了一個“展覽”，糊弄了慰問團中那些穿西服、旗袍，系領帶、穿高跟鞋的記者和名流，可是，糊弄不了那幾個美國佬。而這時孫元良兵團正在向南發動進攻，杜聿明要孫元良無論如何也要在此時打一個勝仗，讓慰問團參觀，特別是要做給那幾個美國佬看。孫元良把這一“有關國軍形象和國際視聽”的重要任務交給了四十一軍軍長胡臨聰，要胡臨聰打一個可供參觀的勝仗，胡臨聰就選擇了孤山集東南的一座小山頭紗帽山。為什麼選在那裡，因為那座小山頭的山頂不到50平方米，估計在上面守衛的華東野戰軍兩廣縱隊指戰員不會超過一個排。
11月26日下午，當參觀的人群來到陣地觀察所時，胡臨聰讓副軍長陳遠湘陪同，他自己則指揮著軍屬野砲營和孫元良臨時調給他的七十七軍野砲營向紗帽山一氣打了1000多發砲彈，然後指揮著一二二師的一個團發起衝鋒，並不斷把受傷的傷員用擔架抬著從觀察所前面經過。當攻下了紗帽山之後，就當眾宣布“消滅共軍一個營”的重大勝利。其實，在紗帽山的我軍戰士只有17個人。這就是孫元良兵團所取得的一次向中外記者展示的“大勝利”。
11月28日，劉峙和杜聿明又被蔣介石召到南京參加軍事會議。杜聿明在會前問顧祝同，原來蔣介石答應增加幾個軍，為什麼一個軍也未派出？顧祝同給杜聿明說了真話：“老頭子也有困難，一切辦法都想了，連一個軍也調不動。現在決定放棄徐州，出來再打，你看能不能安全撤出？”杜聿明認為這樣變來變去，以後的仗很難再打下去。因為，按他的思路，既然要放棄徐州就不能戀戰，不要想出來再打，如果出來再打，既不能取勝，又救不了黃維。他認為應當是將徐州的軍隊盡快撤出，避免作戰，先想法將軍隊拉到淮河邊，以淮河為依托，有了一點安全感，再去救黃維才是上策。萬一救不出，還可能保存一些部隊。否則，徐州丟了，部隊完了，黃維也就完了。當時，顧祝同對杜聿明的意見表示同意。所以當蔣介石在會上徵求各位高級將領的意見時，顧祝同就按杜聿明的意見做了決定，讓黃維兵團死守待援，讓劉峙和杜聿明安排徐州的部隊停止進攻，立即撤退。
如果說國民黨軍隊這時在進攻上已到了毫無辦法的地步，那麼在撤退上還是可行的。蔣介石關於徐州地區軍隊撤離的決定是11月28日晚上才由回到徐州的劉峙和杜聿明帶回徐州的，可是就在劉峙和杜聿明還未回到徐州時，南京就有人將此絕密消息通知了徐州的熟人。當天晚上，徐州對外的唯一通道徐州機場就已擠滿了各種黨政軍頭目，連跑得最快的劉峙想立即在當天晚上就跑的美夢都未能實現，而是到第二天才飛往蚌埠。也就在第二天，杜聿明召集孫元良、邱清泉、李彌三個兵團司令定好了撤退方案。方案決定以“撤即不能打，打即不能撤”的原則，盡快全部撤離徐州。為了迷惑解放軍，在11月30日發起了一次全面進攻，晚上就全軍撤出徐州，以“滾筒戰術”逐次掩護行進。所謂“滾筒戰術”，就是讓各兵團在行進中形成一個圓球或圓筒狀態勢，以避免被解放軍在途中包圍打擊。撤出之後，第一步先到永城地區，第二步到蒙城、渦陽、阜陽地區。
11月30日，駐在徐州地區的全部國民黨軍隊在一片混亂中慌忙撤離。第二天，亦即12月1日，徐州解放。徐州的解放，事實上標誌著國民黨軍隊在淮海決戰中的失敗。