毒氣彈未能挽救黃維兵團失敗的命運，後來龜縮在方圓不到五公里包圍圈之中的黃維兵團卻正在加速走向滅亡。所謂“堅守待援”，實際上是在苦守待斃。
說是苦守，這也是名副其實的。因為從11月25日被包圍以來，已過去了半個月了，包圍圈中一切可以吃、可以燒的都已消耗殆盡，援兵無望、空投不足、傷員無法治，又值地凍天寒，連軍官們也是在臨時挖成的掩蔽部中挨餓受凍，更何況廣大的士兵。在這處處可見無人掩埋的屍體，處處可以聞到傷員血味和聽到傷員呻吟的包圍圈中，只能是一片哀嘆與絕望。
包圍圈中第一個被我軍消滅的是八十五軍，第二個是第十四軍。
十四軍屬於蔣介石的嫡係部隊，又是和土木系關係很深的部隊。軍長熊綬春和副軍長谷炳奎都是黃埔出身，熊綬春也是江西人，和黃維是同鄉，所以在其他人看來，十四軍在國民黨軍隊中算是較有地位的，裝備也是全部美式裝備。可是在所謂“嫡系中的嫡系”十二兵團中，十四軍的地位卻只能排在第三位。即十八軍為老大，十軍為老二，十四軍排老三，僅高於八十五軍。不知是巧合還是必然，十二兵團中被消滅的次序剛好相反。第一個被全部解決的是八十五軍（廖運周師起義和黃子華師投誠之後，八十五軍就完蛋了），第二個就是十四軍。
本來，在11月23日攻打澮河時，十四軍的參謀長梁岱就曾被我軍生俘。由於梁岱到十四軍不久，大多部下還不認識他，當天抓的俘虜也不多，所以梁岱在俘虜隊中自稱是一個書記官，我軍管理俘虜隊的人沒有把他認出來，而是在經過一番教育之後，決定釋放他，並讓他給黃維和熊綬春帶回勸降信。梁岱回到十四軍之後，把信都交給了熊綬春。可是，頑固的熊綬春拒絕了這次棄暗投明的大好機會。
黃維兵團被包圍之後，十四軍的防區在東北邊。由於熊綬春和黃維的關係較好，剛開始時還受到了一些照顧，其防守陣地是在八十五軍的後面。八十五軍完蛋之後，十四軍就完全處於最前線，反而要作為十八軍的屏障。這樣，十四軍也就難免成為被首先消滅的對象。我軍的戰壕作業不斷向前推進，每晚前進幾十米，壕溝挖到一個小村子，就消滅一個小村子中的敵人。十四軍的地盤必然是越來越小，軍部所在的楊圍子也就成了最前線，前面不遠就是解放軍的戰壕，夜間連咳嗽聲都可以聽見。
就在這時，我軍再次爭取熊綬春。 12月10日，由一個釋放回去的排長再次帶去了勸其棄暗投明的信件，並限其在24小時之內給予答复。熊綬春在十分矛盾的心情中還未能採取果斷措施，我軍對其軍部的攻擊就已經開始了。
12月11日，我軍向十四軍發起強攻，十四軍軍部所在地楊圍子在我軍強大的火力壓制之下，被打得無力招架。當天黃昏，我軍衝進了楊圍子，熊綬春從掩蔽部中向外衝，一出門就被砲彈炸中，當場斃命。參謀長梁岱第二次當了俘虜。在梁岱的帶動下，十四軍軍部人員全體投降，部隊被我軍打垮之後，很快就被全部解決。
十四軍被消滅之後，就只剩下已經被打殘的十八軍和十軍。從整個陣地看，在我軍的“剝皮戰”的層層剝皮之後，黃維所稱的“硬核桃”的硬殼已經被砸碎、被剝掉，現在只剩下雙堆集這塊核桃仁了。附著在這塊核桃仁上的，就是國民黨軍隊王牌中的王牌十八軍，和土木系另一支精銳部隊第十軍。
第十軍曾經進行過相當頑固的抵抗，對作戰不力、怕死後退的團長、營長當場槍斃了好幾個。但是在我軍連續十幾天的打擊下，進入12月中旬，已經被基本打殘，人數最多的一個團只剩下400人，一般的只有100人左右，有的團則已經完全不存在了。
實事求是地說，在整個黃維兵團中，戰鬥力最強、打得最頑固的的確還是要算十八軍。再加之十八軍的主要任務是守衛核心陣地，外邊有其他部隊頂著，所以一直打到最後時，較之其他三個軍，十八軍的傷亡最小，建制最完整。也正因為這樣，我軍在向黃維兵團發起最後總攻時，主要對手就只剩下了十八軍。
總前委下令從12月6日對黃維兵團發動全面進攻以來，由於我軍前期的圍困已經削弱了敵人的戰鬥力，再加之我軍一直採取穩紮穩打、逐步推進的戰術，所以進展較為順利，“剝皮”已經成功。在向敵人發起最後的攻擊之前，為了給敵人最後一個放下武器、減少雙方傷亡的機會，我淮海前線總前委以劉伯承司令員和陳毅司令員的名義，於12月12日向被圍的黃維兵團發出了《促黃維立即投降書》：
黃維將軍：
現在你所屬的4個軍，業已大部被殲。八十五軍除軍部少數人員外，已全部覆滅。十四軍所屬不過2000人，十軍業已被殲三分之二以上，就是你所依靠的王牌十八軍，亦被殲過半。
你的整個兵團全部被殲，只是幾天的事。而你所希望的援兵孫元良兵團，業已全殲；邱清泉、李彌兩兵團業已陷入重圍，損失慘重，自身難保，必被殲滅。李延年兵團被我軍阻擊，尚在80里以外，寸步難移，且傷亡慘重。在這種情況下，你本人和你的部屬，再作絕望的抵抗，不但沒有絲毫的出路，只能在人民解放軍的強烈炮火下完全毀滅。你身為兵團司令，應愛惜部屬的生命，立即放下武器，不再讓你的官兵作無謂的犧牲。如果你接受我們的這一最後警告，請即派代表到本部談判投降條件，時機緊迫，望即決策。
這封《促黃維立即投降書》由我軍安置在陣地上的大喇叭向整個黃維兵團進行了反複播放。遺憾的是，頑固不化的黃維在最後關頭仍然拒絕投降，自動選擇了一條死路。
按古語“先禮而後兵”的說法，為了盡可能地減少流血，我軍也算是做到仁至義盡了。既然敵人不投降，就叫他滅亡。我軍只有發起最後的進攻，將黃維兵團徹底消滅。
為了對敵人發起最後的總攻，當時相對兵力較足的華野粟裕決定支援即將全殲黃維兵團的中野，他派華野參謀長陳士榘率領三縱、十三縱和魯中南縱隊，以及一個砲兵師，組成華野兵團，趕赴雙堆集。
12月13日，孫繼先司令員率華野三縱到達雙堆集東南的指定位置，加入了圍攻黃維兵團的南集團力量。由於南集團中已經有了華野的七縱，現在三縱和十三縱又加入了進來，為了指揮方便，前委決定南集團由華野參謀長陳士榘統一指揮。由傅秋濤司令員帶過來的魯中南縱隊，則作為前委直接掌握的總預備隊。
當我軍向黃維發出了《促黃維立即投降書》之後，黃維和胡璉心中很明白，我軍發起最後總攻擊的時間就要到了，他們徹底滅亡的時刻就要來臨了。再加之他們所控制的地方越來越小，連接收空投補給都難以繼續了。在這種情況下，黃維決定執行蔣介石所同意的在必要時可以拼死突圍的計劃。不過蔣介石原來所答應的在突圍時要給他們若干幫助的承諾，卻無法兌現。
12月15日，黃維和胡璉召開了還在的軍、師長會議，宣布了立即突圍的命令。其具體要求是：“四面開弓，全線出擊，覓縫鑽隙，衝出重圍。”行動時間定在當天黃昏。至於突向何方，黃維和胡璉心中無底，根本就不可能給下屬說清楚，只是告誡大家不要去安徽合肥，因為那裡現在駐的是李品仙的部隊，而李品仙是屬於桂系的，桂系和土木系矛盾本來就深，說不定逃到那裡就會被桂系繳械。按理說，突圍出去的最近安全地帶是蚌埠，但解放軍肯定會估計到這一點，會在通往蚌埠的方向設置重兵，所以通往蚌埠的南方和東南方最好別去硬碰。這樣就只有東、北、西這三個方向可能突得出去。而西邊和北邊是解放軍的後方，除了直接參與圍攻的部隊之外，第二線部隊可能不多，只要能突破包圍圈，安全係數會更大一些。
按照上述分析，黃維和胡璉對突圍的具體部署是：第十軍還有三個師的殘餘力量，七十五師和一一四師向東突圍，如果能突出包圍圈，就再折向南方，向蚌埠逃跑；第十八師則向東北方向突圍，如果能突出包圍圈，也是向南逃往蚌埠。十八軍現在只有兩個師（其中的四十九師在南坪集打敗後就已逃往蚌埠，未在包圍圈之內），由其主力十一師保護黃維和胡璉向西邊突圍，將坦克集中在這裡打頭陣，黃維、胡璉，還有兵團副總司令兼八十五軍軍長吳紹週（八十五軍已經不存在，他現在已經是光桿司令）三人各乘一輛坦克向外衝（當到了突圍時間時，吳紹週已完全絕望，故而沒有乘坐分給他的那輛坦克，而是在兵團司令部附近坐以待俘）。一一八師則由軍長楊伯濤率領殘餘部隊向西北方向突圍。
十八軍如果能突出包圍圈，則先去蒙城方向，再往蚌埠。所有十二兵團各部，只要能突得出去，如果實在不能去蚌埠，就去安徽的鳳臺，把鳳臺作為十二兵團的最後集中地。
黃維和胡璉的上述突圍方案當然得向蔣介石報告。蔣介石得知後，認為這樣的突圍方案過於冒險，在晚上又無法得到空軍支持，成功的可能太小。蔣介石立即派空軍副司令王叔銘乘飛機去雙堆集同黃維聯絡，制止這種冒險。但是，黃維和胡璉不可能接受蔣介石對他們的這種“關懷”。道理很簡單：在解放軍的重重包圍之下，部隊的戰鬥力已經很差，只有在夜晚還有一點渾水摸魚、僥倖出逃的可能。如果在白天，肯定逃不出去。據黃維說，他一生領兵作戰都是從不違反上級命令的，他也從不允許他的下級違反他的命令。這一次，是他平生第一次，當然也是最後一次違反軍令。
雖然作了盡可能細緻的部署，但是，黃維和胡璉心中很明白，此次行動是兇多吉少，所以他們各自都在口袋裡裝上了一大包安眠藥，做好了在必要時自殺的準備。他們還相互承諾，誰出去了誰就負責照顧對方的家屬。為了在逃命時能多一線成功的希望，他們兩人並未按照在會議上所宣布的全兵團行動時間行動，而是把行動時間提前到下午4時，想在全軍突圍之前趁解放軍還未發覺時就先行一步。下午4時，黃維和胡璉竟然連吳紹週都沒有管，就命令十八軍的十一師開始向西突破。不過，由於在20多天時間中作戰的損失，這時能夠為他們開路打衝鋒的坦克只有6輛了。
為了逃命，黃維和胡璉命令把所有不能攜帶的重武器一律破壞，或炸砲膛，或毀炮閂。通信用的各種電台大多砸爛。至於那躺在風雪中不能行動的一萬多傷員，當然更是完全放棄不顧了。
由於黃維和胡璉提前行動，整個黃維兵團的突圍行動亂成了一鍋粥。當我軍發現了敵人的突圍企圖後，立即報告了總前委。總前委立即下令，要全體包圍黃維兵團的部隊盡快將準備進攻的行動轉為堅決死守，粉碎敵人突圍的陰謀。
保護黃維和胡璉突圍的坦克剛衝出陣地，就被我軍利用縱橫交錯的塹壕將為首的一輛逼進了小河之中。其餘的坦克只好掉轉方向，但是不久又有一輛陷入了戰壕。在這種情況下，坦克的主要功能就成了不是向外逃跑，而是四處尋找可以走的道路。天一黑，就更無法找到既無戰壕又無河流的道路。就這樣一直在夜色中打轉，到天明也未能走出包圍圈，還有兩輛坦克被我軍用成捆的手榴彈將其炸癱。不過天明之後，蔣介石派來了20多架飛機，飛機的轟炸給黃維和胡璉的坦克創造了一些方便，趁我軍戰士躲避轟炸的機會，這兩輛坦克終於衝出了包圍圈，可是後邊一個步兵也沒有了。黃維和胡璉下坦克做了一番研究，覺得就是這孤零零的兩輛坦克，還得一邊找路一邊前進，危險太大。為了能有一個跑出去，還是分成兩個方向跑為好，一個完了，也還能有一個活著。於是，兩輛坦克在一個岔道口分了手，一個向南，一個向西南奪路而逃。
胡璉乘坐的坦克走了不多久，就在路上碰到一隊民兵。這些民兵根本未想到大路上會有國民黨軍隊的坦克，還以為是自己軍隊的坦克，紛紛給坦克讓道，讓坦克順利地開了過去。以後又碰上了我軍的部隊，曾用步槍手榴彈打過，只因沒有反坦克的武器，只好讓它跑掉了。到中午時，坦克沒油了，胡璉下了坦克，在兩個坦克兵的陪同下，終於逃出了包圍圈。但是，胡璉在從坦克砲塔中伸出身子指揮坦克在田野中找路時，挨了我軍的手榴彈，後來醫生從他的背上取出了32塊彈片，不過總算保住了一條命。
黃維則沒有胡璉那樣交好運，他乘坐的坦克沒開出多遠就出了故障，開不動了，只好下來步行。還沒走上幾步，就被我軍戰士發現，黃維連忙逃進一塊麥地裡隱藏起來。我華野三縱特務營戰士傻小六和範介明兩人在搜索時發現了趴在地裡的黃維，當然就和抓其他俘虜一樣將他迅速抓獲，連他想掏出身上所帶的安眠藥也未來得及。這以後，他當然也就被送進了俘虜收容所。在收容所裡，黃維說自己是十四軍部的上尉司書，並在俘虜登記簿上寫著：“方正馨，江西弋陽人，十四軍軍部上尉司書。”但是，這位兵團司令的尊容畢竟還是有很多國民黨官兵認識的，不一會，就有一位叫李永誌的解放戰士把他認了出來。黃維在李永誌面前無法再撒謊，因為李永誌過去當過黃維的馬夫。
就這樣，國民黨軍隊的中堅部隊、土木系的大本營十二兵團司令官黃維當了人民解放軍的俘虜，時間是1948年12月16日。
在黃維和胡璉率先出逃的同時，十八軍和十軍的殘餘部隊在突圍過程中則與我圍殲部隊發生了激烈的戰鬥。當我軍發現了敵人的突圍企圖之後，就從四面八方向包圍圈中的敵人猛撲過去，把反突圍的阻擊戰變成最後消滅敵人的圍殲戰。由於敵人的建製本來已經打爛，主官又只顧逃命，所以敵人雖有一些負隅頑抗的點片，但已經完全不成章法，成了各自為戰的局面。在這種情況下，我軍在這一夜也打得有些亂，基本上是哪裡有敵人就往哪裡打，哪裡有物資就在哪裡接收。但是，結局卻是十分簡明的：國民黨軍隊主力十二兵團被我全殲。在十二兵團所有的高級軍官中，僥倖逃脫的只有胡璉和十四軍副軍長谷炳奎。被我軍俘虜的除了黃維之外，還有兵團副司令兼八十五軍軍長吳紹週、十八軍軍長楊伯濤、十軍軍長覃道善。四個軍長中只有十四軍軍長熊綬春未當俘虜，而是被擊斃。作為國民黨軍隊五大王牌之首的十八軍除了軍長楊伯濤被俘之外，副軍長王岳和兩個師長王元直、尹鐘岳也都當了俘虜。
值得一提的是，當陳賡司令員在俘虜的隊伍中見到十四軍參謀長梁岱時，向梁岱問過熊綬春的下落。當陳賡得知熊綬春已被擊斃時，特地關照說，一定要把熊綬春的屍體找到，並且埋葬，然後在墳前立一個牌子，以便他的家人今後前來查找。為什麼要這樣做？因為陳賡認為熊綬春雖然是在為蔣家王朝殉葬，但是他在抗日戰爭中也打過幾次硬仗，特別是在打通滇緬路時，他率一零三師血戰松山一仗，打出了中國人的威風，算是一條漢子。
在我軍打掃戰場時，還有一則佳話必須交代。參加圍攻黃維兵團的除了中原野戰軍的全部主力之外，華東野戰軍還相繼派出了七縱、三縱、十三縱、魯中南縱隊和特種兵縱隊的兩個炮團參戰。身兼華野司令員和中野副司令員兩職的陳毅是華野的創建人、老首長，他處處表現了想大處、顧大局的崇高風格。在進攻開始之前，他特地告誡華野特種兵縱隊司令員陳銳霆：“中野為了躍進大別山，把重武器丟了。這次打黃維，一定要把華野主要的砲兵全部拉上去，保證戰鬥勝利。”陳銳霆認真執行了陳毅的命令。當戰鬥快要結束之時，陳毅又給在前線指揮作戰的華野參謀長陳士榘兩次打招呼：消滅黃維之後，黃維兵團的全部裝備都給中野，華野的部隊一律不准拿，各縱隊即時歸建。華野各部隊這一次仍然忠實地執行了陳毅的命令。
黃維兵團共4個軍11個師12萬餘人被我全殲，標誌著淮海戰役第二階段的結束。為了消滅黃維兵團，我軍也付出了傷亡3萬餘人的代價。
黃維兵團被全殲之後兩天，12月28日，毛澤東和中央軍委給兩大野戰軍發來了《賀淮海戰役第二階段大捷電》，電報中說：
慶賀你們繼淮海戰役第一階段的偉大勝利後，又取得了第二階段的偉大勝利。自11月23日至12月17日止，你們解放了戰略要地徐州，全部殲滅了國民黨最精銳兵團之一的黃維匪部第十二兵團四個軍十個師及一個快速縱隊；生俘該兵團正副司令黃維、吳紹週，爭取了黃維兵團之一一零師廖運週部起義；包圍了由徐州向永城方向逃竄的杜聿明匪部邱清泉、李彌、孫元良諸兵團，並殲滅該敵三分之一以上；給予從蚌埠向西北增援的李延年、劉汝明諸兵團以沉重打擊，迫使其向淮河以南迴竄，從而使杜聿明匪部完全孤立於永城東北地區，糧盡援絕，坐以待斃；同時，又解放了淮陰、淮安，攻克靈壁，使淮河以北全境除杜聿明匪部所據永城東北地區這小塊據點以外，均獲解放，對於今後作戰極為有利。凡此偉大成績，皆我英勇戰士努力奮戰，前後方黨政軍民一致協作的結果。特向你們致以熱烈的慶賀與慰問之忱。尚望團結全體軍民，繼續努力，為全部殲滅當面匪軍而戰！
在重大的勝利面前，淮海戰役總前委的幾位領導卻十分清醒，因為他們時刻關注著部隊在作戰中存在的各種問題。例如，在15日晚上和16日夜間圍殲敵人的戰鬥中，就出現了若干問題，特別是不少人被勝利沖昏了頭腦，反映出來的不良現象特別值得注意。為此，在由中野政委鄧小平和副政委張際春所做的《關於殲滅黃維兵團作戰初步總結報告》中，就十分嚴肅地這樣寫道：
殲滅敵人後，15日夜間及16日整日，戰場極為混亂，搶繳武器、汽車、大車，亂放槍砲的現象，極端嚴重，為中野以往歷次作戰所未有。我們高級指揮機關，未做預防處置，實為主要原因。但也暴露了中野各部存在著極為嚴重的無政府、無紀律狀態，應引起最大警惕，予以克服。