中原野戰軍東進之後如何打，這早在東進之前就已經做好了認真的準備。
這時在徐州正西邊的國民黨軍隊是位於隴海線上的二兵團，即邱清泉兵團，以碭山為中心。在徐州西南邊的是十六兵團，即孫元良兵團，以蒙城為中心。但是，根據以大規模殲滅敵人有生力量為主的作戰方針，中原野戰軍並沒有把這兩個兵團作為自己的主要目標。毛澤東早在10月23日的電報中就已指出，中野東進之後的第一個目標是殲滅孫元良，第二個目標是攻取宿縣。由於孫元良在宿縣之西，所以打孫元良是次要的，主要的是為了攻取宿縣。
為什麼要把宿縣作為首要目標？因為宿縣在津浦路上，位於徐州的正南方，宿縣的南邊是蚌埠，蚌埠的南邊就是南京。宿縣的東西南北都有國民黨軍隊的重兵，如果我軍以突擊的方式打下宿縣，一則就切斷了徐州和蚌埠、南京的聯繫，也就是切斷了徐州和國民黨老巢的聯繫，使徐州地區的敵人既不可能再得到南京方面通過津浦路運送的任何補給，也不可能由津浦路南逃，完全處於我軍的包圍和打擊之下，這就為我軍對徐州的幾十萬敵人予以全殲創造了有利的條件。二則宿縣位於徐州地區國民黨幾十萬大軍的中部，我軍攻占了宿縣，就有如中心開花，可以打亂敵人相互之間的聯繫和配合。這一著，在古代拳師的術語中叫做“黑虎掏心”。打宿縣，是毛澤東曾經稱之為淮海戰役總方針的“隔斷徐、蚌，殲滅劉峙主力”中的重要一環。
中原野戰軍的幾位領導人都同意先從中間突破，打亂敵人的全局部署這種打法。
11月2日，還在豫西的劉伯承、鄧子恢、李達在給軍委並同時也給陳毅、鄧小平的電報中說：“應力求首先切斷徐、宿鐵路，造成隔斷孫兵團、會攻徐州之勢。”
11月5日，陳毅、鄧小平發現敵第四綏靖區的一八一師在商丘東南的張公店，立即將其解決，殲敵5000餘人，活捉敵中將副司令米文和。
11月8日，攻克碭山（此時原來駐在碭山的邱清泉兵團剛開始向東開進去援救黃百韜，就在碭山以東的黃口），威逼徐州。其實，逼徐州是做給劉峙看的假象。因為毛澤東在11月9日給陳、鄧的電報中就明確指示：“直接指揮各部，包括一、三、四、九縱，應直出宿縣，切斷宿蚌路，四縱不應在黃口附近打邱清泉，而應迅速攻宿縣，一縱在解決一八一師後，應立即去宿縣。”兩天以後，毛澤東再次在電報中指示陳、鄧：“以宿縣為中心，控制整個徐蚌線，構築幾道防線，阻止徐敵南逃，待其南逃時，協同華野全殲徐敵。但應同時注意對黃百韜潰兵的堵擊。”毛澤東特別指示：“此時我軍愈堅決，愈大膽，就愈能勝利。”
為了完成中央軍委確定的“隔斷徐、蚌，殲滅劉峙主力”的任務，陳毅和鄧小平從商丘的朱口經柘城到達徐州西南永城的臨渙集，將指揮部設在臨渙集的文昌宮。劉伯承也星夜從豫西趕到永城與陳毅和鄧小平會合。
11月11日，劉伯承、陳毅和鄧小平在臨渙集召集中原野戰軍一縱司令員楊勇、三縱司令員陳錫聯、四縱司令員陳賡、九縱司令員秦基偉開會，佈置任務。鄧小平說：
切斷徐蚌線，佔領宿縣，可以北拒徐州，堵住徐州之敵南逃的後路；可以南阻蚌埠，斬斷南線敵人北援的交通；制止孫元良兵團東援，夾住黃維兵團北上，黃百韜兵團只有束手待殲，蔣介石稱為生命線的津浦路就要切斷了。為了這個目的，在淮海戰場上，只要殲滅了敵人南線主力，中野就是打光了，全國各路解放軍還可以取得全國勝利，這個代價是值得的。
宿縣素有“南徐州”之稱，高而厚的城牆上可以並行兩輛汽車，城外又有寬而深的城壕，再加上近年來修築的防禦工事，攻城並不容易。
守軍的主力是敵二十五軍一四八師，外加兩個交警總隊、一個裝甲營、一個軍官補訓隊，部隊總人數雖然不多，但是裝備相當好，戰鬥力並不弱。陳毅和鄧小平派出攻打宿縣的主要部隊是陳錫聯的三縱和秦基偉的九縱。中野四縱和已在商丘地區的華野三縱與兩廣縱隊由北直插徐州和宿縣之間，從南面逼近徐州。中野一縱則進入宿縣以西地區，作為戰略總預備隊，同時監視向東來的黃維兵團。中野總部還決定，攻城之戰由陳錫聯統一指揮。
陳錫聯帶領中野三縱通過長途奔襲，在離開指揮部的第二天就到達宿縣，兩天時間就清掃了外圍，佔領了車站，將宿縣包圍起來。陳賡率領的四縱也在這天趕到了徐州以南的曹村，而且消滅了正由宿縣向徐州靠近的孫元良兵團後衛部隊第四十一軍軍部和一二二師的3400餘人，切斷了徐州和宿縣之間的聯繫，並對徐州形成了威逼之勢。徐州城中的劉峙以為我軍要進攻徐州，急忙命令邱清泉派出了兩個師的兵力，企圖把我軍趕走。可是連續發動了十餘次進攻，我四縱仍然牢牢地守衛在徐州以南的陣地上，對於攻打宿縣的部隊起到了很好的掩護作用。
要說打宿縣，對於中野的兩個主力縱隊來說，並不是什麼難事，麻煩的是缺少重砲。中野主力都是春天才從大別山中出來的，當年為了千里躍進大別山的需要，把手中的重型武器都丟了。出大別山之後，打的大仗還不多，蔣介石這個運輸大隊長送過來的重砲也還沒有能夠收到多少。在這種情況下，攻打宿縣這樣有堅固工事的古城，就主要靠派出爆破組用炸藥爆破，這樣打，犧牲較大，進展則較慢。陳錫聯只能一方面調集自己手中的山炮、野炮和榴彈砲，一方面佈置組織爆破。這時陳毅特地從華東野戰軍調來了8門榴彈砲，大大增強了攻城力量。
11月15日，在陳錫聯的指揮下，攻城部隊發起了總攻。三縱的七旅打東門、八旅打北門、九旅打西門，三縱副司令員劉昌毅負責第一線的指揮。當30門重型火砲一陣猛轟之後，攻城部隊沖了上去。先是在城壕上強行架橋越壕，然後進行城下的連續爆破，突入城後與敵人進行逐街爭奪。僅用了10個小時，中野就拿下了重要的戰略據點“南徐州”宿縣，殲敵一四八師和交警第十六總隊一萬餘人，生擒敵津浦路護路總司令部副司令兼宿縣城防司令張績武。
在中野三縱攻下宿縣的同時，中野九縱和豫皖蘇軍區的獨立旅攻占了蚌埠以北的固鎮。這樣，從曹村到固鎮之間近150公里的津浦路完全被我控制，徐蚌線被我完全切斷，徐州之敵被完全孤立。
對於攻宿縣這一戰，從豫西趕到臨渙集的劉伯承十分滿意，他高度稱讚這種“黑虎掏心”式的打法，他說：
這樣一來，淮海戰場上敵人的七個兵團被分割成四坨，徐州“剿總”完全陷入戰略圍剿之中。徐、蚌首尾不能相顧，這對殲滅黃百韜兵團，創造了極為有利的條件。