1948年9月24日，我華東野戰軍攻克華東重鎮濟南，活捉了國民黨第二綏靖區司令官、山東省黨政軍統一指揮部主任王耀武，山東省基本上全部解放。到這時，任何人都會明白，華野兵鋒所指，必然就是緊接著山東邊界的徐州。但是，這時的徐州是國民黨中原戰場上屯兵最多的軍事樞紐，不是隨便就可以打的。所以，這一戰不是打不打的問題，而是什麼時候打和如何打的問題。
就在9月24日這一天的早上，當我華野已經突入濟南城的東南角和西南角，向濟南城中做縱深發展進行巷戰的時候，華野代司令員兼政委粟裕向中央軍委發出了一封電報，電報同時也報華東局和中原局，“建議立即進行淮海戰役”，因為，如果“全軍即進入休整，如此對部隊有好處，但易失去適宜作戰的秋涼氣候和濟南失守後加於敵人之精神壓力”。為此他向中央提出了三個方案：
（一）舉行淮海戰役，就是乘徐州南邊地區的淮安、淮陰一帶敵人力量空虛，由華野的蘇北兵團（即第四兵團）攻占淮安、淮陰、高郵、寶應等運河沿線城市。華野其他部隊此時須在宿遷一線布防，嚴防徐州之敵向南援助。等到運河沿線城市解放之後，再向東進攻，解放海邊的海州和連雲港。此戰結束之後，徐州的南邊和東邊地區就基本上被我控制，而北邊和西邊早已是我軍控制地區，徐州就處於我軍的四麵包圍之中。這時我軍再作休整，準備下階段更大的戰鬥。
（二）只打海州、連雲港地區，解決徐州東面的敵人之後，部隊即進行休整。這樣打可以使部隊較早得到休整，但對今後攻打兩淮不利，因為敵人可能向兩淮增兵。
（三）只殲滅敵人從徐州向濟南方向增援之敵，但如果敵人不來增援，就無法消滅敵人。在上述三個方案中，粟裕自己認為以第一方案為最佳。
這時，粟裕雖然只是在計劃華野在濟南戰役之後如何打的問題，實際上已經進入瞭如何對付徐州劉峙集團的問題，提出了打“淮海戰役”，即如何解決淮河流域到海邊這一片軍事要地上的國民黨軍隊的問題。
粟裕把他的這份電報同時也發給了中原野戰軍的劉伯承和陳毅。 9月25日，也就是粟裕發出電報的第二天，劉伯承和陳毅給中央軍委的電報中明確表示，“濟南攻克後，我們同意乘勝進行淮海戰役，以第一方案攻兩淮，並吸引打援敵為最好”，支持粟裕的第一方案。
就這樣，日後名震全國的“淮海戰役”這四個大字放到了毛澤東的面前。
毛澤東在西柏坡認真考慮了粟裕的方案。在毛澤東的心中，當然想到了華野拿下山東全省之後下一步如何打的問題，他當然也認為淮海戰役是必然要打的，是順理成章之事。所以，毛澤東在9月25日這天立即回電粟裕和當時的華東局書記饒漱石：
我們認為舉行淮海戰役甚為必要。目前不需要大休整，待淮海戰役後再進行一次休整。淮海戰役可於10月10日左右開始行動。你們應利用目前半月時間，使攻濟部隊獲得短時休息，然後留一個縱隊位於魯西南，起牽製作用，吳化文亦應移至魯西南（按：這是指在濟南戰役中起義的吳化文部），其餘全部南下，準備進行幾個作戰：（一）估計不久邱清泉兵團將退回商丘、碭山地區，黃百韜兵團將回至新安鎮、運河車站地區，你們第一個作戰，應以殲滅黃兵團於新安、運河之線為目標；（二）殲滅兩淮、高寶地區之敵，為第二個作戰；（三）殲滅海州、連雲港、灌雲地區之敵，為第三個作戰。進行這三個作戰是一個大戰役。打得好，你們可以殲敵十幾個旅，可以打通山東與蘇北的聯繫，可以迫使敵人分散一部兵力去保衛長江，而利於你們下一步進行徐州、浦口線上之作戰。因此，你們應在10月10日以前做好有關這一戰役的充分的準備工作，要開一次像上月曲阜會議那樣的干部會，統一作戰意志，調整內部關係。
從上述電報可以明顯地看出，對於這一仗應當怎麼打，當毛澤東剛剛接到粟裕的電報時，他的決定是先打黃百韜兵團。這是因為，在徐州地區的敵軍之中，3個綏靖區的部隊不是機動兵團，也不是蔣軍主力，可以先放在一邊，以後順便來解決。在4個機動兵團中，黃百韜兵團距徐州最遠，其東邊就是大海，對我軍的攻擊行動很有利。另外，黃百韜兵團在蔣軍中不算嫡系，如果被我圍攻，其他幾個兵團不大可能進行拼死相救。根據這種考慮，作為一個卓越的軍事家，毛澤東很快就作出了先打黃百韜的決定，所以他在上述電報中明確告訴粟裕“你們第一個作戰，應以殲滅黃兵團於新安、運河之線為目標”。
毛澤東在這封電報中的幾個估計都完全正確，就在3天之後，黃百韜兵團的確就到了新安鎮地區，邱清泉兵團也的確就到了商丘地區。這就是說，無論是粟裕，還是毛澤東，這個時期在心中所考慮的“淮海戰役”，並不是後來實際進行的淮海戰役，我們可以姑且稱之為“小淮海戰役”，其目標是奪取兩淮（淮安、淮陰）和海州（這也就是當時稱之為“淮海戰役”的原因），佔領徐州的東邊和南邊的部分地區，打通山東和蘇北解放區之間的聯繫，威脅長江北岸，為下一步在徐州、浦口一線作戰創造有利條件。所以，9月28日，毛澤東在給粟裕的電報中指出：
黃兵團調回新安鎮地區業已證實。你們淮海戰役第一個作戰，並且是最主要的作戰，是箝制邱、李兩兵團，殲滅黃兵團。新安鎮地區距離徐州甚近，邱、李兩兵團赴援甚快。
從這封電報中完全可以看出，這裡所考慮的淮海戰役，其規模是“比睢杞戰役也可能要大”，“最主要的作戰”只是“殲滅黃兵團”，這不是後來決戰淮海的那一場淮海戰役。不過，首先要消滅黃百韜兵團，這一點卻一直是沒有過任何變化的。
這個時候中原地區的國民黨軍隊為了準備對付我華東野戰軍的進攻，已經組成了一個以徐州為中心的縱深防禦體系，其部隊的編制與年初已經有所不同。徐州“剿總”所指揮的有4個機動兵團、3個綏靖區的部隊，這些部隊在1948年9月的分佈是：黃百韜的第七兵團有4個軍，分佈在徐州以東隴海線上的新安鎮地區。李彌第十三兵團有兩個軍，在徐州以東隴海線的曹八集地區，距徐州較第七兵團更近。邱清泉的第二兵團有三個半軍（第十二軍只有兩個師），在徐州以西隴海線上的黃口、碭山地區。孫元良的第十六兵團有3個軍，距徐州稍遠一點，在徐州西南的蒙城地區。作為徐州“剿總”直屬的還有第七十二、第一零七、第一一五3個軍。李延年的第九綏靖區有第四十四軍，駐在東海邊上的海州。馮治安的第三綏靖區有第五十九和七十七兩個軍，駐在徐州東北的韓莊、台兒莊地區。劉汝明的第四綏靖區有第五十五、第六十八兩個軍，駐在徐州西邊隴海線上的商丘地區。除了上述部隊之外，原來屬於武漢“剿總”的黃維第十二兵團的4個軍已經向平漢線移動，用於牽制我中原野戰軍，支援徐州。以上共有24個軍約70萬人，加上部分其他軍事力量，總兵力超過80萬人。在濟南失守之後，蔣介石知道徐州即將成為我華東野戰軍的主攻目標，他必須“堅固兩淮、徐蚌”，遂命令劉峙將太靠北的菏澤、定陶一帶的軍隊全部南撤，用於以徐州地區為中心的“攻勢防禦”。
這時，我軍能用於徐州戰場的部隊是華野的16個縱隊、中野的7個縱隊，有兵力51萬人。華東軍區和中原軍區的地方部隊有21萬人，共約72萬人。雖然華野的兵力要少於劉峙集團，但是如果把華野和中野這兩支大軍聯合起來使用，就將是另一個局面。正如當時擔任中野參謀長的李達後來在回憶錄中所說：“從打鄭州開始，淮海戰役即成為華野、中野兩支大軍共同執行的任務了。正如鄧政委引用毛澤東主席說過的一句話：兩個野戰軍聯合在一起就不是增加一倍力量，而是增加了好幾倍的力量。”
毛澤東已開始製定一場空前規模的大戰藍圖。這場大戰，雙方將投入150萬以上的兵力在中原逐鹿。下面是毛澤東將“小淮海戰役”逐步發展為淮海決戰的“大淮海戰役”的簡明時間表：
10月11日，毛澤東給華東局和華野、中原局和中野的電報（也是後來收在《毛澤東選集》中的《關於淮海戰役的作戰方針》一文）中指出：
本戰役第一階段的重心，是集中兵力殲滅黃百韜兵團，完成中間突破……為達到這一目的，應以兩個縱隊擔任殲滅敵一個師的辦法，共以六個至七個縱隊，分割殲滅敵二十五師、六十三師、六十四師。以五個至六個縱隊，擔任阻援和打援。 ……以上部署，即是說要用一半以上兵力，牽制、阻擊和殲敵一部。
在這裡，毛澤東特別強調了把殲滅敵人的有生力量放在最重要的位置，強調要以絕對多數去有把握地將敵人各部分別予以全殲，不打破襲戰，不打擊潰戰，更不把爭城奪地放在心上。在這裡還有一點很值得注意，就是強調打援的重要性。除了上述指示以外，在關於第二階段和第三階段作戰的指示中，也再次強調要以“主力擔任打援和箝制”。為什麼要強調這一點呢？葉劍英在《偉大的戰略決戰》中是這樣講的：
敵人重兵密集，便於機動，增援迅速。若要攻殲其任何一部，必須首先攔住敵人的援兵，才能贏得時間，保持主動。這是華東戰場與其他戰場截然不同的特點，也是影響戰役勝敗的關鍵。
以後戰事的發展，完全證實了毛澤東的預料，淮海戰役中的主要戰鬥並不是圍殲，而是截擊與阻援。
毛澤東還考慮到一個重要問題。在上述的電報中，他考慮到徐州以西的“孫元良三個師（按：在當時的一些電稿和包括《毛澤東選集》在內的若干文獻中所提到的'師'，是一種習慣的稱謂，是指國民黨軍隊原來在整編時把軍改稱為師、師改稱為旅之後的'師'，也就是一般稱的整編師。其實在淮海戰役開始之前，國民黨軍隊已將整編師恢復為軍的番號，稱之為軍，同時也把旅恢復稱師。所以我們在敘述中對這時的國民黨軍隊都稱為軍和師，而不稱為師和旅。這一稱謂的變化有必要提請讀者註意，否則就會在若干地方產生誤會。例如這時孫元良兵團東進的不是三個師，而是所屬的全部三個軍。鄭州的防務交給了國民黨十二綏靖區的四十軍負責）現將東進”，故而命令中原野戰軍的“劉伯承、陳毅、鄧小平即速部署攻擊鄭徐線，牽制孫兵團”。很明顯，這已把中原野戰軍列入了淮海戰役的作戰序列，是要兩大野戰軍共同作戰。
值得注意的是，毛澤東原來給粟裕佈置的開打時間很清楚，是“10月10號左右開始行動”。可是，毛澤東現在不再按這個時間去要求了，他這時完全沒有命令粟裕展開進攻。他的計劃變了，他給前線指揮員重新安排了時間表：“你們以11、12兩個月完成淮海戰役，明年1月休整。”毛澤東將整個戰役的開始時間向後推移了一個多月，因為他要兩個野戰軍聯合起來打更大的淮海戰役。於是，在這種新的部署之下，中野分兵兩部，劉伯承坐鎮豫西，指揮中野二縱、六縱在江漢、桐柏地區分散殲敵，有意向敵人表明劉伯承還在豫西，將原來屬於武漢“剿總”
白崇禧指揮的黃維、張淦兵團盡可能吸引住，不讓其將兵力東向，以減輕東線我軍的壓力。而陳毅和鄧小平則率中野的一縱、三縱、四縱、九縱4個縱隊東進鄭州，在黃河北岸的華北野戰軍的十四縱的配合下（由於有華北野戰軍的配合，所以極為重要的鄭州黃河大鐵橋得以完整無損地保護下來），10月22日攻克了鄭州。兩大野戰軍（嚴格說來，還有華北野戰軍的部隊）開始並肩作戰。
10月22日，毛澤東見到劉伯承在豫西吸引黃維、張淦等部的目的已經達到，短期內不會對我徐州地區的戰事帶來麻煩，因此中野可以在攻下鄭州之後繼續向東線展開行動。於是，他又給中野下達了新的任務：
“以主力於邱、李兩兵團（按：指向東增援徐州方面的邱清泉、李彌兩兵團）大量東援之際，舉行徐蚌作戰，相機攻取宿縣、蚌埠，堅決徹底乾淨全部地破毀津浦路，使敵交通斷絕，陷劉峙全軍於孤立地位。”很明顯，這已經將原來的“小淮海戰役”範圍大大擴大，將戰略目標擴大為力爭包圍並全殲劉峙全軍，淮海決戰的藍圖已經畫出了大的範圍。
而這種打法，又出現了在遼沈決戰中關門打狗的味道。
10月24日，陳毅和鄧小平根據毛澤東的方案，率領中野4個縱隊攻下開封後向東攻擊前進，陸續進至商丘、永城、亳州、渦陽。我軍對徐州劉峙集團的包圍攻勢已經大致形成。
10月31日，華東野戰軍已做好了大戰的準備。粟裕心中已經完全清楚新的淮海戰役的規模與目標，兩大野戰軍聯合作戰的格局已經初步形成。所以粟裕在這天向中央軍委、華東局和中原局同時發出電報，稱“此次戰役規模甚大，請陳軍長、鄧政委統一指揮”。中央軍委也作出決定，這次戰役由陳毅和鄧小平統一指揮。陳毅和鄧小平在給中央軍委的複電中說：“本次作戰我們當負責指揮，惟因通信工具太弱，故請軍委對粟、譚方向多直接指揮。”這樣，兩大野戰軍合作的新格局形成，這是我軍敢於在總兵力小於敵方的情況下同蔣介石軍隊的最大戰略集團進行決戰的重要保證。
11月2日，東北戰場上捷報傳來，遼沈決戰取得了全面勝利，全國的軍事形勢發生了很大的變化，國共兩方兵力的對比發生了根本上的轉化。毛澤東的信心更足了，原來計劃讓粟裕打了黃百韜之後去打兩淮的方案被毛澤東自己所推翻。
11月7日，毛澤東在給華野（同時也電告中野）領導人的電報中估計，消滅黃百韜兵團只需10天左右時間，而“如能達成此項任務，整個形勢將改變，你們及陳鄧即有可能向徐蚌線迫近，那時蔣介石可能將徐州及其附近兵力撤至蚌埠以南。如果敵人不撤，我們即可打第二仗，殲滅黃維、孫元良，使徐州之敵完全孤立”。
不過，這時毛澤東還認為蔣介石是有可能撤，也有可能不撤。如果不撤，我軍就抓緊機會打第二仗，殲滅黃維和孫元良兵團。
11月8日，粟裕在已經指揮大軍向黃百韜兵團展開包圍，在即將渡過運河向黃百韜兵團發起總攻之時，就他對全局的考慮給毛澤東發出了一封很長的電報，他在分析了蔣介石可能採取的集中主力於江北作戰與江南作戰的兩種可能，也就是毛澤東所考慮的可能不撤與可能撤的兩種可能和兩種可能的後果對我軍的利與弊之後，向中央提出了他的具體建議：
我們不知各老解放區對戰爭尚能支持到何種程度，如果尚可能作較大的支持的話，則以迫使敵人實現第一方針為更有利。如果認為迫使敵人採取第一方針是對的，則我們在此次戰役殲滅黃兵團之後，不必以主力向兩淮進攻［原註：新海（按：新指新埔，即今連雲港；海指海州）敵主力已西撤］，而以主力轉向徐固線（按：指從徐州經宿縣到固鎮的津浦線）進擊，抑留敵人於徐州及其周圍，爾後分別削弱與逐漸殲滅之（原註：或殲孫兵團，或殲黃維兵團），同時，以主力一部進入淮南切斷浦蚌鐵路，挫亂敵人部署與孤立徐、蚌各點敵人。
為此，在戰役第一階段之同時，應即以一部破壞徐蚌段鐵路，以阻延敵人南運。
很明顯，粟裕此時的考慮又進了一步，不是按蔣介石可不可能來決定我們的計劃，而是從有利與不利出發，要迫使蔣介石跟著我們的安排走，就是要在江北吃掉蔣介石的80多萬軍隊。
毛澤東此時的打算與粟裕完全一致。第二天，也就是11月9日，他在給粟裕並同時告華東局、陳毅、鄧小平、中原局的電報中就明確指出：“應極力爭取在徐州附近殲滅敵人主力，勿使南竄。華東、華北、中原三方面，應用全力保證我軍供給。”這樣，要全殲敵人幾個主力兵團的計劃就已經完全形成。這時，粟裕進攻黃百韜兵團的大戰已經打響。也就是說，淮海戰役事實上已經打響。
也是在11月9日，我軍向黃百韜兵團發起進攻之後，發現劉峙有可能往南撤退的跡象。毛澤東得到這一情報之後，他毫不猶豫地下定決心，不能放走劉峙集團，要將其就地全殲。他立即給陳毅、鄧小平、粟裕等人去電：
徐州敵有總退卻模樣，你們按照敵要總退卻的估計，迅速部署切斷敵退路，以利圍殲是正確的。 ……如敵向南退卻時，則集中六個縱隊殲滅之。
現在不是讓敵人退至淮河以南或長江以南的問題，而是第一步（即現在舉行之淮海戰役）殲敵主力於淮河以北，第二步（即將來舉行的江淮戰役）殲敵餘部於長江以北的問題。
就這樣，在毛澤東和粟裕、陳毅、劉伯承、鄧小平等人心中，原來的“小淮海戰役”，一步一步地發展成為“大淮海戰役”。由原來打算的打兩淮，消滅黃百韜兵團的十幾個師，發展為要在以徐州為中心，東起海濱，西至豫東，北至隴海沿線，南至淮河的大戰場上消滅敵人的幾個兵團，幾十萬人的大型殲滅戰。這一個不斷發展變化，不斷成熟的過程，是毛澤東和前線指揮員共同在不斷發展變化的實際情況面前審時度勢、深思熟慮的過程。是我按照我軍一貫主張的“執行有利決戰，避免不利決戰”的方針，及時調整部署，做出的最佳決策。正因為這種決策是在實踐中逐步形成的，所以就能在今後的具體實施中胸有成竹地從容對付各種複雜的局面，保證將原來所預定的決戰方案變為勝利的現實。
當時擔任華野副參謀長的張震後來回憶說：
毛主席高瞻遠矚，制定了淮海戰役的作戰方針，又博採眾長，使這個方針得到補充和進一步完善。戰役第一階段的進攻方向選定在徐州以東，殲滅對像是黃百韜兵團。中野主力直擊徐蚌線，協同華野作戰。在總的戰略意圖下，最高統帥部和前線指揮員之間經過醞釀磋商，使戰役的具體部署更加縝密。
很明顯，淮海決戰的藍圖描繪過程本身，就已經預示了這場波瀾壯闊的大戰必然勝利。