按毛澤東和中央軍委對全國戰局的考慮，1948年1月27日，毛澤東以中央軍委的名義電示粟裕，為了迫使蔣介石改變戰略部署，吸引敵人20～30個旅回防江南，決定由粟裕率領的華東野戰軍外線兵團一縱、四縱和六縱在這年的春夏渡過長江，挺進江南，插向江南腹地，把蔣介石的後方攪個人仰馬翻。這一個大膽的方案，是毛澤東提出來的。
毛澤東的考慮是：蔣介石在從豫西到東海的隴海線部署了近百萬人的密集型防禦態勢，特別是在徐州地區就放了4個兵團，進可以進攻我山東與中原解放區，退可以守江淮、拱衛京滬。如何才能更好地打破敵人的這種密集防守？如何才能讓蔣介石的防守體系變得手忙腳亂？如果我軍要進攻蔣介石的老巢京滬地區，在江南如何立足？
在對這些問題進行了多方考慮之後，毛澤東認為，這幾年都是蔣介石的軍隊到我解放區來打仗，我們也應當到蔣介石的地盤上去打一仗了。蔣介石可以來打我們的陝北根據地，我們為什麼不能去打他的江南老巢？如果我們能派部隊進入蔣介石目前兵力最薄弱的江南農村建立根據地，既能打亂蔣介石的戰略部署，攪亂他的大後方，又能迫使蔣介石抽調中原的兵力回防江南，為我軍在中原殲敵創造有利條件。當我軍渡江南下時，還能有接應、有落腳點。這一計劃的實現，將成為我軍解放全中國的極為重要的一步。
對於毛澤東提出的這一大膽計劃，當時中央政治局在陝北米脂楊家溝的幾位成員毛澤東、周恩來、朱德、任弼時與陳毅在一起做了研究。
大家一致同意這一方案，而且決定將這一任務交由在江南有多年作戰經驗的粟裕組建東南野戰軍第一兵團去完成，兵團由華東野戰軍主力的3個縱隊組成，由粟裕任司令員兼政委。這3個縱隊確定為葉飛的一縱、陶勇的四縱和王必成的六縱。
這種大膽的打法，過去毛澤東曾經用過，而且取得過很大的成功，比如1944年11月王震的南征，1947年劉鄧大軍千里躍進大別山，將戰場推向國民黨統治區，打亂了敵人的全面部署。雖然部隊的損失和消耗很大，丟掉了全部重武器，但也是一次很成功的插入敵後的重大軍事行動。
這一次，粟裕兵團將進行又一次南征，而且規模更大。因為這一次不是幾千人，而是近10萬人；不是去山區牽制敵人，而要在敵人的腹心地區的幾個省與敵人作戰；不是去打一仗就回來，而是要建立根據地，等待下一步解放全中國的大軍南下（按當時的估計，不是在一兩年之內）。
可是，粟裕卻並未執行毛澤東和中央軍委的命令，他沒有南下，粟裕兵團也沒有去江南。這是因為，粟裕在經過深思熟慮之後，向毛澤東提出了他的不同意見，他希望毛澤東和中央軍委改變南下江南的部署，並提出了自己的新設想，且得到毛澤東和中央軍委同意。像粟裕這樣對毛澤東和中央軍委已經決定的重大戰略決策提出不同意見，而且最後又被毛澤東和中央軍委所採納的事，在遵義會議之後還是第一次。
粟裕是我黨我軍最傑出的指揮員之一，毛澤東曾稱他“最會打仗”，朱德曾稱他為“青年戰術家”，陳毅曾稱他為“常勝將軍”。從青年入伍一直到晚年，他把一生心血都投入到了中國革命戰爭的研究與實踐之中，指揮了無數次成功的大戰。哪怕是在“文化大革命”之中，他仍然在十分困難的情況下巡視邊防，多次向中共中央提出關於未來戰爭問題的重要報告。 1979年，他發表《對未來反侵略戰爭初期作戰方法幾個問題的探討》講話，成為全黨全軍一致頌揚的一段佳話。
解放戰爭初期，粟裕在華東戰場上屢戰屢勝，特別是在蘇中的七戰七捷和孟良崮全殲國民黨王牌軍整編七十四師的戰績更使他名震全國。
就在著名的七戰七捷之後，中央軍委接受陳毅的建議，將當時的華東野戰軍和山東野戰軍兩支隊伍合併為統一的華東野戰軍。 1946年9月23日，毛澤東為中央軍委起草的電報中特地指出：“在陳毅領導下，大政方針共同決定，戰役指揮交粟裕負責。”在著名的孟良崮大捷之後，新華社記者採訪了陳毅司令員，陳毅說：“你們不用向我祝賀，我這個人呀，在政治工作上依靠的是譚震林同志，在軍事組織指揮上依靠的是粟裕同志。”
1948年1月27日，中央軍委給粟裕發來一封電報。軍委的電報說，為了迫使蔣介石改變其集中兵力在江北與我周旋、固守長江的基本戰略，將中原戰場上的國民黨軍隊吸引20～30個旅到江南，以便於我軍在中原殲敵，軍委決定由粟裕率領華東野戰軍的一縱、四縱、六縱組成外線兵團，在集中整訓之後渡江南下。先在湘、贛機動作戰，與敵人周旋半年至一年，然後在閩、浙、贛邊區我黨原來的老根據地見機建立根據地，開創南方的解放區。渡江時間可以在2月、5月或秋天。軍委要求粟裕認真考慮具體的行動方案，“熟籌見复”。
粟裕得到中央軍委指示後，立即結集部隊，北渡黃河，將部隊安排在濮陽地區進行整訓，進行以水網稻田地區作戰和攻堅、巷戰為主要內容的軍事訓練，並積極進行渡江的各種準備，包括派出小分隊南下偵察。為了選擇渡江地點及確定如何渡江，粟裕還特派曾希聖、孫仲德分別帶領一批幹部到皖江和巢湖地區工作。與此同時，根據中央的決定，華東野戰軍第一兵團的干部配備、地方工作、物資後勤等工作也在積極進行。中央決定，由粟裕擔任中共中央東南分局書記，由葉飛擔任第一兵團副司令員兼副政委，由金明協助粟裕做地方黨的工作，由駱耕漠負責南下之後的財經工作。當時，連南下之後對部隊的老弱病殘的安置、家屬小孩的安置都已經做出了具體的計劃，在新區使用的銀元和由自己發行的“東南流通券”紙幣都已經在印製了，可以說是“萬事俱備，只待渡江”。而用周恩來和陳毅對粟裕的評價，則叫“心細如發”。
作為一名黨的高級幹部，粟裕得到中央命令之後就開始積極準備，以待中央一聲令下立即出動。可是，作為一個領兵作戰20年的指揮員，特別是曾經在江南長期作戰，如今又將重返江南獨立作戰，擔負黨中央賦予的重新開闢江南根據地重擔的粟裕，對於中央的一個重要決策，對於即將到來的南下江南作戰並開創新的解放區的重要任務，進行了多方面的思考。他必須認真領會毛澤東這一決定的戰略意圖，分析敵我雙方的力量對比與分佈，考慮好應付可能出現的各種困難的辦法並在出發前有所準備，為大部隊的南下制定出最佳的行動方案。在這些工作還未做好，心中還沒有充分把握之前，他是不會輕易向中央提出自己意見的。
在反复考慮之後，粟裕認為中央軍委的決定的確有大膽與出奇之處，如果他帶3個主力縱隊南下，打亂敵人的後方，肯定會取得一定的效果。但是，這既是一著妙棋，可又是一著險棋。在仔細權衡華東野戰軍南下與不南下、我江北主力部隊分兵與不分兵的利弊之後，他認為中央軍委的決策並非上策，認為不南下會取得更佳的戰果。粟裕的基本考慮是：中央作出這樣決定的主要目的，是要改變中原戰局，在中原打殲滅戰，大量地殲滅敵人。事實上，這時在中原地區打大殲滅戰的條件已逐漸成熟。
一是敵人在中原的三條鐵路幹線和各大中城市的防守上分散了很多兵力，有利於我軍在運動之中捕捉戰機；
二是中原地區的平坦地形雖然有利於敵人相互支援，但如果我軍破路之後，敵人的重裝機械化部隊就無法機動，有利於發揮我軍徒步行軍的長處，迅速集中兵力，實現戰役的速戰速決；
三是中原地區背靠山東和晉冀魯豫老解放區，便於得到支援和安排傷員；
四是我軍挺進外線以後，已經度過了最困難時期，逐漸適應和掌握了外線作戰的特點，新的解放區也已經有了一定的基礎。
相反，如果3個縱隊過江，雖然可以調動部分敵人回防江南，但是國民黨軍隊在江北的4支主力部隊，即整編第五軍、第七軍、整編第十一師、第四十八師要支撐國民黨軍隊的中原防線，拱衛南京和武漢，是不可能將其調動南下的。特別是第七軍和四十八師屬於桂系的部隊，駐在武漢的白崇禧更是不會讓其脫離自己的指揮。
另外，中原地區國民黨所有機械化部隊的主官也是不願到江南水網地區去作戰的。所以，國民黨軍隊可能調到南方的部隊不會是其主力，只能是一些二三流部隊，這使中原兵力對比的改變不可能很大。在此背景下，如果我軍3個主力縱隊南下卻削弱了我軍在中原與敵人決戰的能力。
從以上因素考慮，部隊南下的方案與中央要在中原地區打大殲滅戰的初衷是矛盾的。如果再從另一方面來考慮，我軍南下之後，是在新區轉戰，行程數省，部隊的重武器必須全部放棄或丟失，這是不可避免的損失。同時，部隊在轉戰中處處有敵人的圍追堵截，傷員的救護與安置有很多困難，這就使得部隊減員的數量不會少，很可能達到三分之一甚至二分之一（3個縱隊加上部分地方乾部約為10萬人，減員可能會達到5萬人），這也是不可避免且更為嚴重的損失。
單是這些減員的代價，在江北就可以殲滅敵人好幾個師。而如果3個縱隊不南下，和其他部隊配合作戰的話，在中原進行大的殲滅戰，其效果會更好。此外，還有一個問題是只有粟裕等原來新四軍的領導才會有體會，就是要南下的這幾個縱隊原來都是新四軍的部隊，是從蘇中蘇北撤到山東的，在當時的北撤中和不久前從內線到外線的轉移中，都是做了大量的思想工作才使廣大官兵轉過彎來，現在又要過江南下進行長期的新區轉戰，思想轉彎又得有一個過程。
粟裕經過深思熟慮之後，對中央的這一決策產生了新的想法。粟裕在回憶錄中這樣寫道：
雖然我有以上考慮，但要不要向中央提出建議，開始我是有顧慮的。主要是擔心自己看問題有局限性，對中央如此重大的戰略決策提出不同看法，會不會干擾統帥部的決心。但又想，作為一個戰役指揮員，在即將執行上級賦予的作戰任務時，應當結合戰爭的全局進行思考，從全局上考慮得失利弊，把局部和全局很好地聯繫起來。全局是由許多局部組成的，從局部看到的問題，也許會對中央觀察全局、做出決策有參考價值。想到這些，我終於消除了顧慮，於4月18日把自己的看法和建議報告了中央。
應當指出的是，當粟裕正在反复考慮這一問題時，陳毅從陝北迴到了當時設在河南濮陽的華東野戰軍指揮部。粟裕將自己對這一問題的想法詳細告訴了老戰友和老上級陳毅。陳毅聽後，對於這一改變中央決策而且將牽涉全局的意見十分重視。起初，陳毅是不同意粟裕意見的，因為他自己參與了中央這一決策的討論與形成的全過程，他很清楚中央對這一決策的重視和慎重。而且，先遣渡江的主帥人物，也是他和毛澤東的一致意見——派粟裕。但是，在經過兩人多次認真而嚴肅的討論之後，作為一個方面軍的統帥，陳毅以敏銳的洞察力和豐富的作戰經驗，深深領會了粟裕的意見，逐漸同意了粟裕的意見，最後是讚賞和支持了粟裕的意見，並鼓勵粟裕大膽向中央提出自己的想法。然後，陳毅又拉著粟裕去拜訪了路經濮陽的李先念，仔細談了粟裕的想法，徵求李先念的意見。李先念在與陳毅、粟裕進行了多方的分析之後，也表示完全支持粟裕的意見。
在陳毅、李先念的支持下，4月18日，粟裕以個人署名的一封長達3000餘字的報告《華野三個縱隊暫不渡江南進的建議》用電報發給了中央軍委。
毛澤東是在前往西柏坡途中的五台山文殊院收到粟裕這封電報的。毛澤東剛一看到這封電報時，十分震驚，甚至有些生氣地說：
“粟裕要幹什麼？陳毅在哪裡？發個電報，把他們都請來，讓他們把不渡江的理由說清楚。”但是，毛澤東很快就冷靜了下來，他和中央軍委幾位負責人研究之後，大家都對粟裕的報告十分重視，認為必須認真聽取粟裕的意見，於是電令粟裕到中央進行當面報告，同時電令陳毅也前往中央。
4月28日，當粟裕和陳毅到達當時中央所在地河北阜平城南莊時，毛澤東放下手中的毛筆，走出房門，穿過庭院，親自迎接（這是極為罕見的舉動，毛澤東自從擔任黨的領袖以來，他的習慣是不出門迎送戰友和下級的）。毛澤東握著粟裕的手，望著這位已經不再年輕的前方大將，深情地說：“粟裕同志，你還記得嗎？我們分別已經整整17年了！”
根據毛澤東的指示，聶榮臻、李先念、薄一波等也奉命來到了城南莊。 1948年4月30日至5月7日，中共中央在城南莊召開了書記處會議，中央的“五大書記”毛澤東、朱德、劉少奇、周恩來、任弼時全部出席。會議的中心議題就是一個：聽取並研究粟裕提出的調整南線戰略進攻部署的建議。與會者在認真聽取了粟裕的報告之後，對他的建議和全國的戰局進行了全面的分析研究。與會者的討論乃至辯論是相當充分的，毛澤東為了考查粟裕，甚至說出了這樣的話：“當然，如你感到確有困難或不願意率一兵團南下，我們可以考慮另換統帥……”但是，會議最後是一致同意了粟裕的意見，並由周恩來代表中央宣布瞭如下決定：“華野一兵團在4至8個月內暫時不南下，先加入中原作戰，力爭實現殲滅敵人主力於長江以北的新戰略（在這裡，黨中央還有一個重要考慮，是要盡可能減少今後解放江南時對江南主要經濟區的破壞，以便於新中國的經濟建設）。如果將來劉鄧、陳粟兩大野戰軍的確無法粉碎國民黨在中原的防禦體系，一兵團立即執行南下方案。”
也就在這次中央軍委的會議上，毛澤東和中央軍委還做出了兩個重要的決定：一是中原地區的決戰殲敵從華東野戰軍發起，華野先打濟南，緊接著打徐淮，在徐州淮海戰場上與國民黨軍隊進行一場決戰；二是為了中原野戰軍更好地配合華東野戰軍的作戰行動，也為了加強中原野戰軍的工作（中野轉戰大別山時期消耗很大，僅剩十來萬人，重武器幾乎全部丟失，又要馬上對付華中和徐州西部幾個兵團的敵人，壓力很大，中央曾在一個文件中形容說“中原局的困難是中國革命最後最大困難”），中央決定將陳毅和鄧子恢從華東調到中原局工作，陳毅擔任中原局第二書記，鄧子恢任第三書記（第一書記是鄧小平），陳毅同時任中原野戰軍第一副司令員（司令員為劉伯承，第二副司令員為李先念），鄧子恢任第一副政委（第二副政委為張際春）。粟裕也參加中原局的領導工作，是中原局的12名委員之一，只是不到中原局去，工作仍然在華野。
這樣，華東野戰軍就由粟裕全權負責，中央決定由粟裕接任華東野戰軍的司令員兼政治委員。對於中央這一決定，粟裕表示堅決不能接受，認為華野不能沒有陳毅。這一次，毛澤東向粟裕讓了步，同意華野的司令員兼政委仍然由陳毅擔任，但只是名義，陳毅本人必須立即到中原局工作（陳毅和鄧子恢後來帶了4000多名幹部赴中原局工作），粟裕則以華野的代司令員兼代政委的名義全權負責華東野戰軍工作。
城南莊會議的結果，實際上形成了在江北集中兵力打殲滅戰的戰略決策，這也就是後來的淮海戰役的最初藍圖。正是在這種戰略決策之下，中原戰場上才陸續出現了打開封、戰睢杞、克濟南，活捉區壽年、生擒王耀武等一系列勝仗，才會有由兩大野戰軍共同進行的淮海戰役。