一九三八年五月十九日，中國空軍兩架B-10重型轟炸機從武漢起飛，在寧波機場加油後，於二十日凌晨三時，分別飛臨日本熊本市、久留米市、福岡市、佐世保市和長崎市上空——中國空軍重型轟炸機投下的不是炸彈，而是兩百萬份《告日本國民書》。
這份由中國國民政府發布的、以蔣介石口吻寫就的告知書，詳細說明了日軍在中國究竟乾了什麼，日軍對中國的侵略將給日本國民帶來什麼：
……
抗戰已一周年矣，諸君雖怵於軍閥淫威，諒亦必有沉重不勝之回想，貴國軍部不嘗謂不戰即可屈服中國乎？不嘗謂不過二三月短期間即可速戰速決乎？然今則竟言必須準備長期作戰矣。彼輩逐步困難，不得不一再變更其欺騙諸君之方式時，諸君幾多兄弟子侄，已變大陸之鬼；幾多閨中少婦，已作未亡之人；幾多之幼小兒女，已成無告之孤，諸君所得於戰爭者究何在？即以我東北四省而論，被彼輩攫取，已歷數年，然諸君除負擔龐大之戰費外，又何所獲？
……
尤有一事，中正實不忍言，但又不能不言者，厥為對婦女同胞之暴行。自十歲左右之幼女，乃至五六十歲之老婦，一遭毒手，閤（闔）族難免，或數人輪姦污辱，使受辱者不旋踵而呻吟斃命。貴國向來尊重禮教，崇尚武德，為世界所稱道。詎至今日，貴國軍人行為上之所表現者，不特禮教掃地，武德蕩然，直欲絕滅人倫，違逆天理！如此軍隊，不僅日本之恥辱，亦留人類之污點……而諸君在國內猶為軍部宣傳所蒙蔽，以為渡華作戰死亡之子弟，皆是為國犧牲之榮譽國殤。寧知此等死者，皆為軍閥驅使強迫下之冤魂，或負無窮之罪惡，或懷悲憤而沒世，不但無榮譽可言，且使貴國全體國民同蒙不可洗滌之千載污名矣。
統上所述，諸君因受蒙蔽，或罕聽聞，但國際正義之士，已有文字照片傳播於全世界，並世人類莫不引為羞恥。然而諸君全體固不能負其責。負其責者，乃彼輩狂妄之軍部也。軍部喪失人性，不能以理智禦下，故在下者均無紀律，乃至上行下效，共趨於罪惡之深淵，而以製造罪惡相誇競。任何國家，斷無紀律擾亂軍隊墮落至此，而猶可不敗者。諸君若不及時急起，聲討軍閥，制止侵略，則貴國前途之可悲，實不堪設想！
這是日本歷史上第一次有異國戰機飛臨其領空。
盧溝橋事變爆發後，日本海軍木更津航空隊的二十架96式陸基攻擊機，曾從朝鮮半島的濟州島起飛，飛越黃海轟炸中國首都南京。事後，日本人認為，這是世界上“第一次渡洋爆擊”，是“世界最初的航空作戰”。日本人絕對想不到，經過近一年的對華作戰，中國空軍的有限力量損失殆盡，而就在日本大肆宣傳中國在其皇軍的“神威”下已無還手之力時，中國空軍竟然也能越洋飛臨日本進行“爆擊”且安全返航。更何況，伴隨著中國空軍戰機的轟鳴聲，日本國民看到的是威力毫不遜色於炸彈的東西——兩百萬份告知書如同暴雪漫天狂舞。
中國空戰史將銘記這幾位勇士的名字：中國空軍第十四隊隊長徐煥升少校，副隊長佟彥博上尉，飛行員蔣紹禹中尉、蘇光華中尉，以及通信員陳光斗少尉、吳積衝少尉，領航員雷天春少尉、劉榮光少尉——其中，佟彥博、蘇光華以及雷天春、吳積衝，都在後來的對日作戰中為國捐軀。
《告日本國民書》，是一九三八年三月在武漢召開的國民黨臨時全國代表大會通過的一份決議。
南京陷落後，國民政府面臨著政略和戰略上的調整，以便重新組織全國的抗戰，於是決定召開國民黨臨時全國代表大會，以確定今後的戰爭任務和行動方針。
中國共產黨中央委員會於三月二十五日致電國民黨臨時全國代表大會，提出八項建議：
一、號召全國人民以中華民族必勝的信心，誓與日寇抗戰到底，指出只有持久戰才能致日寇的死命。堅決反對一切投降妥協悲觀失望的傾向。
二、繼續動員全國武力人力財力為保衛西北、保衛武漢而戰。在前線，徹底貫徹執行陣地戰、運動戰、游擊戰三者適當配合的新戰略。在敵人後方堅決援助與發展廣泛的人民的自衛戰。
三、繼續擴大與鞏固抗日民族統一戰線。首先即鬚髮布以孫先生三民主義為基本原則的抗日民族統一戰線的共同綱領，作為動員全國人民共同奮鬥的明顯鵠的。再在這一綱領下，建立一種各黨派共同參加的某種形式的民族解放同盟。
四、繼續擴大與鞏固國民革命軍。切實加強軍隊的政治工作，嚴緊軍隊紀律，認真改善徵兵制度。
五、繼續改善政治機構。首先應該召集真能代表全國民意的全權的國民大會，通過抗日民族統一戰線的共同綱領，制定各種實施綱領的具體法令，大量吸收全國人民各黨派中的愛國志士參加政府。切實整頓地方政府，洗刷貪官污吏。
六、繼續全國人民的動員。普遍組織民眾的自衛隊、游擊隊，大量扶植與發展一切抗日救國與工人的、農民的、青年的、婦女的、各界的、職業的民眾團體，頒布民族統一戰線總方針下言論、集會、結社、出版、信仰自由的民主法令。
七、實施優待抗日軍人家屬，豁免戰區地賦等改善民生的法令。
八、組織抗戰的經濟基礎，建立國防工業，發展軍需工業，改進農業。
四月一日，國民黨臨時全國代表大會通過了《抗戰建國綱領》：
甲、總則
（一）確定三民主義暨總理遺教為一般抗戰行動及建國之最高準繩。
（二）全國抗戰力量應在本黨及蔣委員長領導之下，集中全力，奮勵邁進。
乙、外交
（三）本獨立自主之精神，聯合世界上同情於我之國家及民族，為世界之和平與正義共同奮鬥。
（四）對於國際和平機構及保障國際和平之公約，盡力維護，並充實其權威。
（五）聯合一切反對日本帝國主義侵略之勢力，制止日本侵略，樹立並保障東亞之永久和平。
（六）對於世界各國現存之友誼，當益求增進，以擴大對我之同情。
（七）否認及取消日本在中國領土內以武力造成之一切偽政治組織，及其對內對外之行為。
丙、軍事
（八）加緊軍隊之政治訓練，使全國官兵明了抗戰建國之意義，一致為國效命。
（九）訓練全國壯丁，充實民眾武力，補充抗戰部隊，對於華僑回國效力疆場者，則按照其技能，施以特殊訓練，使之保衛祖國。
（十〉指導及援助各地武裝人民，在各戰區司令長官指揮之下與正式軍隊配合作戰，以充分發揮保衛鄉土捍禦外侮之效能，並在敵人後方發動普遍的游擊戰，以破壞及牽制敵人之兵力。
（十一）撫慰傷亡官兵，安置殘廢，並優待抗戰人員之家屬，以增高士氣而為全國動員之鼓勵。
丁、政治
（十二）組織國民參政機關，團結全國力量，集中全國之思慮與意見，以利國策之決定與推行。
（十三）實行以縣為單位，改善並健全民眾之自衛組織，施以訓練，加強其能力，並加速完成地方自治條件，以鞏固抗戰中之政治的社會的基礎，並為憲法實施之準備。
（十四）改善各級政治機構，使之簡單化，合理化，並增高行政效率，以適合戰時需要。
（十五）整飭綱紀，責成各級官吏，忠勇奮鬥，為國犧牲；並嚴守紀律，服從命令，為民眾倡導，其有不忠職守，貽誤抗戰者，以軍法處治。
（十六）嚴懲貪污官吏，並沒收其財產。
戊、經濟
（十七）經濟建設應以軍事為中心，同時注意改善人民生活，本此目的，以實行計劃經濟，獎勵海內外人民投資，擴大戰時生產。
（十八）以全力發展農村經濟，獎勵合作，調節糧食，並開裡荒地，疏通水利。
（十九）開發礦產，樹立重工業的基礎，鼓勵輕工業的經營，並發展各地之手工業。
（二十）推行戰時稅制，徹底改革財務行政。
（二十一）統制銀行業務，從而調整工商業之活動。
（二十二）鞏固法幣，統制外匯，管理進出口貨，以安定金融。
（二十三）整理交通系統，舉辦水陸空聯運，增築鐵路公路，加闢航線。
（二十四）嚴禁奸商壟斷居奇，投機操縱，實施物品平價制度。
己、民眾運動
（二十五）發動全國民眾，組織農、工、商、學各職業團體，改善而充實之，使有錢者出錢，有力者出力，為爭取民族生存之抗戰而動員。
（二十六）在抗戰期間，於不違反三民主義最高原則及法令範圍內，對於言論、出版、集會、結社，當與以合法之充分保障。
（二十七）救濟戰區難民及失業民眾，施以組織及訓練，以加強抗戰力量。
（二十八）加強民眾之國家意識，使能輔助政府肅清反動，對於漢奸嚴行懲辦，並依法沒收其財產。
庚、教育
（二十九）改訂教育制度及教材，推行戰時教程，注重於國民道德之修養，提高科學的研究與充實其設備。
（三十）訓練各種專門技術人員，予以適當之分配，以應抗戰需要。
（三十一）訓練青年，俾能服務於戰區及農村。
（三十二）訓練婦女，俾能服務於社會事業，以增加抗戰力量。
《抗戰建國綱領》在堅持抗戰和爭取最後勝利的總方向上，與中國共產黨提出的《抗日救國十大綱領》的精神基本一致。在政治、軍事、經濟、外交、民眾運動和教育等項中，甚至採取了與中國共產黨近似或類似的提法，如：“本獨立自主之精神，聯合世界上同情於我之國家及民族，為世界之和平與正義共同奮鬥”；“聯合一切反對日本帝國主義侵略之勢力，制止日本侵略”；“充實民眾武力”；“在敵人後方發動普遍的游擊戰”等等。
《抗戰建國綱領》是抗日民族統一戰線的產物，它的意義不僅在於對未來戰爭的指導，更重要的是中國向世界宣告：儘管軍事上始終處於劣勢，但中華民族決心不惜一切犧牲，不怕一切困苦，與日本侵略者戰鬥到底，直至取得最後的勝利。
大會閉幕之際，蔣介石在致詞中強調了爭取抗戰勝利的根本保證，即全國各黨派和各階層民眾的團結一心：“如果我們國家內部能夠團結一致，始終不渝，我們就沒什麼不能克服的困難，也沒有什麼可怕的敵人。”
此次抗戰，為國家民族存亡之所繫，人人皆當獻其生命，以爭取國家民族之生命，吾同胞同誌之血，一點一滴，皆所以使四萬萬五千萬之人心凝結為一，以為中國之金城湯池。即此心力物力之夷為灰燼者，亦必於灰燼之中發生熱力，為中國之前途燃其光明之炬。最後勝利之獲得，不特領土主權及行政之完整可以確保，自由平等之國家亦可由此實現，吾同胞同志惟有並力以赴，不達目的，決不中止。
中國多麼需要“人心凝結為一”。
台兒莊戰事暫時平息後，中日雙方都開始了對戰局的考量。
在東京，關於“擴大”或“不擴大”戰局的爭論再次出現。 “不擴大派”的根本出發點，是基於對日本經濟現狀、工業能力、外交困境以及應對蘇聯的戰爭準備等諸方面因素的顧慮，不得不做出的固守現佔領地，僅以軍事和政治壓力迫使國民政府屈服的基本方針。但是，此時的“不擴大派”面臨著一個十分尷尬的問題：日本政府已宣布不以中國國民政府為外交方。 ——此話一出，日本人便意識到，話說得太早也過於狂妄和魯莽了。現在，日本人不得不承認，他們在中國扶持的偽政權沒有任何政治、軍事和民意基礎，依靠這樣的偽政權不可能實現征服中國的目標。 ——一面與國民政府進行政治和軍事較量，一面又宣稱不以國民政府為“對手”，這種處境不但荒誕不經且有掩耳盜鈴之嫌。那麼，剩下的手段似乎只有擴大戰爭規模了，儘管這將使對華戰爭變成一場對日本十分不利的長期戰爭。可是，僅就戰場現狀而言，“不擴大派”還是堅持認為：當前在“作戰上難以解決事變”，“不過是強使小局部特別是末梢部出血”而已。在這種情形下，“佔據徐州，大致需要增加二個師團，對蘇關係的兵力、資材也會因攻占徐州而愈益缺乏。況且，還將使既定的充實軍備計劃出現致命障礙”。
日本陸軍是日本政治的主宰者。傲慢而強硬的陸軍將領們，都是狂熱的“擴大派”，他們相信武力能夠實現大日本帝國所期望的一切。陸軍將領們反駁“不擴大派”說，目前佔領的“地域、人口、資源，難以實現就地自給自足，結果將逐步消耗減少日本的戰力。”必須將蔣介石政權驅除出中原，將其壓迫至邊陲地區，並在戰略、政略、謀略上佔據有利態勢。目前，日軍北面停止在濟南，南面停止在南京，這樣不但不能解決戰爭，反而會使戰爭無限地延長。所以，必須“斷然實施徐州及武漢、廣東作戰”。 “擴充對蘇戰備固然重要”，可現在一切的重點是“中國大陸”。儘管台兒莊戰事令日本陸軍蒙羞，但陸軍部認為，從戰爭全局看這只是一次出擊失利，不應影響早已設定的侵華戰略，即殲滅黃河以南的中國軍隊主力，攻取國民政府目前的政治軍事中心武漢。
一九三八年三月二十四日，日軍華北方面軍作戰課致電東京參謀本部作戰課：
第二軍的作戰，始終是基於屢次報告的方針進行的，但與優勢之敵已近於接觸，形成對敵之所謂決戰攻勢不能不予以迎擊的形勢。這次戰鬥，肯定對我十分有利，尤其在蚌埠方面，依靠友軍的積極行動，予以冊應，很明顯會收到更大成果。其結果，敵放棄徐州也未可知。可是現在，敵可自由運用兵力，我則逐次不可避免地以劣勢打優勢，造成重大損失，對全局極其不利，自不待言。徐州之得失尚屬次要，主要為發揮我全面戰略態勢之有利方面，對正在以徐州為中心聚集之敵集團，盡可能以最小犧牲給敵以最大打擊。如何處理，已是燃眉之急。
多年後，當時的參謀本部作戰課課長稻田正純回憶：
瀨谷、坂本兩支隊自台兒莊後退問題，從戰況看是當然的。當時，方面軍也好，第二軍也好，都焦急地感到，為什麼不更早一點後退呢？台兒莊的後退，並非敗退。遲早要後退，這是從一開始就和大本營說好了的，所以不成問題。得到台兒莊方面“出現湯恩伯軍”的情報時，就擔心情況要糟。過於突出的第二軍那一部分，如不及早收住，就會危險。這是因為湯恩伯軍的出現，意味著蔣介石的主力決戰來了。由於瀨谷、坂本兩支隊已脫險後退，所以安心了；但同時由於讓敵人主力靠近了身邊，這樣就形成：那就來一場徐州會戰吧！趕緊準備起來！
華北方面軍的電報使東京大本營意識到：“在台兒莊方面有大量的中國軍隊，特別是湯恩伯軍的出現，認為給蔣介石軍的主力一大打擊，是挫傷敵人抗戰意志的好機會，因此決定進行徐州作戰。”“擴大”與“不擴大”戰局的爭論就此擱置，既然發動徐州會戰能消滅中國軍隊主力，特別是對日後的武漢作戰有利，大本營批准了華北方面軍的作戰計劃。四月三日，大本營和陸軍部聯合下達了“大陸指第一〇六號”令：
第一、方針
華北方面軍以一部有力部隊及與之相配合的華中派遣軍的一部，擊敗徐州附近之敵，並佔領津浦線及廬州（合肥）附近。
作戰時間預定於四月下旬。
第二、要領
一、華北方面軍約以四個師團向隴海沿線發動攻勢將敵擊敗。為此，以主力從北面擊敗徐州附近之敵，約以一個師團從蘭封東北方附近，向敵退路歸德（商丘）方向進攻。
二、華中派遣軍約以兩個師團（其一部擔任後方警備）從南面冊應華北方面軍作戰。為此，從津浦沿線地區進擊，尤其應力求切斷敵之退路。
三、華北方面軍佔領徐州以北津浦線，將敵擊敗後佔據蘭封以東的隴海線以北地區。
四、華中派遣軍擊敗敵軍之後，佔據徐州（包括在內）以南津浦線及廬州附近。
五、兩軍作戰要緊密聯絡。
六、本作戰完成之後，華北方面軍約將三個師團配置在黃河以南，華中派遣軍約將兩個師團配置在徐州（包括在內）以南津浦線及廬州附近。
日軍華北方面軍與華中派遣軍聯絡後，共同製訂了徐州作戰計劃，其基本內容是把會戰分成三個階段：
第一階段，華北方面軍與台兒莊戰場上的中國軍隊保持接觸，將其滯留在韓莊、台兒莊、嶧縣和臨沂地區；華中派遣軍由江蘇淮陰向西北方向的徐州推進，將中國軍隊主力牽制在徐州東南地區，以爭取並掩護攻擊主力第二軍對徐州實施戰略包圍。
第二階段，“以急襲戰術開始攻勢運動”，對徐州實施南北包圍作戰並最終攻占；同時從微山湖西側進攻，切斷“徐州以西及西南面”中國軍隊的退路。
第三階段，華北方面軍“佔領蘭封以東附近隴海線一帶”，華中派遣軍“確保徐州（包括在內）以南津浦沿線”。同時，華北方面軍以一部兵力在蘭封至範縣附近南渡黃河，攻占開封和鄭州，切斷蘭封以東的隴海線和鄭州以南的平漢線。
為了增強擔負進攻任務的第二軍的兵力，日軍華北方面軍把直屬的第一一四師團，戰車第二大隊，野戰重砲第三、第六聯隊以及工兵聯隊都配屬給了第二軍。之前調往淞滬戰場的第十六師團也奉命歸建。由此，日軍第二軍的總兵力達到四個師團、一個混成旅團以及諸多的工兵和砲兵部隊。
從日軍作戰計劃上看，徐州會戰規模雖大卻仍屬追擊性作戰。東京大本營的指令，只要求包圍並擊潰徐州附近的中國軍隊，佔領津浦線以及隴海線上的要地，並沒有再提以期“解決事變”的戰略目標，也沒再指望由此“迫使蔣政權屈服”。但是，即將開始的徐州會戰，卻是中日開戰以來日軍投入兵力最多的一次作戰。當時，侵華日軍總兵力為十八個師團，約四十餘萬人，而被投入徐州戰場的兵力就達八個師團，其中華北方面軍五個半師團，華中派遣軍兩個半師團，總兵力達二十餘萬人，佔侵華日軍總兵力的一半。由此可見，經歷了台兒莊戰役的日軍終於意識到，中國的任何一處要地已不再可以輕取。
此時，在台兒莊戰場上的中國軍隊，無論是孫連仲的集團軍還是湯恩伯的軍團，由於缺乏旺盛的持續攻擊意圖，未能趁敵立足未穩將其殲滅，以致在台兒莊以北的嶧縣一帶與日軍瀨谷、坂本兩支隊形成對峙。這種對峙使戰場態勢變得微妙起來：日軍主力並未受到嚴重損傷，如要打破僵局，勢必進行反擊作戰，且這一反擊很可能會越過台兒莊直指徐州；中國軍隊隨著主力的逐步靠攏，在這一地區已形成兵力上的絕對優勢，似乎也沒有停止擴大戰果的理由。同時，在中國軍隊方面，並不是所有人都對擴大戰果表示認同。
國民政府軍令部第一廳廳長劉斐認為：應結束這種危險的陣地戰，迅速轉為機動防禦，盡量縮小戰場的正面，除以一部與日軍保持接觸外，主力應部署在有利於機動的位置，相機打擊日軍。同時，必須布防運河一線，控制強大的預備隊在徐州以西，一方面以備日軍從魯西南或皖北迂迴徐州；另一方面縱使日軍打通了津浦路，我軍也可以發起側擊使其“不能安全利用津浦路”。劉斐的理由很簡單：無論是作戰能力，還是作戰時機，中國軍隊都不能與日軍展開決戰，如果貿然集中主力實施“固定一地”的決戰，不但很難在正面強攻的陣地戰中取勝，還容易落入日軍多路包抄分割的圈套。這時候，劉斐已從台兒莊回到漢口軍令部，他頻繁地與李宗仁保持聯繫，闡釋調整部署以確保機動的必要。但李宗仁認為可以“從既有的陣地線上取勝”，以致增援徐州戰場的部隊都被投入了第一線。
還在台兒莊戰役剛剛打響時，蔣介石曾赴徐州第五戰區長官部，因擔憂徐州防禦而問詢李宗仁：“你看徐州可以守嗎？”李宗仁答：“請委員長放心，徐州短期內沒有問題。如果我能得到充足的補充，可能還要打一個不大不小的勝仗。”蔣介石沒有回應李宗仁，但李宗仁看出蔣介石對此“將信將疑”。只是按照李宗仁後來的說法，當時頭腦發熱的並不是他而是最高統帥部“不到一個月，我援軍抵徐的幾達二十萬，與本戰區原有的軍隊合計，不下六十萬。大軍麇集於徐州附近地區，真是人滿之患。”李宗仁打電話給白崇禧：“委員長調了這麼多部隊幹什麼呢？”白崇禧答：“委員長想要你擴大台兒莊的戰果。”李宗仁認為，擴大戰果為時已晚，且“我方集大軍數十餘萬人於徐州一帶平原地區內，正是敵方機械化部隊和空軍的最好對象。以我軍的裝備，只可相機利用地形有利條件與敵人作運動戰，若不自量力與敵人作大規模的陣地消耗戰，必蹈京、滬戰場的覆轍”。
那麼，在台兒莊戰役之後，中國方面到底是誰頭腦發熱了呢？
毫無疑問，蔣介石基於“積小胜為大勝”的原則，確實對在魯西南再打一個如同台兒莊的勝仗抱有期望。從四月二十五日他給李宗仁的電報上看，他依舊捨不得放棄已控制的任何要點，要求一線部隊作出固守防禦的部署：“我魯南與淮北各部，除固守運河陣地及徐州國防工事之外”，位於魯西南的部隊南下皖北碭山至黃口一線，然後奪取位於徐州西南方向的永城；“我魯西豫東部隊”向東發起攻擊，佔領徐州西北方向的豐縣和沛縣。蔣介石告訴李宗仁：“敵兵力不足，軍紀廢弛，士氣頹唐，其淮北主力，已不敢北進；而其魯西主力，亦為我後方各部牽制。其躊躇不決，畏縮不前，已甚明顯，只要我運河線與徐州國防工事能固守不動，則敵此次大包圍計劃，必可被我粉碎，而且可予以殲滅也。”於是，漢口軍令部製訂的《徐州會戰作戰指導方案》，體現出蔣介石的這種繁雜心緒：攻擊方向仍舊是魯西南，作戰原則還是攻勢殲敵，只是加了“不得已時”機動防禦的內容。當第五戰區遵循這份《指導方案》，將擬定的作戰計劃上報後，蔣介石對第五戰區提出的要求是：“須著眼求敵主力包圍於戰場而殲滅之。”
事實上，蔣介石的“求敵主力包圍於戰場而殲滅之”，與之前李宗仁的“集中所有力量”發動全面攻勢以奠定戰爭“勝利基礎”，兩者基本是一致的。
只有劉斐堅持認為，目前在徐州方向，中國軍隊機動和預備兵力太少，投入一線防禦作戰的部隊還是太多。西起微山湖，經獐山、嶧縣、蘭陵鎮、向城，一直東延至沂河東岸的碼頭、郯城，在“綿亙三百多里”的戰線上，中國軍隊投入了近四十多萬的兵力，且基本都布防在運河以北地區。一旦日軍從側面或背後迂迴徐州，寬大的戰線將難以適應瞬息萬變的戰局從而陷於被動。由此，劉斐不斷地問詢李宗仁，是否調配出了機動或預備部隊？ ——“第五戰區不僅沒有抽調出機動部隊，而且把所有的部隊都投入到第一線或緊接第一線，與敵做延翼競賽。”所謂“延翼競賽”，指的是中日兩軍主力都在企圖包圍對方，盡力延展各自的兩翼，看誰能把對方包圍住。 ——這不是典型的決戰是什麼？劉斐的擔心有相當的道理：至少在一九三八年四月，中國軍隊尚不具備與日軍在徐州地區決一死戰的能力。先不說武器裝備的巨大差距，僅就兵力對比而言，中國軍隊六十萬，日軍投入二十餘萬，淞滬會戰時中國軍隊十比一的兵力比例仍未能取勝，如今在三比一的比例下圍殲日軍的信心從何而來？
徐州會戰，就這樣開始了。
為協調華北方面軍與華中派遣軍的關係，日軍東京大本營派人到達山東濟南，於四月十七日召開關於徐州作戰的碰頭會。參加會議的有：大本營派來的橋本群少將、西村敏雄中佐；華北方面軍作戰課課長下山琢磨大佐，第一軍參謀友近美晴中佐，第二軍參謀長鈴木率道少將、參謀岡本清福大佐；華中派遣軍副參謀長武藤章大佐以及臨時航空兵團參謀田中友道大佐。會議一開始，華北方面軍與華中派遣軍就爆發了爭執。首先，徐州會戰以誰為主？華北方面軍的意見是以第二軍為主：“當面之敵，對世界和國民來說，為保持面子，恐不會退卻。因此，以攻占徐州為目標，即使最小規模的包圍，其成果也絕不小。”而華中派遣軍認為，是否佔領徐州是次要的，重要的是消滅中國軍隊的主力：“第二軍立即發動攻勢，派遣軍馬上開始行動，則敵人可能退卻。因此，從效果考慮，其方法應該是中止第二軍的攻擊，扣住敵人，然後以第一軍及派遣軍在歸德方面完成大的包圍圈，可達到消滅敵人的目的。”接著是關於作戰時間的爭執。華北方面軍的意見是：“第五師團從四月十六日開始攻擊沂州（臨沂），第十師團從十八日開始攻擊，進入台兒莊南面地區的作戰，要持續到四月底。在這一進入線內為準備以後的攻勢，第十六師團集結於濟寧附近，從五月十日左右可開始徐州作戰。”而華中派遣軍的意見則是由他們首先行動：“為冊應華北軍作戰而開始作戰，東台、高郵附近的部隊要走在前頭，應盡量提前開始行動。派遣軍最初的計劃是四月二十九日，五月四日左右進入宿縣、蒙城一線（重點蒙城方面）。如果華北方面軍遲延的話，希望和第二軍攻勢開始同時行動，因為到徐州的距離比第二軍遠，多少需要提前開始行動。”
面對即將開始的大規模作戰，在這個特別召開的參謀會上，除了最終對徐州形成南北包圍外，其他問題均未達成一致。
會後，華北方面軍和華中派遣軍各自製訂了作戰計劃。
日軍華北方面軍徐州會戰計劃：
一、在徐州北面挫敗敵人的進攻。但敵正在蘭封以東、隴海沿線及其以北增加兵力，有阻止我進入的企圖。
二、方面軍必須走在敵人的態勢完成以前，迅速擊敗徐州方面之敵，佔據大致蘭封以東、隴海線以北地區。華中派遣軍與方面軍相呼應，約以兩個師團從蚌埠、懷遠附近發起行動，由津浦線西面地區北上，大致在歸德以東、隴海線以南地區，切斷徐州附近敵主力的退路。以一部兵力於四月二十四日從東台（江蘇省）北上，協助方面軍作戰。
三、第二軍在其兵力集結的同時，對當面之敵進行攻擊，並須佔領徐州。
四、第一軍應以有力的一部渡過黃河，首先迅速切斷蘭封、歸德間的隴海線，並向歸德方面挺進。與華中派遣軍一部密切配合，使第二軍的作戰順利進行。掩護第一軍渡河部隊由火車送到濟寧附近，要求著即由該方面行動。另外，在蘭封以西、黃河沿岸盡可能用佯攻牽制敵人。
五、臨時航空兵團應以其主力協助向隴海線地區作戰。特別應將其重點指向第二軍正面。更應與華中派遣軍第三飛行團及海軍航空隊密切配合。
四月二十四日，華中派遣軍發布徐州會戰作戰計劃：
一、方針
軍與華北方面軍相冊應，將徐州附近之敵捕捉消滅在徐州西面地區，決戰時間大概定為五月中旬。
二、指導要領
軍預定於五月五日左右開始前進。根據情況，預期在四月底以後有可能開始前進。
軍將第九師團、第十三師團並列作戰，首先擊敗當面之敵，神速向趙家集—蒙城一線挺進，此時的重點保持於左師團。進入趙家集—蒙城一線附近以後，應向歸德、亳縣方面，還是碭山、永城方面，或是向徐州方面前進，要看情況。特別是應根據徐州方面之敵情再行決定。但不管情況如何，必須以一部佔領宿縣附近。
派遣軍為保證軍的主力作戰，在軍的主力行動前，下令派遣如下部隊：
第一〇一師團從現駐揚子江北岸的部隊中，盡可能抽出更多的兵力，向阜寧方面前進。
第六師團迅速以步兵四個大隊為基幹的部隊，沿和縣至巢縣至廬州大道地區作戰，咬住廬州方面之敵。
派遣軍於四月十三日命令，在蘇州附近警備的第九師團在鳳陽附近集結，第十三師團在蚌埠、懷遠間集結。
第九師團在四月中旬陸續集結於南京對岸的浦口，排除敵之障礙北上，到五月八日前集結於鳳陽、臨淮關地區，第十三師團也在五月八日前在所命令地區集結完畢。
從作戰計劃上看，日軍兩路部隊雖是各管各的，但已經呈現出對中國軍隊的南北合圍趨勢。
在徐州戰場的北線，位於魯南的日軍第五師團急不可耐，師團長板垣徵四郎把他的指揮部前推到臨沂西北面的義堂集附近。日軍華北方面軍又從獨立混成第五旅團以及第一一四師團抽出部隊，歸板垣徵四郎指揮，以厚第五師團兵力。板垣徵四郎隨即派出了他最強悍的國崎支隊，於四月十六日向魯南重地臨沂發動了攻擊。
四月十九日，李宗仁致電武昌參謀總長何應欽、軍令部部長徐永昌：
……當面之敵自應晨以來猛烈犯我，著著進逼迄未停止，嘯（十八）日晚繼續徹夜激戰，炮火猛烈。我陣地全毀，房屋均著火，砲彈已漸達城垣，我官兵於火光煙焰中流血抵抗，前赴後繼，傷亡累累，而乾部傷亡尤重，陷於苦戰狀態。現援軍僅到一部，二十一師尚無消息，現時情況二十一師如今晨不能到達，危險堪虞……
十九日中午，日軍突入臨沂，負責守城的龐炳勳部激戰後“官兵傷亡甚重”，殘部於二十日凌晨突圍而出。
原定負責增援臨沂的還是張自忠部。
之前，張自忠部兩次奉命增援臨沂，部隊“傷亡奇重，兵員銳減”，“尤其是第三十八師，作戰前約有一萬五千人，臨沂戰役後僅剩不足三千人”，部隊因此南撤卞莊（蒼山）一帶補充休整。自中國軍隊津浦路作戰開始以來，張自忠部於南北戰場不斷奔波，哪裡危急就趕赴哪裡苦戰。這一次，他又奉命從卞莊北進增援臨沂，但因沿途受到日軍猛烈阻擊而未能及時趕到。及至臨沂失守的消息傳來，張自忠自責內疚得幾近絕望，在給軍令部次長熊斌的電報中說：“職部此次轉戰臨沂，為時月餘，激戰四次，逐次傷亡，力量減削，而敵陸續增加，志在報復。職部以兵員疲憊、器械殘缺之餘，當生力增援機械化之敵，預料必危。今日徒以國勢至此，分屬軍人，義無反顧，是以激勵部屬，奮鬥到底，而在援軍未趕到前，守城龐軍退出臨沂城垣，戰局頓挫，是所痛心。茲查職部黃師（第三十八師師長黃維綱）傷亡殆盡，劉師（第一八〇師師長劉振）傷亡達三分之二，兩師現以戰鬥員並編一旅，尚覺不敷。職忝綰軍符，以身許國，救國有心，殺敵無力，殊覺俯仰疚心。”
臨沂失守，中國軍隊失去了魯南的戰略支撐點。
日軍國崎支隊佔領臨沂後，沿沂郯（臨沂至郯城）公路迅速南下，目的是調動中國軍隊主力東援，以掩護日軍第十四、第十六以及第一一四師團在魯西南展開，切斷運河以北所有中國軍隊的後路，進而實現圍殲湯恩伯和孫連仲兩軍的目的。為避免被圍在日軍的包圍圈裡，李宗仁命令湯恩伯的軍團放棄對瀨谷、坂本兩支隊的圍攻，將關麟徵的第五十二軍、王仲廉的第八十五軍以及週晷的第七十五軍等部，後撤至蘭陵鎮、洪山鎮東南地區佔領陣地。
四月十日，在臨沂戰場的西面，與第五師團並駕齊驅的日軍第十師團主力由兗州向南推進到棗莊。棗莊位於蘭陵鎮的西北方向，距蘭陵鎮僅六十多公里，這意味著第十師團將向湯恩伯部發起攻擊。按照日軍徐州會戰的計劃，第十師團的任務是將中國軍隊滯留在台兒莊附近。第十師團投入的部隊是：以瀨谷啟的第三十三旅團為基幹的瀨谷支隊、以長瀨武平的第八旅團為基幹的長瀨支隊，還有由第五師團轉隸而來、以坂本順的第二十一旅團為基幹的坂本支隊。十八日，日軍的攻擊開始，其部署是：瀨谷支隊在左，沿棗台鐵路線向台兒莊進攻，負責牽制滯留孫連仲部；長瀨支隊在中，先向蘭陵鎮，再向禹王山發起進攻；坂本支隊在右，先向向城、再向四戶鎮發起進攻。長瀨、坂本兩支隊的作戰目標只有一個，牽制中國軍隊的主力湯恩伯部。
十九日，坂本支隊突入向城，長瀨支隊推進到蘭陵鎮，只有瀨谷支隊在攻擊台兒莊時受到週晷的第七十五軍的頑強阻擊。湯恩伯部逐次放棄陣地向南後退，坂本和長瀨兩支隊緊追不捨，兩軍激戰於蘭陵鎮、洪山鎮以南的四戶鎮一線，日軍決絕強悍的攻擊令湯恩伯部死傷嚴重：鄭洞國的第二師剩下不足兩千人，而新組建的梁愷的第一九五師只剩下不足千人。 ——蔣介石要求中國軍隊固守的大運河北岸陣地已經變得支離破碎。
這時，滇軍第六十軍增援而至。
盧溝橋事變爆發後，在蔣介石的請求下，雲南省府主席龍雲將直屬的步兵、砲兵、工兵、交通兵、護衛騎兵等部隊合編為中國陸軍第六十軍。任命盧漢為軍長，下轄第一八二師，師長安恩溥；第一八三師，師長高蔭槐；第一八四師，師長張沖。一九三七年十月，第六十軍出雲南經貴州，徒步行軍四十多天，抵達湖南常德待命。一九三八年初，又轉至武昌整訓，四月奉命開赴魯南戰場。
中國陸軍第六十軍軍歌，是著名作曲家冼星海創作的：
軍長盧漢先期趕到第五戰區長官部，李宗仁告訴他：“台兒莊東北前線吃緊”，第六十軍歸第二集團孫總司令指揮，“速到台兒莊東南面運河以北集結”。而一旁的白崇禧說：“台兒莊情況，前幾天很緊，目前已趨緩和”，希望第六十軍於二十四日前集結完畢。盧漢又去見了孫連仲，孫總司令說：“敵軍攻勢雖猛，但我們打得很好，局勢已趨穩定。”——盧漢後來說：“李宗仁說話比較直率，白崇禧、孫連仲均未將台兒莊的真實情況相告。在我軍趕赴集結地的途中，於學忠、湯恩伯兩部已經轉移，遂使我軍未曾展開即與突入之敵不期而遇。”
按照命令，第六十軍需集結在台兒莊的東南面，作為於學忠的第五十一軍的二線部隊。可是，當第六十軍向集結地運動時，湯恩伯的第二十軍團已經南撤，於學忠的第五十一軍獲悉湯恩伯部撤走後，趕緊向西收縮了自己的右翼，以至於在台兒莊戰場的東南面，中國軍隊的防線上出現了一個巨大的缺口。日軍以兩個聯隊的兵力，在三十多門火砲和二十多輛坦克的支援下大舉南下，與向北開來的第六十軍第一八三師先頭部隊尹國華營迎頭相撞。尹營長的先頭部隊消滅了日軍的尖兵，佔領了台兒莊以東的陳瓦房，但隨即便陷入日軍主力的包圍。為給後續部隊贏得時間，被包圍的中國官兵頑強抵抗。危急時刻，一〇八一團團長潘朔端率部增援，在小莊附近遭遇日軍的猛烈阻擊，團附黃雲龍陣亡，團長潘朔端身負重傷。日軍從四面衝進陳瓦房，被包圍的中國官兵開始了白刃戰。最終，除一名叫陳明亮的士兵衝出包圍圈生還外，尹國華營的其餘五百餘名官兵全部殉國。
先頭營的拼死作戰，為第六十軍贏得了展開布防的時間。
二十三日，日軍向蒲汪、辛莊、戴莊一線發起猛攻。防禦蒲汪的第一八二師一〇七九團，在團長楊炳麟的指揮下與日軍反复衝殺，當重機槍陣地上只剩下機槍手楊正發一人時，身負重傷的楊正發依舊在猛烈射擊，竟然使得日軍“不能靠近”。為增援蒲汪陣地，迫擊砲排排長靳家祥和步兵排排長呂建國率隊向日軍發起突然反擊，兩個排的中國官兵衝入日軍的坦克群，用集束手榴彈炸毀了數輛坦克，斃敵十餘名，但隨後身陷重圍，兩名排長和二十餘名士兵無一生還。二十四日，蒲汪陣地上的中國守軍已傷亡三百餘人。日軍增援部隊抵達後，二十多輛坦克衝進蒲汪橫衝直撞，滇軍官兵與村莊里的斷牆一起被碾為平地，雙方慘烈的肉搏戰一直持續到深夜，日軍不支退卻。而這時候的一〇七九團，連同負傷的代理團長鍾光漢在內，全團僅剩下不足五百人。
第六十軍軍長盧漢記述：
敵我雙方投入的兵力約達七萬人，敵軍三萬餘人，偽軍五千人，我軍三萬餘人，在不到四十平方公里的土地上反复廝殺，逐村爭奪。這時，我軍原在台兒莊東南面運河北面的集結地，由於陳瓦房、小莊、鳳凰橋在遭遇戰中為敵攻占，形成了東起台兒莊東北之陶溝橋、馬家窯、李莊、五聖堂、邢家樓、五窯路，右至辛莊、蒲汪、西黃山之線的第一陣地，與敵在犬牙交錯的狀態中對峙。
二十五日夜，孫連仲轉達第五戰區命令：二十六日台兒莊全線發動反擊，於學忠部向東，湯恩伯部向西，第六十軍向北，合力殲滅突入台兒莊東面我軍袋形陣地中的日軍。
二十六日晨，中國軍隊的反擊作戰剛一開始，就被日軍前所未有的強大火力所阻，無論是湯恩伯部、於學忠部，還是盧漢的第六十軍，都不得不退回原陣地。日軍在中國軍隊後撤後，以砲兵、坦克、步兵聯合發動了全線攻擊。在第六十軍正面的東莊陣地，日軍一個小時發射了五千發砲彈，東莊上空煙塵蔽日，整個村莊被夷為平地，那些在砲擊中活下來的中國官兵，接著就與衝過來的日軍步兵展開了激戰。在右翼，第六十軍一〇七八團團長董文英決心收復蒲汪，他帶領一個機槍連和一個迫擊砲排出擊，於中午時分悄悄接近了日軍據守的陣地。中國官兵的襲擊是突然發動的，日軍以一部在正面頂著，步兵與騎兵則繞到了董文英部的側後，董團長率部一面試圖衝出夾擊一面奮力後撤，在得到一〇七七團的增援後才退至戴莊陣地。傍晚，偽軍劉桂堂部換上滇軍的軍服，潛入第六十軍胡山陣地，董文英團長奉命向胡山發動反擊，戰鬥中董團長陣亡，三營營長陳浩如奉命代理團長，不久也在戰鬥中陣亡。這一天，一〇七八團出擊部隊傷亡官兵達三分之二。入夜，第六十軍的胡山、窩山、戴莊等陣地相繼棄守。
二十八日，日軍越過戴莊，攻擊台兒莊北面的禹王山陣地。第一八四師第五四四旅旅長王秉璋率部阻擊，中國守軍擊中了日軍的前鋒坦克，王旅長在指揮戰鬥中胸部中彈。日軍攻占禹王山山頂後，第五四二旅一〇八六團團長楊洪元要求三營三連組織敢死隊，“趁暗夜發起進攻”，將山頂的敵人殲滅，然後向前推進，“構築起堅固的防禦陣地”。三連共計二百八十六名官兵，連長李佐認為：“到各排去挑敢死隊員，不但貽誤戰機，且臨時組成的敢死隊，官兵之間互不熟悉，難以發揮夜戰的威力。不如就用建制排，一個排接一個排連續衝鋒，一定要把山頂奪回來。”首先沖上去的是三排，兩個班的士兵趁日軍不備將其趕下山頂。日軍開砲了，已越過山頂的兩個班的士兵全部陣亡。三排的其他官兵接著往上沖，同樣，也在日軍的砲火打擊下全部陣亡。 ——“兩個排一百三十多人，經幾次沖擊，傷亡近百人，只剩下三十多人守著禹王山的山頂。”三營長王朝卿向楊團長建議：“不能再向前衝了，只要守住山頂就行了，不然部隊會被打光的。”——自四月三十日起，中國守軍在禹王山頂棱線上與日軍形成對峙。
在台兒莊東南戰場的作戰中，第六十軍錶現出驚人的勇敢和頑強，但也為此付出了巨大代價。李宗仁在致蔣介石的密電中稱：“每一陣地失去，官兵均少生還。”近十天的血戰中，第六十軍十二個步兵團，傷亡兵力達七個團，約一萬四千餘人，其中陣亡者達五千餘人。
中國守軍的苦戰，令瀨谷、長瀨和坂本三個支隊不但出現嚴重傷亡，且作戰進展困難。
日軍戰史記述：
到四月底，各支隊的戰線形成膠著狀態，受到多數之敵（當時估計在三十個師以上）的抵抗和反擊，陷於苦戰狀態。在我第一線部隊通過的後方地區，敵人再次侵入，因此戰線成混戰狀態，后防聯絡線的保持也極困難。第十師團長四月二十二日從棗莊進入蘭陵鎮指揮作戰，但除指導第一線外，還要對侵入後方之敵採取對策，很忙碌。
鑑於師團長磯谷廉介的“忙碌”，華北方面軍第二軍派出了以草場辰已的步兵第十九旅團為基幹組成的草場支隊，命其配屬第十師團增援台兒莊東南戰場。但是，草場支隊剛進至金陵寺、白山西附近，就遭到中國軍隊第一一〇師和第三十師的頑強阻擊，被迫停滯不前。
此時，沿沂郯公路南下的日軍國崎支隊，二十三日占領郯城，二十四日晚佔領碼頭鎮。二十八日，國崎支隊從碼頭鎮出發，擬向西北面的北勞溝發起攻擊。但是，在北勞溝村的東、北兩面，受到關麟徵的第五十二軍和樊崧甫的第四十六軍的猛烈阻擊。激戰一天一夜後，國崎支隊後方聯絡中斷，彈藥給養匱乏，官兵傷亡慘重。師團長板垣徵四郎追加了千餘兵力前往增援，依舊沒能使國崎支隊擺脫困境。 ——“從二十九日起，國崎支隊受到東、北兩面之敵的反擊，陷於苦戰之中。因支隊的後方聯絡線被切斷，彈藥、糧秣缺乏，而呈現補給完全沒有希望的狀況。由於不斷傷亡，戰鬥力急劇下降。國崎支隊的步兵第四十一、第四十二聯隊，自攻擊沂州以來，沒有補充過兵員，各中隊傷亡累計百分之六十至七十，聯隊實力還達不到一個大隊。”
為了抵抗住日軍在魯南發起的攻勢，李宗仁將樊崧甫的第四十六軍、李延年的第二軍、譚道源的第二十二軍以及安恩溥的第一八二師、吳良琛的第十三師，都加強給了湯恩伯的第二十軍團。這其中，樊崧甫的第四十六軍、李延年的第二軍、吳良琛的第十三師，都是當時中國陸軍中的主力部隊。由此，一九三八年五月初，第五戰區內的中國軍隊，於台兒莊東南方向的邳縣附近，北依禹王山、方頭山、艾山、南北勞溝，重新建立起一條橫向防禦線，以期利用有利地形與日軍進行頑強的陣地戰。日軍逐步增援後，始終未能突破中國軍隊的這條防線，魯南地區戰事由此呈現出膠著狀態。 ——就魯南戰局來講，儘管日軍難以推進，但無論是第五師團還是第十師團，其執行的任務就是“滯留台兒莊一帶的中國軍隊”，並“吸引中國軍隊主力東援”，而這正是日軍徐州會戰第一階段的作戰目標。只是，兩個師團在“滯留”作戰中所付出的代價，竟然比之前攻占任何一處要地時還大，日軍官兵由此認為，環繞著台兒莊的那片地域，無疑是令他們“噩夢叢生的地方”。
與此同時，在徐州戰場的南線，日軍華中派遣軍的兩支先遣隊推進順利：第六師團以坂井德太郎的第十一旅團為基幹組成的坂井支隊，四月二十三日從安徽蕪湖出發，二十四日占領和縣，二十六日占領含山，三十日占領巢縣，五月十一日占領廬州；第一〇一師團以佐藤正三郎的第一〇一旅團為基幹組成的佐藤支隊，四月二十四日從江蘇東台出發，二十六日占領鹽城，二十八日占領新興，五月七日占領阜寧。以上兩個日軍支隊向北推進時，沒有受到中國軍隊的有力阻擊。由此，在徐州主戰場的東南方向，日軍已對中國軍隊的側背形成了威脅。
中國軍隊的將領們——包括蔣介石本人——仍舊認為南線的日軍華中派遣軍僅僅是在冊應北線作戰，對徐州有所圖謀的是日軍華北方面軍。中國方面尚未弄清楚這樣一個現實：儘管日軍的徐州會戰計劃顯示，主攻的是北線的華北方面軍，南線的華中派遣軍為助攻，但是，戰爭全面爆發已十個月，中國方面應該了解，對於日軍陸軍來講作戰沒有誰主誰次的概念。此刻，在徐州戰場上，南北兩線的日軍都認為自己是在主攻。
中國第五戰區將要為偏重北線而忽視南線付出巨大代價。
五月初，日軍終於看到了他們希圖出現的戰場態勢：由於魯南方向第五、第十師團的牽制滯留作戰，中國軍隊的數十萬大軍已雲集徐州附近。於是，日軍從南北兩線開始對徐州實施戰略合圍。
正值淮北大旱時節，許多河流都已斷流，日軍的機械化部隊可以疾速推進。五月四日，集結在鳳陽、蚌埠、懷遠一帶的日軍第三、第九、第十三師團以及配屬的機械化突擊部隊，在大量飛機的掩護下，一部沿著津浦鐵路線西側、主力則沿著渦河西岸開始向北挺進。在渦河一線，中國守軍韋雲淞的第三十一軍因為防線正面過於寬大，被日軍突破後不得不向西退卻。周祖晃的第七軍五月一日才由合肥調至渦河負責防守；同時，還接替了第三十一軍在淝河北岸的部分防務。桂軍官兵工事尚未修好，就遭到日軍炮火的猛烈轟擊。隨後，第七軍在日軍步兵鋒刃一般的強勁衝鋒下棄守潰散。五日，日軍突破了渦河兩岸中國守軍的陣地。第二十一集團軍總司令廖磊急令第四十八軍，在津浦路西側以及渦河西岸，向疾速北進的日軍發動側擊，以減緩日軍強悍的攻擊勢頭。但是，中國軍隊的瞬間側擊，在日軍強大的火力壓制下，根本無法收到任何成效。況且，日軍也沒有與中國軍隊糾纏作戰的意圖，日軍的目標很明確，即完成對徐州的戰略大包圍。廖磊又急令劉汝明的第六十八軍南下增援。劉汝明部五月三日才集結徐州，剛剛歸屬第二十一集團軍指揮，西北軍部隊對增援桂軍作戰並不堅決，部隊才走出徐州以南約五十公里，劉汝明見戰場態勢已不可能令他孤軍南下，為避免被日軍包圍，第六十八軍向西面的渦陽地區緊急收縮了。 ——至此，津浦路南段門戶洞開，北進的日軍華中派遣軍有了直撲徐州的態勢。
廖磊不得不下死令，命賀維珍的第一七三師在蒙城構築起防禦線，以遲滯日軍北進的速度。
乾旱的淮北突然下雨了，道路泥濘，夜晚伸手不見五指。第一七師副師長周元率部向蒙城開進的速度極其緩慢。蒙城是個小縣城，城牆是單薄的土牆，周圍開闊的麥田也不利於守城。中國守軍五月六日晚趕到，倉促修築起簡易工事後，日軍已經迫近。一〇三三團團長凌雲上的部署是：藍權的三營布防東門外附近的村莊，一部在東門內大街構築巷戰工事；李國文的二營主力為團預備隊，控制在北城，一連則在北門外和西北角布防，面向渦河警戒；賈俊優的一營主力布防南門外，並在城外西郊構築阻擊工事；團搜索隊七十餘人，輕機槍兩組十人，步槍和手槍隊各三十人，於渦河北岸向龍坑方向警戒。八日，日軍騎兵先遣隊接近蒙城，遭到一〇三三團搜索隊的襲擊，日軍在短暫的混亂後重新衝擊而來。搜索隊利用麥田作掩護，與日軍對峙到黃昏。這時候，日軍砲兵的氣球升起來了，懸停在蒙城東門的上空，砲兵瞄準方位開始猛烈的砲擊，砲擊之後是步兵的衝鋒。三營守軍抵抗頑強，一直打到天黑，令日軍毫無進展。天亮了，日軍的砲火再次轟擊東門，戰機也飛臨蒙城上空俯衝投彈。這一次向東門發起攻擊的日軍步兵中夾雜著十輛坦克，死守東門外陣地的中國守軍傷亡達二百餘人，最後被迫退入城內。同時，南門外陣地也在苦戰後丟失。至此，蒙城城外陣地全部落入日軍之手，城內的中國守軍陷入重圍。晚上，日軍一面爬城牆，一面向城門襲擊，除了有渦河天然屏障的北門外，蒙城其他三個方向的城門處均徹夜激戰。凌晨時分，日軍開始總攻，火砲、飛機以及直接抵近城牆的輕重火器組成極其猛烈的火網，蒙城的三面落彈如雨，硝煙瀰漫，牆倒屋塌，日軍從東面和南面倒塌的城牆缺口衝進來。關鍵時刻，團長凌雲上親自持重機槍向日軍射擊，終於把從缺口處湧入的日軍堵了回去。日軍整頓後再次發動攻勢，工兵乘坐坦克衝擊中國守軍的工事，然後步兵依舊向殘破的東門猛衝。中國守軍兵力有限，外援無望，眼看著日軍衝入城區，坦克沿著大街橫衝直撞，守軍官兵被分割成碎片。激烈的巷戰中，三營營長藍權陣亡，緊接著副師長周元陣亡。最終，蒙城中國守軍。團官兵幾乎全部犧牲，只有團長凌雲上率十餘名官兵衝出了日軍的重圍。
五月九日，蒙城陷落。
在徐州主戰場的西南方向，日軍也已位於中國軍隊的側後。
李宗仁意識到了形勢的嚴峻。
此刻，北線魯南地區的中國軍隊被日軍第五、第十師團死死牽制著無法解脫，而南線日軍的第三、第九、第十三師團全速北進的目的無疑是對徐州實施包抄。因此，必須在北線日軍急速南下之前，阻滯南線日軍的推進速度，以解徐州被南北合圍之憂。但是，中國軍隊主力之前已大軍雲集北線，此刻讓任何一支部隊南下，不但會遭遇南線日軍的猛烈打擊，且相對於岌岌可危的戰場態勢而言，都已顯得為時過晚。
五月七日，日軍華北方面軍下達徐州會戰作戰命令：
一、第十六師團五月九日從濟寧附近出發，擊敗當面之敵，首先迅速進入碭山、唐寨方面。
二、第十師團扣住當面之敵，隨著作戰的進展，準備向臨城附近轉進。
三、第五師團扣住當面之敵，隨著作戰的進展，準備向徐州東面地區前進。
四、隨著第十六師團的前進，變更警備地區。
北線，魯南戰場完成牽制後，魯西南的日軍開始南下了。
九日，日軍第十六師團從濟寧出發向西挺進，當天渡過了大運河；配屬該師團的第十四師團酒井支隊，於十一日夜佔領鄆城。
南北兩路日軍合圍徐州的戰略意圖已十分明顯。
中國統帥部得到瞭如下確切情報：
據諜知：敵為攻占徐州，其華北方面軍最高指揮官寺內壽一大將、司令官梅津美治郎中將、津浦路方面作戰司令官稔彥王中將、膠濟路方面作戰司令官三毛一夫少將，均已在最前線之臨城指揮作戰。又平漢路方面作戰司令官香月清司中將擬親率第十四師團沿濮縣渡黃河經菏澤到曹縣，與津浦路以西之敵軍相互呼應。又敵華中派遣軍最高指揮官畑俊六大將及司令官岡村寧次中將同在蚌埠設臨時指揮所，親身督戰。
日軍的作戰目的是一舉消滅中國軍隊的主力。
但是，蔣介石的判斷卻出人預料，在日軍對於徐州勢在必得的情形下，他仍舊認為徐州戰場上的日軍是在“自取敗亡”：
查日寇自魯南屢敗驚慌萬狀，近竟放棄晉綏江浙既得地位，僅殘置小部扼守要點苟延殘喘，而調集所有兵力指向隴海東段孤注一擲，以圖幸逞，其總兵力合兩淮魯豫至多不過十五萬，較之我軍使用各該戰場之兵力約為四倍以上之劣勢，且敵之後方處處受我擾襲，補給不便，較之我之後方有良好交通線者，其補給及兵力轉用之難易相去甚遠。目下敵不顧其兵力之不足及戰略態勢之不利，竟敢採取外線包圍作戰，其必遭我軍之各個擊破而自取敗亡殆無疑問。仰望忠勇將士明察彼我熟權利害，鼓舞所部以旺勝企圖心各向任務邁進，擊滅當面之敵以寒寇膽而揚國威為盼。
如果從軍事上看，這封電報上的所有分析都很正確：兵力劣勢的日軍遠離後方，孤軍深入，絕對是在冒軍事上的大不韙。可作為中國軍隊最高統帥的蔣介石應該明白一個嚴酷的現實，那就是日軍之所以敢違軍事常規，以劣勢之兵力包圍如此眾多之師，且不顧後方堅決貿然挺進，也是出於對中國軍隊全面作戰素質的判別。顯然，蔣介石的意圖是：在徐州戰場上，中國軍隊能夠對日軍實施大規模的反包圍，然後聚而殲之。這無疑是蔣介石一個人的自以為是。
身在戰場的李宗仁，已經意識到中國軍隊所處的危境。他認為，如果每一支部隊在戰術和作戰上，都具備完成戰略和戰役所賦予任務的能力和素質，台兒莊血戰勝利後也不會讓戰敗的日軍重新組織起堅固的防線，以至於在魯南戰場上形成僵局，導致中國軍隊的主力被牽制在那裡，而當淮南的日軍開始北進，魯西南的日軍開始南下時，中國軍隊已無法調整戰線分兵主力前去阻擊。
為了落實自己的戰略意圖，蔣介石帶著作戰廳廳長劉斐和軍令次長林蔚等幕僚飛往鄭州。劉斐提醒蔣介石：魯南部隊在運河一帶的防禦，能否保持到主力部隊對日軍實施反包圍作戰的時候，還是一個問題；同時，南線日軍的第一線兵力，蘇北方向不過三千多人，淮北方向不過五千多人，但兩路日軍疾速挺進如入無人之境，因此，南線的中國軍隊能否擊退淮北之敵然後再轉身支持魯南和魯西南作戰，確實很難說。但是，蔣介石堅持他的見解。他生怕李宗仁不貫徹他的意圖，到達鄭州後又聲稱要親自去徐州指揮作戰。 ——“我估計蔣的本意就是自己不想去，否則，他領著我們一道去就是了。”——因此，劉斐表示他和林蔚去就可以了，委員長不必冒這個險。蔣介石馬上說：“你們去同德鄰（李宗仁，字德鄰）說，這個是敵人的大包圍，不趕快想辦法，幾十萬大軍會丟掉的。你們還要向各級將領講明白，要他們貫徹統帥部的命令。只要大家齊心，首先各個擊破淮北、魯西方面的敵人，再對魯南轉移攻勢，勝利是有把握的。”
劉斐和林蔚去了徐州。
蔣介石還不放心，五月十二日，他又以訓令的方式致電李宗仁：
一、國軍決先擊滅淮北及魯西之敵。
二、魯南方面在敵抽調兵力轉用魯西之情況下，除應以有力部隊增強右翼防敵包圍外，須即刻設法抽出三四師兵力位置徐州，為該戰區的預備隊，必要時用蒙城方面之攻勢。
三、魯南方面即決心取守勢，於必要時可依運河逐次抵抗，至不得已時則固守徐州國防工事線，以獲得攻勢方面決勝之時間。
四、總之第五戰區第一任務在擊滅蒙城方面之敵，使全盤態勢有利，否則保有魯南陣地亦屬無益。
希當機立斷，速決實行具報。
此時，南線日軍自蒙城出動，三天之內前行一百六十多公里。第十三師團進至永城，第九師團佔領了百善，擔任第九師團右翼保護的第十八旅團攻占了南坪集。 ——在永城、百善、南坪集以東，徐州已近在百公里之內。而在戰場的正南方向，五月六日才從南京調入的日軍第三師團，在蚌埠與懷遠間集結完畢後，十五日進至宿縣以南的大營集附近。十四日下午，日軍第十三師團編成的快速挺進隊抵達隴海路，炸毀了汪閣東面的鐵橋。而這就意味著：中國第五戰區後方唯一的交通大動脈隴海鐵路被切斷了。
在北線，日軍第十四師團主力，五月十二日在濮城、楊集以南強渡黃河，直逼菏澤城下。菏澤守軍第二十三師師長李必藩決心死守待援。日軍對菏澤發起攻擊，第二十三師官兵奮力抗擊，日軍突破中國守軍的外圍陣地後，菏澤陷入重圍。日軍調來重砲猛烈轟擊城內，第二十三師官兵死傷慘重。最後時刻，第六十七、第六十八旅旅長信心動搖，率部後撤，致使菏澤城防瞬時崩潰，大批日軍湧入城內。第二十三師參謀長黃啟東率殘部在城內與日軍肉搏，寡不敵眾卻誓死不降，最後獨自跳城自殺。李必藩師長身邊僅剩下一個直屬連和幾名隨從副官，直屬連官兵頑強肉搏，殺開一條血路突圍而出。李師長跑到距菏澤五公里的一個名叫曲只集的村莊內，在軍用地圖的空白處寫下了一行字：“誤國之罪，一死尤輕。願我同胞，努力殺賊。”他為自己用人不當致使菏澤失守悔恨不已。 ——李師長在一塊門板上平躺下來，舉起手槍，朝自己的太陽穴扣動了扳機。
北線的另一支日軍，中島今朝吾的第十六師團，十一日主力自鄆城開始南下，擊退了中國守軍第七十四師的阻擊，佔領金鄉和魚台。之後，第十六師團也組織起一支快速支隊，不顧一切地急促南下，於十五日早晨抵達隴海線，炸毀了汪閣東面的三段鐵路後，與華中派遣軍的快速挺進隊會師。
南北兩路日軍在隴海鐵路會師，標誌著日軍對徐州戰場上的中國軍隊的戰略包圍已經合攏。
為加強華北方面軍在徐州會戰中的攻擊力量，日軍大本營從關東軍調來了混成第三旅團和混成第十三旅團，命其十五日到達戰場配屬第二軍。至此，日軍圍殲徐州附近中國軍隊主力並佔領徐州的會戰計劃已經完成大半的任務：以約六個師團部署於徐州以北，以約三個半師團部署於徐州以南，以連續的攻擊行動將中國軍隊吸引滯留於徐州地區，而後以迅猛的迂迴作戰南北對進，切斷隴海鐵路。那麼，對於日軍來說，剩下的任務就是：向包圍圈的中心——徐州發起突擊，以殲滅中國軍隊的主力。
十六日，南線日軍第九師團推進到距徐州咫尺之遙的蕭縣。
同一天，北線日軍第十六師團佔領唐樓，第十師團從沛縣以東南下到距徐州只有六公里的地方。
李宗仁急令從魯南戰場下來的第一三九師前往阻擊。該師在師長李兆瑛的率領下即刻向蕭縣前進，中國守軍進入縣城的當天，蕭縣城外的高地和城關已全部落入日軍之手。為了不讓日軍快速靠近徐州，李宗仁又急令張自忠率第五十九軍、第九十二軍增援第一三九師死守蕭縣。但是，張自忠部受到日軍的猛烈截擊，根本無法靠近蕭縣。蕭縣四面被圍，當日軍步兵由北門衝入縣城時，第一三九師糧彈俱絕，與外界失去了一切聯繫，師旅兩級預備隊均已用盡。守軍官兵一邊肉搏一邊突圍，李師長和