長沙失守，蔣介石為確保衡陽，決定在淥水至衡山地區採取“中間堵、兩邊夾”的戰略手段，將長沙地區之敵，屏障於淥水以北。蔣介石電令第九戰區司令長官薛岳，迅速調整部署，以達成以上戰略目的。蔣介石電令大意為：
一、令第10軍守衛衡陽城。
二、令歐震將軍率第37軍、暫編2軍，在祿水至衡山間沿鐵路線和湘江兩岸正面佔領陣地，堵住南侵之敵。
三、令川軍王陵基第30集團軍所部第72、第58、第26三個軍，和川軍楊森第27集團軍所部第20、第44兩個軍，在湘江東岸由東向西進攻醴陵地區之敵，令王耀武第24集團軍所部第73、第79、第99、第100四個軍，和第4軍一部，在湘江西岸，由西向東攻擊，與東岸川軍形成對擊夾攻之勢，斬斷向南進攻之敵。
由於戰場形勢急變，蔣介石的戰略企圖變成了“畫餅”。
薛岳接到蔣介石電令時，第九戰區仍在執行“各部隊索敵攻擊”命令，實際上是各部隊均處於被敵追踪攻擊狀態，根本無法收攏部隊，組織實施蔣介石的戰略計劃。直到6月23日，薛岳才與各部取得聯繫，下達各自的集結地點和攻擊目標。但這時的戰場形勢已大大變樣，為時已晚了。由於薛岳把第九戰區的殘餘的部隊，集結在湖南與江西交界的一帶，企圖等日軍深入之後，反擊日軍的側後。但是薛岳的這個布陣，卻遭到日軍主力兵團向東旋轉的多路圍攻，因此不但無法發揮側翼包抄日軍的效用，反而讓南方的衡陽陣地，出現兵力支援分配不足的危機。
日軍在攻占長沙的同時，橫山勇對衡陽發動長距離的奔襲突擊，日軍第六八師團（佐久間為人）與一一六師團（岩永汪），沿著湘江東西兩岸，分途包抄衡陽；第六八師團的決死突擊隊，在六月二十六日半夜，攻占了美軍在華最大的空軍基地衡陽機場，得到了日皇親自的傳令嘉獎。直到6月23日，薛岳才與各部取得聯繫，下達各自的集結地點和攻擊目標，但這時的戰場形勢已大大變樣，為時已晚了。
衡陽機場位於衡陽市東郊，湘江東岸的八尺嶺下。由於日軍此次作戰目的之一便是破壞國軍西南的機場體系，而且日軍為掩護部隊達成一號作戰中打通粵漢南段鐵路的目的，其必然要奪取更接近戰線的前進機場，因此衡陽機場就成為兩軍必爭之地，於是戰區將警備機場的暫編五十四師〔欠兩個團〕配屬給第十軍，由第十軍全權指揮。
六月一日，第十軍軍長方先覺與所屬各師師長、參謀人員以及專程趕來的美軍準將賀克一起制訂了衡陽防禦計劃。其中為掩護機場和衡陽東面，在湘江東岸佈置了第一九○師和暫編第五十四師，前者在南，後者在北。然而佈置剛剛開始，十三日，原擔負衡陽城北防禦的新編第十九師奉命調往全州，因此兵力本來就不足的衡陽守軍更加捉襟見肘。方先覺不得不調整了部署，安排如下：
1、軍轄之第一九○師以一營附師戰防砲連在泉溪市耒水河西岸新碼頭建立前進據點，以一部於湖南岸鐵路經湖之西岸、灣塘至蜈蚣橋之線，佔領警戒陣地；主力佔領五馬歸槽、橡皮塘、蓮花塘之線，構成據點陣地，保持重點於右翼。
2、戰區配屬之暫編五十四師一個團以一部於東家灣至何家山之線，佔領警戒陣地；主力佔領馮家衝，沿耒水河左岸至耒水河口之線，構成據點陣地，重點保持於左翼。
國軍打算利用既設陣地，逐次消耗敵軍，達到阻滯敵人快速推進的目的。此外，由於衡陽機場的軍事價值，因此在國軍的預定方案中決定，在最後機場失守前，必須實施徹底的破壞，以免被日軍輕易利用。由於第十軍各部久歷戰陣，因此構築的工事的分佈和技術性都很得要領。在湘江東岸以湘江為依托，構築少量碉堡監視水域，前進據點以各個火力點形成交叉火力網，可以相互支援。這對於以後的戰鬥起到了很大的作用。
敵第11軍團軍團長橫山勇的作戰方案中更是規定：在攻取長沙的同時，即以砲兵、坦克、鐵道部隊快速向南推進，以急襲和強襲手段，迅猛****衡陽地區；要乘中國軍隊尚未部署好之前進攻。
根據這一戰略意圖，中路日軍第一線兵團第68、第116師團，在第二線兵團圍攻長沙城時，便沿長沙東側繼續南下，其意圖好像是為了阻擊從衡陽北上增援長沙的中國軍隊，實際上另有它圖。
當日軍第58、第34師團等部剛攻下長沙，已經過一定休整和補充的第116、第68兩個師團，立即從株洲附近沿湘江兩岸向衡陽推進，其行動之神速令人咂舌，如同平地興起的狂濤向南洶湧卷去。
湘江東岸。敵第68師團在佐久間為人中將指揮下，瘋狂南進。向衡陽挺進的六十八師團主力序列：
六十八師團司令部師團長佐久間為人中將
參謀長原田貞三郎大佐
步兵第五十八旅團太田貞昌少將（欠兩個大隊）
獨立步兵第一一六大隊田部久次郎中佐
獨立步兵第一一七大隊永裡恆彥少佐
橋本支隊支隊長橋本孝一大佐
衡陽守備部隊國軍第10軍戰鬥序列:
軍長方先覺中將(黃埔3期)，軍參謀長孫鳴玉少將(黃埔3期)
所轄三個師:
第三師，師長周慶祥少將(黃埔4期)
第10預備師，師長葛先才少將(黃埔4期)
第190師(為後調師，實際只有一個團)，師長容有略少將(黃埔1期)
協防的暫54師(只有一個團，後兩個營未入城參戰，實際只一個師部加一個營)，師長饒少偉少將(黃埔4期)
當時日本軍隊的一個師團相當於國軍的一個軍。可見實力相差之懸殊。我軍奉命守城，蔣委員長親自打電話給方軍長:要不惜犧牲，堅守衡陽7至10天，我必催外圍各軍迅速合圍，將敵主力聚殲於衡陽城郊地區。 10軍剛參加常得會戰，傷亡慘重，回衡山整補未齊，實際上是有整無補。雖然傷愈官兵陸續歸隊不在少數，卻仍不及編制數之一半，而尤以戰鬥兵缺額最多。特別是第190師為後調師，所謂後調，即將該師現有之兵員全部分撥給第3師和第10預備師，僅保留班長以上之各級軍事幹部和業務技術人員，開到指定地域去接受新兵，加以訓練，期滿歸建。撥兵嘗未完事，戰役就開始了。方軍長只好將該師留下，多一人多一份戰鬥力，故沒有讓第190師離去，乃一同參加衡陽保衛戰。此刻，第190師全師官兵總額才約1200人之譜。
當時最高統帥部當然明白第10軍的兵力狀況，即命令原桂籍之新19師，歸方軍長指揮，參加衡陽守城戰。但到6月13日，在桂系授意下，又改變注意，將該師調回廣西預備守桂林。改派薛岳粵籍之暫54師，配屬第10軍。然而該師只有一個團及師部在衡陽，擔任守衛衡陽機場之警衛勤務。另兩個步兵團在其他地區值勤，始終沒有來衡陽報導。且在6月26日敵人夜襲機場時，暫54師之守備團只是稍與敵接觸，為保存實力，即擅自向南撤走，以至飛機場於一夜之間就被敵佔領。該師在城內只有一個光桿師部和一個營的部隊。故戰前連非戰鬥兵在內，自軍長以下共計一萬七千六百餘人，實際戰鬥兵員不足一萬四千人。
衡陽，第10軍軍部，一派緊張的戰前氣氛。 “方軍長啊！我們又見面啦！你好啊！”蔡汝霖少將與方先覺中將熱烈握手問好。 “哎呀！我說誰呢？原來是蔡將軍，我們的戰區督戰官兼砲兵指揮官大駕光臨，歡迎！歡迎啊！”方先覺軍長大聲寒暄道。 “軍座，你這個長沙守城名將，這次打算如何守衡陽呀？”蔡汝霖關切地問道。 “好漢不提當年勇啊！不瞞你說，這衡陽也不同長沙，一來衡陽除一面臨江外，三面皆為平地，無險可守；二來這衡陽原是不設防城市，連工事都沒有；三是我大軍新敗星散，暫時難以形成合力；四是本軍去年底馳援常德，傷亡重大，嘗未來得及很好的休整補充。看來困難不少呀！”方先覺心裡矛盾重重，雖然一臉的堅毅但卻透著憂鬱與無奈。
“攻城要用砲，這守城也得依賴砲兵。我軍現有砲兵數量及口徑狀態如何？”蔡汝霖更關心自己的專業與本職。 “我軍原有野戰砲營一個，三八式野戰炮12門，已經留給長沙守軍守備長沙啦！軍部野砲營張營長率部去昆明接換美國新的七五式山炮12門，還沒歸建。你是督戰官，又是砲兵出身，請多想點辦法！”方先覺誠懇地說。 “軍座放心，我立即向上峰請求另外再配屬一些砲兵部隊來協助守城！”蔡汝霖儘管如此堅定地表態，但到底有幾分把握他自己心中也是沒底的。
事有湊巧，剛談到砲兵，就有相關砲兵情況報告。一參謀近來報告道：“報告督戰官，據搜索營探報正有砲兵部隊向邵陽方向進發請指示。”“哦，是哪部分的？要他們迅速查明。”蔡汝霖心中大喜道。 “是！”
那參謀不久又近來報告道：“報告督戰官，經查該部為第74軍砲兵營。”“好！知道了。”蔡汝霖轉身跟方先覺說：“軍座，得趕緊派人前去交涉，請將該部留衡參戰。”“張光寬，你速乘汽車前往辦理。一定要想法給留駐下來。”方先覺命令道。 “是！軍座。我立即去辦！”然而，由於指揮系統不同，雖幾經交涉，但終於還是被拒絕。最後只好電報呈請統帥部，轉戰區長官部電令，該部砲兵才抽調一個野戰砲連，從衡陽市郊演碧橋返衡準備參加城防守備。另外，時第46軍新19師原計劃與第10軍協同守城，後又奉令開往廣西全州，準備下一階段抗戰。但其山炮1連留駐衡陽，仍然擔任協同守城任務。看來衡陽保衛戰就只這麼點少得可憐的砲兵部隊了。