葛先才費盡口舌，終於說動方先覺同意收縮兵力，准許第190師撤離江東岸。
此時已是深夜二十二點，葛立即電話告知190師潘質副師長：“老弟，難題解決，開始撤離東岸行動！按原計劃儘速執行，爭取在拂曉前撤離完畢。我轉告第3師周師長幾砲兵營張營長，必要時，你們直接與第3師江防部隊和砲兵營聯繫。”
“明白！我即與他們聯繫。多謝你老兄，到時我們師長請你喝酒！”潘副師長說。
“你還是先安排撤離的事，特別是步炮協同的事。酒先給我留著！”
潘質十分明白，此次撤離成功與否，行動突然性和步炮協同非常重要。備戰期間，砲兵已將城區四周射擊各點測量計算好了，當步兵要求炮火支援時，只需告知地區位置及砲擊起止時間即可。砲兵很快就能調整好砲位發射。如彈著點有偏差，步兵陣地上有砲兵觀測所，可立即通知砲兵陣地修正，既可避免誤擊，又可讓砲兵發揮最佳火力覆蓋效果。
經過周密的部署，凌晨一時，在潘副師長通知砲兵支援的同時，容有略師長沉穩地下達了撤離命令。
只見信號彈嘶的一聲劃破夜幕，西岸的軍屬山砲營一陣急促的齊射，呼嘯的砲彈帶著耀眼的光亮越過湘江砸到敵軍陣地上；我步兵也同時向敵人猛烈開火，然後迅速脫離敵軍，湘江岸邊急進。
日本軍不知就裡，一時搞不清國軍的意圖，還以為中國軍對又發起了對機場新的反攻。手忙腳亂，好一陣才穩住陣腳，慌忙組織防禦。
就在日軍查明情況時，容有略師長已率領第190師師部渡過了湘江，很快與第3師周師長見面，按軍部命令全面接管了第3師移交的陣地的指揮權。
隨後，第190師各部隊一批接一批順利渡過了湘江，在西岸師部派出的參謀人員的帶領下，迅速開到預定地區，一一接替了原第3師草橋、石鼓嘴至江防一線的防禦陣地。
等日軍明白過來，趕緊派兵追擊加大砲攔截。無奈為時已晚。
這次成功撤離江東岸，兩艘渡輪的船長和船員功不可沒。他們不講價錢，不顧危險，加大馬力，來回不停地行駛，船行快速而穩定，未出一點差錯，有力的保障了部隊按時勝利渡江。
就在我軍掩護部隊最後上船開渡時，週船長被追擊過來的日軍射穿左耳，當即血流如注。擔任掩護部隊指揮的2營營長張裡桂少校命令道：“快，快扶船長進船艙休息！”
“不要管我，立即開船，加速前進！”週船長朗聲道：“想想那些不惜犧牲、浴血疆場的將士們，我流這點血算什麼？拼上這條老命也要將東岸的國軍全部安全運送過江！”好一條湖南漢子，毫不畏懼，騾子般憨厚、倔強而勇敢。
此後不久，暫54師饒少偉師長也按令，率該師師部和一個營的兵力順利地渡過了湘江，接替第190師的部分江防陣地。
戰至6月26日晨，為收縮兵力，保持戰力，我軍在江東岸的陣地全部放棄。中美聯合空軍的重要基地衡陽飛機場和“扼兩廣、鎖荊吳”、粵漢鐵路中途最大的交通樞紐——衡陽火車站為敵佔領。
為此，中美聯合空軍司令官陳納德將軍氣得大發雷霆，好幾頓沒吃好飯。
國府蔣委員長更是受到來自史迪威的攻擊，說國府腐敗，蔣指揮失當，國軍不堪一擊，建議美國總統羅斯福將支持的重點放到印緬戰場，迫使蔣將近10個師的全新美式裝備的國軍精銳部隊組成遠征軍開赴印緬戰場，配合駐印軍，幫助英美聯軍收復印緬。為了不得罪美國，為了早日打通滇緬公路、修通印緬公路，蔣不得不委曲求全，滿足了史的要求。但對美國要蔣交出全部華軍的指揮權的無理要求卻加以拖延惋拒。
史迪威則得寸進尺，甚至要美國棄蔣而扶持其他巨頭替蔣而代之；還建議扶持中共部隊，以拖住在華的數十万精銳的日本陸軍部隊，減輕美軍在太平洋戰場上的壓力。但客觀上結果是造成了國軍指揮上的混亂和無序，各個派系互相猜忌，只顧保存實力，觀望不前，救援不力沒有像前三次長沙會戰一樣同仇敵概，密切配合，奮勇殺敵，達成打敗敵軍之空前團結。而美駐昆明、成都等地的空軍也因此袖手旁觀，未能給第10軍以有力的空中支援和對日軍自武漢、長沙而至衡陽的漫長補給線予以有效的空中打擊。
蔣史矛盾日趨激化。這對日後的衡陽保衛戰產生了無形的壓力。蔣希望第10軍打出戰力，打出水平，打出國威，打出新的希望，向盟國證明華軍是能打善戰的。第10軍打得越好，蔣在盟國面前越有面子，也越有話語權。所以蔣委員長多次打電話給方先覺探鬥志，打氣助威。而校長的這位學生開始確實給足了面子，只可惜命運不濟，終至虎頭蛇尾，力竭而棄戰。雖然情有可原，但實在是功敗垂成啊！這是後話。
這時，日軍的第六十八師團、第一一六師團和獨立步兵第五旅團已完成對衡陽的包圍。除各師、旅團直屬的砲兵大隊外，還配屬第一二二獨立砲兵聯隊，共計約55000人。
此前，日軍與華軍交戰，一般一個師團對華軍三到四個軍；現在以將近三個師團並附有大量砲兵、坦克和空軍支援的強大兵力，對付殘破不全、裝備不濟的、只有17600餘人的華軍一個第10軍，豈不是綽綽有餘，攻取衡陽有如探囊取物，甕中捉鱉，只在一日之間矣。
想到這裡，日軍第11軍指揮官橫山勇司令官自然顯得志在必得，輕鬆而得意。
6月26日清晨，就在第190師安全撤回西岸的同時，橫山勇下達了攻擊衡陽城的命令。一時間，照明彈、信號彈照徹夜空，大砲呼嘯轟鳴，槍聲猶如大年三十夜的鞭炮聲密集而連綿不斷，迫擊砲彈、手榴彈的爆炸聲震耳欲聾，兩軍的殊死搏殺正式揭開序幕。