7月24日，正當第62軍這支進入第九戰區作戰的第七戰區的粵軍部隊躊躇難前時，接到軍委會蔣委員長電令：“衡陽危急，著第62軍迅速挺進衡陽解圍……”。
此前，由於初來乍到，情況不熟，加上多頭指揮，令62軍將領們左顧右盼，不得要領。這下好了，有了委座的手令，如同有了方向。黃濤軍長立即命令：“全軍向衡陽挺進，即以第151師為前導，以157師為後衛，軍直屬部隊居中的戰鬥序列，經洪橋、白鶴鋪沿湘桂鐵路向衡陽之敵攻擊前進。”
25日，第151師從洪橋出發，以451團沿鐵路正面，以453團在鐵路南側，向白鶴鋪之日軍攻擊。經一晝夜激戰，雖然驅逐了日軍警戒部隊。但白鶴舖有日軍1000人佔領堅固的工事，用鐵軌和枕木構築了許多堡壘，在屋頂上架設機關槍，構成嚴密的火力網。第151師的攻擊部隊難以接近，進展困難，傷亡較大。
戰至26日下午，黃軍長親臨453團前線視察，認為如果要攻下白鶴鋪則必須增加兵力，否則時間會拖得太長，實力損失也會加大；之後還要經過譚子山戰鬥，這樣就不知何時到達衡陽。因此決定改變原正面攻擊計劃，採取迂迴側翼前進，為此，命令：
一、敵人圍攻衡陽甚急，其一部佔領湘桂鐵路距衡陽約35公里之白鶴鋪、距衡陽25公里之譚子山、距衡陽約15公里之三塘及衡陽近郊之東陽鋪、雨母山等等地，企圖阻止我軍前進。
二、本軍奉命挺進衡陽解圍，第151師副師長侯梅率領第469團於26日晚由白地市出發，迂迴白鶴鋪右側，向譚子山之敵發起攻擊前進而佔領之。
三、第157師李師長率領第470團、第471團隨軍部向古山寺前進。
四、第151師第452團於26日晚在第469團後由洪橋出發，迂迴譚子山右側向東陽鋪、雨母山之敵攻擊前進而佔領之。
五、第151師第452團留守洪橋，與白鶴鋪之敵保持接觸。第453團入夜後脫離白鶴鋪之敵由林師長率領隨軍部跟進。
7月26日晚，第157師第469團從湘桂鐵路右側迂迴向譚子山前進。 27日到達譚子山車站附近時，發現日軍在譚子山車站以東活動，立即派出一個連佔領譚子山制高點實施對敵警戒，並架設了有線電話聯繫。上午9時許，日軍約數百人向譚子山制高點陣地進攻。國軍469團團長黃忠漢上校當即以一個營增強譚子山陣地守備。時至中午，得到增援的日軍又向譚子山高地發動猛烈進攻，經過兩小時激烈戰鬥，國軍譚子山陣地失守；守軍退守譚子山西南高地。當日黃昏，黃團長親率1、3兩個營反攻數次，前赴後繼，激戰至深夜11時傷亡官兵300餘人，但仍未能奪回陣地，只好撤退到譚子山西南高地堅守。
當晚，第62軍軍部到達譚子山東南約15公里處。黃濤軍長與侯梅副師長用美式報話器同了話。黃濤囑咐侯梅不要與敵糾纏，爭奪譚子山高地，只要與日軍保持接觸就行。而侯梅則誤聽為譚子山不可丟失，因此，侯梅命令所部傾全力向譚子山之日軍陣地發起強攻，結果損失巨大。黃軍長接報後，當即命令第157師李宏達師長率兵兩團前往增援。
入夜後，第151師師長林偉儔少將率第453團趕到軍部。據報雨母山有數百日軍佔領陣地，雨母山至衡陽道路上還有大批日軍盤踞。林師長深恐第452團兵力單薄，即指揮第452團和第453團星夜兼程，迂迴超越譚子山前進。
衡陽近郊雨母山，標高約有400米，山勢連綿起伏，山峰陡峭。其主峰上有雨母廟一座，供祭著為傳說中施雨救民的雨母娘娘。山上無林木，白天難以接近。
於是，林師長命令以兩個營分兩路進行夜襲。經1小時激戰，終於28日拂曉佔領雨母山。上午，繼續攻擊前進，佔領東陽鋪。日軍憑藉猛烈的砲火掩護，反复爭奪達三次。但均被國軍擊退。
“侯副師長，第157師已經佔領雨母山和東陽鋪，你部不要再在譚子山虛耗實力，浪費時間啦！除留469團監視譚子山當面之敵外，其餘部隊應立即趕到東陽鋪集結待命！”黃濤軍長強壓火氣命令道。第62軍軍部當即推進到距東陽鋪約5公里的古山寺。
29日下午，駐衡陽南郊日軍之第40師團由頭塘向雨母山發動反攻，與國軍發生激戰。時林師長已經率所部到達雨母山右側高地，眼見日軍來勢兇猛，即令第453團增援上去，將日軍擊退。
“命令452團第1營崔直行營長率所部固守雨母山已佔陣地；薛叔達團長率第2、第3兩營向潰退之敵尾追猛進。爭取一鼓作氣突進衡陽！”林偉儔師長果斷地命令。
然而，由於求勝心切，追擊時未派部隊嚴密搜索，進至頭塘時遭到日軍伏擊，接著又遭到湘桂鐵路方面的日軍側面夾擊，國軍部隊尚未展開，即陷入日軍強大的機槍、迫擊砲等火力網。第452團副團長鍾敬敷陣亡，團政治指導員劉大光受傷，該團損失巨大，情勢非常危急。林師長隨即命令第543團從右翼對敵側擊，又以師部搜索連在雨母山右側高地佔領陣地，掩護第452團收容集結隊伍。日軍終於沒能衝擊過來，時至黃昏，戰鬥逐漸沉寂下來。
黃濤軍長率軍部到達雨母山陣地後，立即召集團以上軍官會議，研究敵情，商討下一步行動方案。決定：由第157師470團李上達團長派一個營第151師第452團雨母山陣地。由林師長指揮第452團、第453團及第157師第471團向衡陽火車西站攻擊前進。當晚第151師第451團仍在湘桂路白鶴鋪監視日軍；第157師第469團仍在譚子山與日軍保持接觸。此時決定該兩團除各留一個營監視日軍外，其餘部隊迅速歸建。
7月30日，向衡陽火車西站前進中，452團在左，沿東陽鋪通往衡陽的湘桂公路前進至頭塘附近與日軍遭遇，發生激烈戰鬥，並遭到來自湘桂鐵路方面之日軍側擊，攻勢頓挫，進展緩慢，與敵成膠著狀態。 453團和471團在右，不顧一切向衡陽城郊突擊前進。擊退衡陽南郊之敵後，繼續尾追潰退的日軍，向衡陽火車西站突擊。但不久就遇到日軍400來人的密集反沖鋒，既而又有一股100多日軍和一股數十人的密集側攻，但均被國軍擊退。國軍453團第1、第3營和471團第1營均殺入衡陽火車西站及其附近民宅中。
只見日軍遺屍甚多，其中有不少為日軍軍官。國軍在日軍遺屍上搜獲手槍、軍刀、望遠鏡軍用地圖等戰利品甚多，武器彈藥則難以記數。從日軍日記中發現該敵為日軍第116師團一部。一問當地居民，原來此處為日軍一個聯隊指揮部。日軍進駐後就不讓居民接近。其實不是日軍地116師團，而是日軍的第40師團之第234聯隊。
林師長當即派第453團第1營副營長萬天寶少校率領幾個精幹士兵同衡陽守軍第10軍去取聯繫。在通過一大片稻田時，被對面的日軍守衛部隊阻擊，受傷而歸，未能如願。
當日，黃濤軍長隨即將該軍進展情況電告軍委會。蔣委員長馬上命令空軍前往掩護，並傳令嘉獎：“第62軍迅速挺進衡陽近郊西站，著即傳令嘉獎，盼即再接再厲，以解衡陽之圍……”
此後，從7月31日至8月2日一連三天，第62軍分別在雨母山、頭塘、衡陽火車西站等處與日軍打援部隊第40師團發生劇烈戰鬥。戰況呈白熱化狀態，交戰雙方多處展開白刃格鬥，經過反复肉搏戰爭奪戰。第470團1營營長林志文陣亡，第471團團長丁克堅犧牲，雨母山陣地失守，援軍第62軍損失巨大，遭優勢日軍圍攻，自身難保。
此時，日軍集中所有的攻城砲兵集中火力猛烈砲擊火車西站方面的國軍。中國空軍亦臨空助陣，但只是快快扔完炸彈即急速離開，未能協同步兵作戰。而每當國軍飛機來時則日軍大砲停止射擊，國軍第62軍即發起衝鋒；當國軍飛機一離開，則日軍又發起瘋狂反撲。戰鬥於是成拉鋸狀態。而援軍亦未與城內的第10軍聯繫上，達成配合作戰態勢，以至解圍未成。