兩軍交戰，形勢瞬息萬變。由於高遵裕忙著處理劉昌祚，而貽誤了攻打靈州的最佳戰機。如果再想攻打靈州城，可就沒那麼容易了……
首先夏軍已經開始回防了，城裡已經不光只有和尚、老道，也有士兵了。其次，宋軍輕騎突進，糧草都沒帶夠，就更別提攻城器械了。宋軍原本想的是我軍一攻進夏境，夏軍主力迎擊，野戰殲滅了夏軍主力之後，再去攻城略地。沒想到找不著夏軍主力，所有的城門都大開著，歡迎歡迎熱烈歡迎，全都如此，以至於我軍沒攻過城，一路兵不血刃接收地盤。到這兒才發現，要攻城了，連雲梯都沒有。
怎麼攻啊？高國舅下令現砍現做，把靈州周圍的樹砍了，製成雲梯攻城。士兵四處偵察了一番，啟禀國舅，周圍的樹可能都沒有我們胳膊粗，您去看看吧，此地臨近沙漠，水源奇缺，種樹也長不高，砍完也沒用。這些樹甭說士兵往上爬了，五歲孩子一踩就折了，您看怎麼辦？高國舅也無可奈何。既然沒有攻城器械，那就勸降吧。城裡沒幾個人，也許喊兩嗓子就投降了。於是高國舅派人到城底下喊，王師所至，爾等竟敢抵抗，還不投降嗎？你看我們十幾萬大軍，你城裡就這麼點兒人，還想頑抗嗎？城裡的人有意思，上來一個老和尚，慈眉善目，一派仙風道骨。和尚先是一嗓子阿彌陀佛，然後說我是夏國人，沒叛變宋朝，我也沒跟你們交戰，你們來打我，老僧我並沒去進攻你吧？我一沒叛變，二沒跟你交戰，我為啥要投降呢？阿彌陀佛。宋軍聽完，哭笑不得。
劉昌祚和高遵裕束手無策。高國舅一看，既然砍樹不成，那就讓士兵們都出去背土，十多萬大軍，甭管原來是步兵、騎兵，現在全改行幹工兵，背土壘牆，等壘到跟靈州城牆一邊高的時候，咱們就可以發動進攻了。於是宋軍士兵紛紛下馬，刀槍甲胄全都放下，都去背土壘牆。問題是壘牆也沒有工具啊，壘牆得把土夯實了，沒有樁子怎麼夯土？就這麼折騰了十八天，大軍困於靈州城下。梁太后在御前軍事會議問計的時候，老將就建議囤積大兵在靈州、夏州準備反擊，梁太后依照此計調撥兵馬，此時夏軍主力已經在靈州、夏州雲集。一看宋軍壘牆，梁太后下令掘開黃河七星渠，以水代兵。大水咆哮著沖向宋軍，宋軍沒做好思想準備，土牆讓河水一沖，立刻就垮了。兩路大軍十多萬人馬，最後僅剩一萬三千多人。有些宋軍士兵為了躲水，竟然投奔到靈州城內。請開開城門，我要投降，我就是剛才勸你們投降的那個人，現在我降了，我用實際行動證明我錯了。
高遵裕打馬就跑，我是皇上的舅舅，我不能死啊！他告訴劉昌祚，你可是被免職的，戴罪立功，你殿後吧。劉昌祚邊戰邊退，傷亡慘重，一直退到了陝西渭州，才站穩了腳，這兩路大軍算是完全失敗了。李憲那路也早已經敗了。種諤的大軍行至夏州，軍糧供應不上，三軍無食，號泣不行。當兵的餓得躺在地上哭，豎起招兵旗，自有吃糧人。你豎旗，我吃糧，天經地義，現在你不給我糧吃，我憑什麼給你玩兒命啊？再加上遇上暴風雪，九萬多人還剩三萬，根本無力再戰，只好也狼狽撤回。王中正王大公公一看，四路都垮了，就剩我一路了？得，二話甭說，咱們收兵吧，也就撤了。