在紮營駐軍的時候，徐晃還令士兵們必須挖五個灶孔，按當時的情況計算，一口灶煮十人吃的東西。徐晃一萬人馬少說也多挖七八萬口灶。在行軍中，徐晃還令士兵們有意暴露目標，大張旗鼓的吶喊，擊鼓鳴金。
張魯的細作把這些假像匯報回來時，除了張衛一人外，所有人都毫不懷疑。張魯忙令張衛徵調戍守陽平關的士兵去防衛西漢水一帶，張衛勉強應付，只撥了萬餘人去，重兵仍在陽平關一帶。
曹操的主力經幾十天的艱苦行軍，終於到了陽平關前，與夏侯淵的部隊會師。張魯得到這一消息，嚇了一大跳，“曹操軍隊神出鬼沒，說到就到，真叫人難料啊!”張魯由衷感嘆道。接著，這個懦弱的川西統帥心知大勢已去，決定不戰而降。
但是負責守陽平關的張衛與部將楊昂強烈反對，張衛說：“兄長請放心，不要過早說出喪氣的話，否則會動搖我軍的軍心。曹軍雖強，但長途跋涉，糧草難濟，現到了陽平關。也僅是強弩之末不穿魯縞矣，況我部曾與夏侯淵部接觸過，一年來，他也未奪去我寸土半草，實力也不過爾爾。我軍在陽平關築有高大的城牆十餘里，豈是曹軍輕易攻破得了的?”
楊昂附和張衛道：“師君，俗話說'狡兔三窟'。我們在曹操大軍來之前，就作了充分準備。我與戰將們商量好，如曹操叩關而來，我們拼死力戰，師君退居南鄭，籌備糧草接濟我們。如曹操真的破關，師君也可馬上避入巴中，逃脫厄運。何況，曹操與我等孰死孰活，還無定論呢！”
參謀閻圃也贊成這個方案，張魯也鼓起信心，退居南鄭，以便策應自己的部隊。
曹操率軍駐紮在陽平關以外十多里的地方，剛安頓下來，他便率心腹親信察看陽平關的地形去了。
陽平關建在兩座險峻的山峰之間，依山勢建有一條十餘里高大的城牆。曹操看到牆頂插著整齊的軍旗，牆頂每隔幾十步便堆放著大量的棱角尖利的石頭。曹操心裡有了數，認為攻城破關看來是要付出代價的。
曹操親自督戰，令先鋒官夏侯惇派兵進行第一次攻城，以試探對方軍力情況。
夏侯惇這位獨眼將身先士卒，率一萬士兵扛雲梯，衝到城腳，弓弩手用箭射上城頭，掩護衝擊。
當曹軍奮勇爭先沖向城腳時，只見城頭上紅旗一招，十里長城頃刻間立起成千上萬的士兵，舉著石頭，砸向城腳的曹軍。如雨點般的石頭落下去，曹軍有的手腳折碎，有的血污滿面，腦漿迸裂。第一波衝擊受挫，曹操命親兵鳴金收軍，張魯士兵在城牆上看到曹軍潰退，歡聲雷動，而退回的夏侯惇耷拉著腦袋，沮喪至極。
曹操親臨前線目睹此情，他安慰著將士們，自責地說道：“滅武都時，降將都稱張魯的道教士兵作戰力不強，今日親眼見了，才知輕信於人的惡果。看來，不論什麼軍情，都得自己躬身親臨分析，才最可靠啊!”
以後十天內，曹操讓部隊輪番攻城十幾次，進展仍然不大，而自己的軍隊傷亡的人數不斷增加，糧食也逐漸耗盡。
經驗豐富的曹操開始有些緊張了，對戰事的全局掌握也顯得力不從心。他對司馬懿說：“我老了，腦筋也不靈了!”說罷，不勝唏噓傷感。
劉曄考慮到軍隊征戰太久，傷亡、疲勞困擾士兵，軍心也渙散了。尤其是糧食已完，大軍的補給成了第一危機，於是建議曹操撤軍。
曹操左思右想也決定停止用兵。這段時間，最讓他欣慰的是張遼擊退了孫權的進攻，但是，據密報，許都有些士人、貴族正在加緊聯絡，想利用他在隴西之機進行政變，這又成為他的憂慮。他寫了信叫御林軍首領王必加強防範工作之外，也無其他良策。
最後，曹操作出了回師撤軍的決策。他令貼身護衛官許褚，親赴前線召回夏侯惇駐守山上的部隊。由於部隊分散山上各地區，所以集結的行動一直到入夜仍未完成。
曹操見許褚前去很長時間內沒有回來，害怕有意外情況，他喚來劉曄說：
“請你與辛評親自到前線去察看一下，許褚應該早就復命了，我很擔憂……”
劉曄點點頭，與辛評率數十騎快馬，衝入黑夜中，馬蹄聲漸漸隱去。曹操在帳篷裡坐立不安，幾次走出來，翹首以望，盼望部隊早點回來。
其實，劉曄與辛評出發的同時，許褚率隊回來途中經過一個山灣，很偶然地發現了張衛的一個較大的隱蔽著的行營。張衛正在裡面飲酒作樂，哨兵跑來報告：
“將軍，有曹兵來劫寨。”
張衛大驚，推開窩在懷裡的一個嬌豔的女子，伸手之間撞翻了桌子上的酒缽。
他結結巴巴地問道：“曹軍有多少人?”
哨兵回道：“還不清楚，由於天太黑，只能憑曹軍的腳步聲判定是一支人數很多的部隊。”
張衛的這個行營只有很少人知道，他尋思道：“大概陽平關已失守，親信被逮，故叛變我，並把我的行踪告訴了曹操，事不遲疑，先逃為上策。”張衛就率軍向南鄭方向的山區逃跑。
許褚聽前哨報告了這一情況，大喜，揮刀拍馬，沖向張衛的行營，到了那裡，只剩下一片狼藉，空空蕩蕩的營寨不見一個張魯士兵。許褚舍下空寨，率兵窮追不放。
陽平關內的士兵也聽聞張衛逃跑，軍心大動，開小差逃向南鄭的人成群結隊，曹軍乘機拿下了陽平關。
當劉曄與辛評趕到時，曹軍已大部分進入了陽平關內，劉曄高興自不待說，忙修書一封，令親兵火急送給正在翹首以待的曹操。