楊業的英勇善戰，使遼國人不僅怕他，而且敬重他，所以尊稱他為楊無敵。但是，木秀於林，風必摧之，楊業剛剛歸宋，就屢立戰功，使宋朝的一些老將領心生忌恨，他們不斷向宋太宗進讒言，誣陷楊業。那麼，宋太宗會怎樣對待楊業呢？
楊業在戰場上屢立戰功，號稱楊無敵，有同僚心裡不樂意了。你不過一個河東降將，憑什麼老出風頭，受表彰？這幫人就給皇上打小報告，皇上接到這些小報告之後，怎麼處理呢？ 《續資治通鑑長編》卷二十一這麼記載：“主將戍邊者多嫉之，或潛上謗書，斥言其短。上皆不問，封其書付業。”皇上看到這些小報告之後，置之不理，封好了，交給楊業，表示對楊業的信任。你看這麼多人告你，說你河東降將，心懷異志，朕都不問，你拿著這些匿名信，朕信任你。楊業接到皇帝封給他的謗書，感激涕零。這裡看得出皇上手段非常高，一方面表示，愛卿，我很相信你，你看，所有的謗書我都給你了；暗一層意思，不知道楊業看出來沒有，小子，你一舉一動有人盯著，給我小心點兒，我現在是不問，想問的時候就可以問。你怎麼知道皇上給你的謗書有沒有副本啊？不過這樣一來，楊業在戰場上更賣命了，直到最後把命賣進去。
上文說到，宋軍三路北伐，中、東兩路失敗了，西路軍當時已經佔了幽雲十六州中云州、應州、寰州、朔州四州之地，都在今天的山西。這時，遼軍主力回師西線，朝廷一看，三路大軍已經折了兩路了，別西路軍再玩個全軍覆沒，急令前線迅速退兵。但是，退兵可以，為了使中原華夏子民不陷於夷虜，朝廷要求掩護四州百姓撤入關內。這四個州咱不要了，但得把老百姓帶回來。這個任務可太難完成了，遼軍都是騎兵，來如迅雷，去如閃電，宋軍的步兵自己能不被遼國人咬上就不錯了，還要帶上老百姓。老百姓不能空手跟大軍走，所有過日子的傢伙什兒都得拿著，那行軍可就要變成烏龜爬了。這個兩難的問題擺在了西路軍統帥們的面前。
當時，西路軍的主帥是潘美。潘美這個人不得了，跟宋太宗是兒女親家，平荊湖、滅南漢，潘美都是主帥，不像小說裡寫得那麼不堪，而是一員名將。監軍叫王侁，副將就是楊業。幾個人湊在一塊兒開會，怎麼辦？朝廷交給的這個任務怎麼完成？楊業出主意說，現在大軍應該自代州北上，先送密信給雲州、朔州守將，大軍到達雲州的時候，雲州百姓出發。然後我軍從朔州到寰州，我軍到寰州，遼軍主力必來應戰，這個時候朔州百姓再出發，這樣可次第掩護。別一窩蜂全出來，幾個州隔著那麼老遠，首尾不能相顧，大軍得兵分四路去救百姓。一個州一個州來，然後我軍在前線跟敵人決戰的時候，三州百姓可以保全。我們到二號州，一號州百姓出發，我們到三號州，二號州百姓出發，我們到四號州，三號州百姓出發，朝廷讓我們保全四州，最起碼三州百姓我能保全，我們完成了四分之三的任務，就可以了。然後埋伏一千弓弩手，當我軍撤回來的時候，強弓硬弩，打退遼國騎兵，這活兒就乾完了。諸君意下如何？潘美沉吟不語，監軍王侁堅決反對，這哪兒成啊？朝廷讓我們把四個州的百姓全帶回來，您帶回來三個州的？要么勝利，要么失敗，沒聽說過百分之七十五的勝利，咱們沒法跟朝廷交差。所以這個時候，必須大軍北上，直撲寰州，與敵決一死戰。楊業說，現在天時地利人和，都不利於我，如果這樣做，必敗無疑。
監軍王侁看了楊業一眼，說了一句讓楊業接受不了的話，一個重磅炸彈扔了過去，他說：“君侯素號'無敵'，今見敵逗撓不戰，得非有他志乎？”（《宋史楊業傳》）你不是號稱楊無敵嗎？現在擁兵數万，不敢與敵一戰，莫非有他志乎？你忘了你什麼出身了，你河東降將，勢窮來投，現在看到我軍不利，莫非你另有打算嗎？楊業一聽這話，當即表示：“業非避死，蓋時有未利，徒令殺傷士卒而功不立。今君責業以不死，當為諸公先。”（《宋史楊業傳》）我不是怕死，但是現在打仗，天時地利人和都不在咱們這兒，白白死傷士卒，不能成功，既然你們懷疑我的話，好吧，我死給你們看，我願意領兵打先鋒。聽了王侁夾槍帶棒的這一番話，楊業準備以死來明誌了。