眼看劉光世的部隊就要撥歸岳飛了，可是中途又出現了意外。
為什麼會這樣呢？
問題出在張浚身上。
張浚此人一生都力主北伐中原、收復失地，是個強硬的主戰派。但他為人好大喜功，自視甚高，慨然以天下為己任，對於怎麼收復失地、中興朝廷，他有自己的看法。在他看來，岳飛從襄漢上流先取偽齊的北伐屬於奇兵突出，而他的戰略思想是從江淮沿線層層向北推進，堂堂正正地收復失地，屬於正兵北伐。但單就此而言，並不足以破壞這次人事安排，而且，最初他也同意趙構把劉光世的軍隊交給岳飛。
真正讓他坐立不安的是趙構給岳飛的批复，趙構說了：“中興之事，朕一以委卿，除張俊、韓世忠不受節制外，其餘並受卿節制。”
你想想，一旦趙構將中興之事全部都交付給了岳飛，全國軍隊除張俊、韓世忠部外，其餘皆受岳飛節制。那麼岳飛節制的軍隊非但包括劉光世的行營左護軍五萬多餘人，還包括仍為宣撫副使的吳玠行營右護軍七萬餘人、楊沂中殿前司軍的三萬人、侍衛馬軍司和侍衛步軍司軍一萬多人，總計達十七萬多人。
而張浚的職務是都督，本應督領全國諸路軍馬。岳飛“宣撫諸路”，權力急劇膨脹，已經取代了他都督的職位了，那以後的中興大計，還有他張浚什麼事呀？
張浚可受不了這個！
一連痛苦了好幾天，張浚做了個決定：想辦法讓趙構收回成命，阻止岳飛染指劉光世的軍隊。
於是，他就一天到晚在趙構耳朵邊嘀咕些什麼“以合兵為疑”的道理，提醒趙構不要忘記家訓，不要把太多軍隊的指揮權集中在一人身上。並暗示說，有朝一日，岳飛功高蓋世，權傾朝野，事情就不好收拾了。
趙構答應把劉光世的部隊交給岳飛本來就是一時的衝動，早就後悔不迭了。一方面，揚州暴動、苗劉兵變等一系列反面事例給他留下了武人不可輕信、武人權力過大容易威脅到自己政權的印象；另一方面，自宋開朝，就是因為對武人的猜忌太深，才有太祖趙匡胤“杯酒釋兵權”的舉動。所以經不起張浚的攛掇，趙構的思想就動搖了。
的確，趙構又怎知岳飛不會走東晉劉裕的路線？
可是說出的話，潑出的水，要馬上改口，又拉不下面子。
怎麼辦呢？
想來想去，他覺得這種話不好意思跟岳飛當面說，但可以通過發信解決。
於是，他搗鼓了大半日，給岳飛編寫了一封短信（劄子），稱：“淮西合兵的事，還有曲折，之前發給王德等人的《親筆》，必須由朝廷統一安排，等明確由你節制淮西的軍隊了，才能交付。”其中的意思，羞羞答答，欲說還休。短信發出，趙構又委託張浚幫自己擦屁股，去當面做岳飛的思想工作。
張浚拍拍胸脯，這事兒包我身上了。
見了岳飛，張浚裝出一副對之前的事毫不知情的樣子，開始了一場決定南宋國運走勢的談話。 “劉光世提前退休了，現在淮西軍中最有人望的非王德莫屬，我打算讓他擔任軍中的都統制，再安排呂祉為都督府參謀，協助他統領這支軍隊，你覺得如何？”
岳飛一聽，莫名詫異，心裡直犯嘀咕，而張浚又一再催問，只好強打著精神說：“淮西軍中魚龍混雜，大多數是叛亡盜賊出身，彼此關係並不好，個個牛氣哄哄、不可一世，互相拆台的事時有發生，如果節制不好，變亂就在股掌之間。你現在提名王德，要知道，王德之外，淮西軍中還有酈瓊；王德和酈瓊不相上下，現在突然由王德任都統制，酈瓊一定不服，到時恐怕會引起內訌。呂尚書雖是文學通才，但終究不習軍旅，鎮不住兵眾。這件事，我覺得必須慎重，得由大將級別的人來接管，不然，後果不堪設想。”
張浚裝出若有所悟的樣子，點點頭，說：“哦——這麼說來，就由張俊接管好了，你覺得怎麼樣？”
岳飛盯著張浚，不動聲色地答道：“張宣撫的確是出了名的宿將，說起來，他還曾經是我的上司。但現在既然是為國家謀劃大事，我就直言不諱，就事論事，要我說，張宣撫為人暴而寡謀，一直以來都為酈瓊等人所不服，恐怕不是最佳人選。”
“唔——”張浚有些陰陽怪氣，他說：“照你這麼說，那就只能安排楊沂中了。”
岳飛目光如電，反駁道：“楊沂中和王德、酈瓊是同一類人，而且現在的職位、威望都相同，他又怎能駕馭王酈等人！”
張浚再也按捺不住了，憤然起身，冷笑道：“說來說去，你的意思無非就是除你之外，誰也接管不了這支軍隊囉！”
岳飛生來耿直，吃軟不吃硬，早看不慣張浚剛才的惺惺作態了，也“霍”地站起，正色回答道：“剛才都督以軍政問飛，飛只是就事論事，豈是為了自己掌兵權！”言罷，拂袖而去。
在離席的那一刻，岳飛異常清楚，接管劉光世軍隊的期望已成畫餅。
果然，不日，趙構下詔督催岳飛從速返回鄂州軍營，同時也發出明令宣布，劉光世原行營左護軍分為六軍，全部歸都督張浚領導，由都督府的參謀軍事呂祉直接管轄，並且由原任行營左護軍前軍統制的王德擔任提舉訓練諸軍。
政令一出，岳飛萬念俱灰。
第二天，岳飛以守母孝為由，向趙構提交了辭職申請。不等回复，輕車簡從自建康溯江西上，徑往江州廬山東林寺而去。岳飛因為一時氣憤，做出了這樣一個不冷靜的決定，震驚了朝野。
他本人不知道，這一舉動，後果很嚴重，為自己埋下了一顆定時炸彈。也因為這一舉動，他頗受後世的學者專家的譴責和抨擊，說他性情浮浪、行事草率，不懂政治，不知韜晦，小肚雞腸，器淺量窄，易怒易爆，只看眼前利益……
這些批評在一定程度上點出了岳飛的弱點。
但從常理而言，如果岳飛沒有這樣的表現，那就不是岳飛了。
岳飛，是一個普普通通的人，跟我們一樣，食人間煙火，有愛恨情仇，有悲歡喜樂，甚至，因為是個農家子弟，他要比我們很多人單純質樸；因為出身行伍，他的個性剛烈耿直，對是非判斷也易於絕對化；而且少年得志，難免心高氣盛。
史稱他“平日沈默寡言，語不輕發”，是個很安靜、很沉默的人，而一旦看不順眼的人或事，特別是與自己理想、追求相違背的人或事，必“意所欲言，不避禍福”，不妥協、不屈服。
他因為看不慣趙構從應天退揚州、揚州退杭州，越職上書；他因為不能接受王彥“退避敵鋒”的策略，大鬧虎帳，高聲切責；他因為不願跟隨杜充棄走東京，疾呼“中原之地尺寸不可棄”；他因為不能容忍杜充在建康府龜縮避戰，強行闖進杜充的臥室，破口大罵：“金陵失守，相公能複高枕於此乎！”；甚至對恩帥宗澤義授的兵書陣法，因為與自己的看法不同，一點兒面子也不給，以“陣而後戰，兵法之常，運用之妙，存乎一心”的理由將書束之高閣。
因為與收復故土的壯志相悖，他上書“乞將飛母、妻並二子為質，免通泰州鎮撫使”，差點讓趙構下不來台。
紹興四年春將復襄漢，宰相朱勝非好意提醒他，只要旗開得勝，朝廷就授節度使的頭銜。結果他的一句“丞相待我何薄耶”，弄得朱勝非尷尬萬分。
岳飛文武雙全，既有詩人的浪漫情懷，又有英雄的狂傲。
趙構的變卦，在岳飛看來，簡直就是一種開涮、糊弄。
這是岳飛所不能容忍的。
朱熹說：“若論數將之才，則岳飛為勝，然飛亦橫。”又說：“今人率負才，以英雄自恃，以致持氣傲物，不能謹嚴，卒至於敗而已。”
一直以來，受的影響，很多人認為岳飛矢志不渝、盡忠報國的思想是一種“愚忠”，而中國歷史上的愛國主義也總是和忠君扯在一起，國家、王朝和君主三位一體，忠君就是愛國，愛國就必須忠君。
岳飛並非如此。
從靖康奇恥到政權南遷，他經歷了宋朝最痛苦、最黑暗的時期，眼睜睜地看著國家山河破碎、白骨盈野，他對女真的憎恨和收復故土的決心與日俱增。他的愛國精神是在國難當頭時挺身而出、誓死以報，他對君主的態度，雖受忠君道德的束縛，但一旦皇帝表現出與自己的理念不符，岳飛選擇的便是忠於自己的理想及目標，不屈從，不盲從。
岳飛的悲劇其實就是封建時代裡忠君與愛國不能兩全。
與岳飛相似的是，明末袁崇煥連續取得了“寧遠大捷”和“寧錦大捷”的輝煌戰果，卻因不滿皇帝的賞賜和朝內言官告黑狀而憤然辭職。仔細比較起來，就不難發現，兩人的思想境界並不在一個層次上。
岳飛辭職是因為他看透了當局沒有收復中原的心思，理想破滅，壯志成空，懷著滿腔的悲憤和蒼涼黯然離去。願望越迫切，失望了就會越沉重。如果這種事擱在劉光世、張俊一類人身上根本就不算個事——劉光世現在就很坦然地拿自己的軍隊和趙構進行政治交易。
岳飛孤傲、耿直和充滿理想主義的性格注定了他不可能心平氣和地接受趙構的戲弄，他的辭職，是向封建專政和封建強權的一種無聲的抗議。
張浚聽說岳飛撂挑子了，勃然大怒，你當你是誰啊？別以為少了你一個臭雞蛋老子就做不成蛋糕！直接任命自己的親信張宗元為湖北、京西路宣撫判官，前往鄂州掌管岳家軍，同時上奏趙構說：“岳飛處心積慮，專在並兵，辭職求去，意在脅君。”痛斥岳飛要挾朝廷的行為，指責岳飛野心很大。
趙構聽了張浚的話，都要氣炸了，大為震怒。
群臣戰戰兢兢，噤若寒蟬。
過了好一會兒，左司諫陳公輔才弱弱地說：“岳飛不過一介粗人，遇事欠考慮。他的表現雖然有些過激，但之前他要以十萬雄兵橫截金境孤立偽齊的想法也足表其忠義可用。”
趙構強制自己冷靜下來，也深感現在離不開岳飛，於是駁斥回了張浚收回岳飛兵權的計劃，命參議官李若虛、統制官王貴火速趕往江州，敦請岳飛返回鄂州。
王貴和李若虛到了廬山東林寺，一連勸說了五天，均無果。
到了第六天，李若虛改變了策略，不再勸說，改為了切責。他板起面孔，嚴肅地對岳飛說：“宣撫原本不過河北的一個平頭農夫，機緣巧合，得到了天子的恩寵，授予重任，現在朝廷正需用人，才一而再，再而三地請你出山，你倒好，恃寵而驕，堅持不從，是不是要造反？！”
“是不是要造反”這五個字猶如當頭棒喝，震得岳飛耳膜轟轟作響，臉色霎時大變。
李若虛知道事情有了轉機，繼續說：“就算你本意不是造反，但你以這種態度跟朝廷對抗，朝廷又怎能不對你的動機產生懷疑？”
岳飛一擺手，阻止李若虛往下說，臉色蒼白，沮喪地說道：“什麼也不要說了，我聽從安排就是了。”
張宗元到了鄂州，看見岳家軍中將士人如虎，馬如龍，一個個精神抖擻，不由得對岳飛的治軍能力大為嘆服，收到岳飛出山的消息，便興沖沖地回來復命，向趙構盛稱岳飛的統兵能力，稱岳家軍中“將帥輯和，軍旅精銳，人懷忠孝，眾和而勇，皆飛訓養之所致”。
不日，岳飛青衣素服，徑往行在向趙構請罪，上表稱：“臣有擅自請求退休的大罪，敬請陛下明正典刑，以示天下。”
趙構警告道：“你這次的表現也太輕率了，不過，我不怪你，如果我真要怪你，就不會讓你官復原職繼續掌握兵權了，回你的轄區去吧，以後，你務必謹記，本朝太祖說過，'犯吾法者，唯有劍耳'。”
此事雖算圓滿結束，但君臣之間的嫌隙已生，為之後的悲劇埋下了禍根。