紹興二年（1132年）十月，趙構將兩個牛人轉調入岳家軍。
第一個牛人姓牛，名皋，字伯遠，汝州魯山（今河南魯山縣）人，比岳飛整整大了十六歲，屬於岳飛的長輩行列。
金人南侵之初，牛皋只是軍中一名普通的弓箭手，作戰勇敢，累有戰功。西道總管翟興慧眼識珠，將他補為保義郎。
杜充任東京留守期間，牛皋奉命在魯山一帶討伐巨賊“沒角牛”楊進：三戰三捷。牛皋因此累遷為榮州刺史、中軍統領。
金人兩次南下，牛皋在京西進行伏擊，“十餘戰皆捷”，後升為果州團練使。
建炎四年（1130年），金人西路軍攻下江西，由荊門北返，牛皋先後在寶豐縣的宋村和鄧家橋邀戰，皆勝，轉為蔡唐州信陽軍鎮撫使、知蔡州，封親衛大夫。
第二個牛人姓董，名先，字覺民，洛陽人。
他也是投軍在翟興帳下，“與金人戰，勇功為多”，被翟興提為京西製置使前軍統制，“每戰，冒矢石為諸軍先”，是戰場上勇冠三軍的急先鋒。
紹興元年（1131年），金兵大舉攻取商州（今陝西商縣），董先率軍迎戰，九戰九捷，一直將金兵追到試劍關。
這是兩員不可多得的猛將。
趙構為什麼心血來潮地將這兩人調入岳家軍呢？
原來，劉豫的“大齊”政府借助金人的勢力，割據了中原的廣大地盤，向南擴張，已侵占了襄陽府、鄧州（今河南鄧州市）、隨州（今湖北隨州市）、唐州（今河南唐河縣）、郢州（今湖北鍾祥市）等州府，讓南宋朝廷驚恐不安。
其中的襄陽府屬於長江中游地區，西連川陝，東接吳越。單單襄陽府的失陷就意味著南宋的長江防線出現了一個巨大缺口，不但丟掉了通向川陝的路線，而且行都臨安也暴露在偽齊軍的兵鋒之下。
而最讓趙構抓狂的是，這節骨眼兒上，盤踞在洞庭湖一帶的楊麼叛軍又和劉豫關係曖昧，勾肩搭背，暗中約定來年麥熟，兩軍實施南北夾擊，一舉滅亡南宋政權。
唉，樹欲靜而風不止，是該採取點兒措施了。
趙構忍無可忍，決定收復襄陽六郡，給劉豫點兒顏色看看。
那麼，由誰統兵和偽齊開戰呢？
趙構第一個想到的就是岳飛。
岳飛接連打敗和剿滅了李成、戚方、曹成幾支盜賊，官至正四品的鎮南軍承宣使，威名遠揚，震懾敵膽。
而這年（即紹興二年，1132年）七月，原蘄、黃鎮撫使孔彥舟經受不起偽齊的引誘，率團入降。趙構又讓岳飛兼任了江南西路舒、蘄州制置使，負責江南西路、舒、蘄州制置使的差遣。同時，又將駐守蘄州（今湖北蘄春縣）的統制李山，屯紮江州的統制傅選兩支部隊併入岳家軍。而岳家軍的軍號由神武副軍升格為神武后軍，岳飛由都統制改任統制，和駐紮在上游的王燮，駐紮在下游的韓世忠、劉光世，駐守沿江的四個重鎮。
牛皋和董先都是從偽齊統治區殺回來的愛國將領，對那兒的地形地貌和作戰態勢相對比較熟悉，趙構既然有意讓岳飛主持北伐，將他們調入岳家軍就在情理之中了。
這年十二月，牛皋、董先正式到岳家軍報到，聽從岳飛節制。
除了將牛皋、董先撥歸岳家軍統屬外，趙構考慮到岳飛任江南西路、舒、蘄州制置使，全面負責淮南西路舒州和蘄州的防務，兵力嚴重不足，便再命江南西路兵馬鈐趙秉淵將駐守在洪州（今江西南昌市）的一萬多兵馬併入岳家軍。
可惜在兩年前的一次宴會上，“飛因飲酒大醉，毆擊秉淵幾死”，趙秉淵心存芥蒂，死活不肯交割軍隊，並託人轉告劉光世，讓劉光世出面向趙構提出申請，將他的兵馬改隸劉光世。
這已經是岳飛第二次酒後傷人了，性質惡劣，後果嚴重。岳飛也因此想起母親曾經的告誡，懊悔萬分。是你自己酒性不好，我幫不了你啦——趙構專門下了一道詔書，“戒飛飲酒”。岳飛無言，從此徹底與酒絕緣。
岳家軍由神武副軍升格為神武后軍，軍中的許多將佐就跟著沾光，獲得了不同程度的升遷。其中王貴任中軍統制、提舉一行事務；張憲任前軍統制、同提舉一行事務。兩人儼然成了岳飛的左膀右臂，必要時，他們還代替岳飛全權行使軍務，指揮其他統製作戰。
張憲、王貴、徐慶、牛皋和董先均是獨當一面的人物，堪稱岳家軍中的五虎將。此外，還有楊再興、李山、傅選、王萬、岳亨、姚政、李寶（南宋中期名將）、畢進（南宋中期名將畢再遇之父）、孟林（南宋中後期名將孟珙之祖）等一大批能征善戰之士。
有宋一代，重文輕武，岳飛在軍務之暇，經常以儒裝示人，他並不是在刻意附庸風雅，而是以此來延攬文士，史稱其：“敬賢禮士，食客所至常滿，一時名人傑士多歸之。”
因為岳飛的志向、追求、品質和富於吸引力的人格魅力，他的身邊也集結起了一大群有學識、有才幹、有氣節的文士。
嚴州桐廬縣人朱夢說，是個飽學之士。早在政和五年，他就警覺到了北宋的種種亡國之兆，不斷給執政的趙佶上書言事，痛陳時弊，惹得蔡京、童貫一夥奸人恚恨不已，將他抓了起來，發往池州。趙恆在火線中即位，聽說了朱夢說的忠義之名，特意召了他回來。靖康元年（1126年），東京失陷，朱夢說寧死不屈，積極組織民眾救亡抗金，直至戰敗，流落到了南方，累遷泰州軍事推官。岳飛敬仰他的為人，多次邀請，安排他在軍中當制置司幹辦公事。兩人誌同道合，相得益彰。
溫州永嘉縣人薛弼，進士出身，遇事多謀善斷。靖康初年，金人入侵，李綱進言要堅守東京，當時有很多人持反對意見，但薛弼卻堅決擁護和支持李綱的主張。他在刑部侍郎兼河防宋伯友手下任點檢糧草官，負責籌備糧食、軍需等後勤事務，“為計畫甚切”，是個極其優秀的參謀型人才。岳飛將他招攬到岳家軍擔任荊湖南路的轉運判官，全面負責軍中錢糧供應。
蘇州人黃縱，精於軍事，負有天機神算，因為他的父親黃策被趙佶定性為“元符奸黨”，黃縱終生不得參加科舉。趙構南遷後，黃縱借向朝廷獻言之機，獻上十冊自己對兵法的研究心得，轟動一時。
岳飛通過奇士趙九齡的穿針引線，費盡周折，終於把黃縱納入自己軍中，堪稱當時軍界裡的一段佳話。荊湖南路制置大使席益曾向岳飛致賀，大贊黃縱，說他在後省審閱兩千多份關於兵書的討論文章，沒有一份比得上黃縱的精闢獨到。
可以說，黃縱是岳飛的良師諍友，岳飛每臨機制敵，“軍事必與謀之”。黃縱感激岳飛的知遇之恩，知無不言，也正因如此，岳飛經常叮囑黃縱：“如果岳飛有過失，你務必給我直接指出。”二人的關係，遠遠超出了主從關係。
此外，還有李若虛、高穎、王良存、夏珙、李啟、黨尚友、張節夫、於鵬、孫革、侯邦、智浹、王大節等。
侯邦原在荊南府制置使王燮手下統制官郝晸家中當門客，是黃縱早年一起交遊的朋友，很有才幹，經黃縱舉薦，岳飛專門派人前去接侯邦。郝晸覺得岳飛在挖自己牆腳，殺心頓起，命人將侯邦抓起來，準備殺掉。
岳飛大怒，拍案而起，說：“郝晸算什麼東西？敢妄殺讀書人！”（“郝晸何人，敢殺士人！”）警告郝晸立即將侯邦恭恭敬敬地送來，如少了一根毫毛，吃不了兜著走。郝晸沒想到岳飛對一介文士如此重視，只好乖乖將侯邦送來。
夏珙和李啟是經濟型人才，夏珙先是擔任荊湖北路的轉遠判官，籌劃岳家軍的錢糧供給，後由岳飛保奏升遷為轉遠副使，負責岳家軍的開支用度。李啟善於理財，擔任軍中回易官，經營公使、激賞、備邊、回易、關引、典庫、房錢、營田等處，平日布衣草鞋，遇事躬親操勞。
王大節原是四川名嘴，有辯才，喜怒不形於色，是個極其優秀的間諜。多次混入敵軍陣營中搞情報。岳家軍打仗時能知己知彼，其可謂居功至偉。
李若虛是河北西路洺州曲周縣（今河北曲周縣）人，他有一個英雄的弟弟——靖康之難中以死難聞名的李若水。
胡閎休是開封人，上馬能提槍，下馬能提筆，著有兵書二卷，能文能武，是個不可多得的全能型人才。
……
總之，這些人中，既有望門名士，也有庶門隱士；既有科舉出身的官員，也有寒微布衣之士。岳飛不拘一格，唯才是用，和他們“商論古今，互相究詰，切直無所違忤”。岳飛器重幕僚，幕僚也盡心盡力，為知己者用，乃至以效死力。岳家軍中，主賓情投意合，將帥上下相得。無怪史稱岳飛“欲有所舉，盡召諸位統制與謀，謀定而後戰，故有勝而無敗，猝遇敵不動，故敵為之語曰：'撼山易，撼岳家軍難'”。
這時候的岳家軍，陣容強大，配置合理。將帥上下一心，為抗擊金人，收復河山，蓄勢待發。