湖南地區的農民起義軍蕩平之後，南宋朝廷就可以全心全意對抗北方的金國與偽齊，不必再害怕有人扯後腿。而且因為過程平和，所以沒有對民生經濟造成破壞，從此整個長江水域完全暢通，有助工商農業的發展，朝廷也逐漸穩定下來，政令通達，賦稅充足。
岳家軍除了加入荊湖南路安撫司統制任士安、郝晸、王俊、統領焦元等部約一萬多人之外，再加上江南西路安撫司統制祁超、統領高道等部約八千五百多人，後續又增撥統領丘贇所部的一千五百人；還有將原來擔任張浚都督府左軍統制的杜湛改任為岳飛統轄的黃州武將知州，所帶來的幾千蔡州兵。楊幺軍的壯丁五萬人也大都編入岳家軍，因此岳飛麾下人馬總計大概達到了十萬人。
北伐之前，岳家軍的編製，大致是十位將領，每人帶領三千餘人，總數不過三萬多人；歷經北伐與剿滅楊么兩次大戰，人馬一路迅速擴充，至今大約膨脹了三倍，也就是擴增至三十位將領，每人旗下人馬還是維持三千餘人，總人數約十萬人。在此之後總人數只有微調，不再出現大幅變動。
整個岳家軍分為前軍、中軍、后軍、左軍、右軍、背蒐軍、踏白軍、游奕軍、選鋒軍、勝捷軍、選鋒軍、水軍等十二軍，每軍各設置統制一至三名。
其中的背蒐軍是岳家軍最精銳的部隊，也是韓世忠與岳飛軍中特有的編製。韓世忠與岳飛在軍中發掘特別勇建者，讓他們擔任親隨，稱為背蒐軍。一進入背蒐軍，其他各軍除了統制之外，人人見到他們都要對他行禮，而且犒賞特別多，所以戰鬥力特彆強；若碰到強敵，只要派出背蒐軍就必勝無疑。
岳飛的背蒐軍由他的長子岳雲帶領。岳雲從小力氣就很大，特別喜歡重兵器，所以便送他到霹靂火秦明那裡學藝，學成之後還帶了三位師兄弟一起回來。
四個人的武器正好都是錘，分別是岳雲的擂鼓瓮金錘、何元慶的梅花亮銀錘、傅天亮的倭瓜青銅錘與狄雷的鑌鐵壓油錘，背蒐軍的兄弟們將他們四個合稱為「金銀銅鐵四大鎚」。
南宋成立未滿十年，武將出身的將領，除了吳玠吳璘兄弟獨守川陝，與大家沒有利益衝突之外，大致以劉光世、韓世忠、張俊等三人掌握了最高的軍權；他們互不相服，一直勾心鬥角，猜忌記仇，有時甚至需要高宗或宰相介入安撫協調，否則說不定早就釀成武裝衝突了。
而且他們三人的想法都一樣，一方面想避開湖南楊么這個燙手山芋，一方面想跟皇帝親近一點，所以都把駐地盡量往長江下游移動。大家擠在一個小空間里，衝突當然更容易發生。不過三人心裡都有數，萬一有兩個人鬧翻一定是兩敗俱傷，豈不是便宜了第三人？因此大都會互相收斂，維持著恐怖的平衡。
想不到岳飛連續打了幾個重大的勝仗，不但解決了大家的燙手山芋楊么，居然連金人南侵都不敢捋其虎鬚。因此他職位雖然還沒與三大將平起平坐，但是在聲名方面卻一再升騰，比起三位前輩甚至有過之而無不及。
韓世忠知道岳飛與高宗的關係，也大致意會到高宗是刻意栽培岳飛，而且他本身也受過水滸的恩惠，所以一向把岳飛當成子侄輩看待，對於岳飛的成功基本上是樂見其成。
劉光世從頭到尾都集中精神在經營淮西軍，跟岳飛幾乎沒有任何的利益糾葛與關連。
只有張俊，他回想六年前苗劉兵變時岳飛人都不知道在哪裡，又想到兩三年前岳飛只不過是他手下一個統制，還整天被他指揮著到處去東征西討，實在很難接受他如今居然也是擁有十萬人馬的大將這個事實。
岳飛當然也感受到「人怕出名豬怕肥」的壓力，所以在平定湖南起義軍之後，從眾多戰利品中揀選了兩條車船，附帶著船上原有的作戰人員和攻守用具，分別贈送給韓世忠和張俊。韓世忠收到之後，感到十分高興；張俊卻認為岳飛是故意跟他炫耀戰功，心中反而更增添仇怨之情。
紹興五年十二月，南宋朝廷再度進行全國範圍的軍隊整編，分為「三衙軍」和五大部「行營護軍」。
「三衙軍」跟以前的「禁衛軍」差不多，就是負責護衛皇宮的部隊；由殿前司、馬軍司、步軍司所轄部隊組成。三衙軍是新組建的單位，除了楊沂中統率的殿前司是由原來的神武中軍改編而成，兵力較強之外，由解潛統率的馬軍司部隊只有兩千騎兵，與顏漸統率的步軍司部隊，戰鬥力都不太好。
五大部「行營護軍」，張俊所部為「行營中護軍」，韓世忠所部為「行營前護軍」，岳飛所部為「行營后護軍」，劉光世所部為「行營左護軍」，吳玠所部為「行營右護軍」。五大部之外又將王彥的「八字軍」編為「行營前護副軍」。
行營護軍是南宋的基本軍事力量，與上次整編為神武軍最大的不同，就是岳飛與吳玠的加入；而他們兩人在軍隊中歷練雖然較少，但都擁有赫赫戰功，人數較少，卻以戰鬥力見長。
各軍的防區劃分如下：張俊駐屯建康，韓世忠駐屯承、楚二州，劉光世駐屯太平州，共同擔任著長江中、下游和淮水流域的防務；王彥駐屯荊南，岳飛駐屯鄂州，共同擔任著長江中、上游的防務；吳玠則扼守著四川以至陜、甘的部分地區。
參知政事李邴對高宗說：「陛下即位之初，以韓世忠、劉光世、張俊等三位大將最具威名，如今終於又有吳玠、岳飛等兩位年輕將領嶄露頭角了。」
一語道盡此時南宋軍事力量的分佈狀況。
在五大部「行營護軍」之中，岳飛的「行營后護軍」的名聲最響亮，也最受到人民的愛戴。所以中原以及兩河的豪俠忠義之士，凡是想要効忠於南宋朝廷的人，都把駐屯在鄂州的岳家軍營作為他們投奔的目的地。
自從金人鐵騎攻破太原，佔據河東的大部分地區之後，當地有一些忠義人士，如梁興、趙雲、李進等人便在太原、絳州一帶組織了民兵，稱為「忠義社」；先後收復過懷州、澤州、隆德、平陽等城。後來轉戰到河北境內，八九年內，和金人打過幾百次仗，先後殺死敵方大小頭目三百多人。兩河地區的民眾對這些豪俠人物都很支持，也願意盡量幫助他們。
趙雲屢次狙擊金兵獲勝，金國感到十分頭疼，曾經以平陽府路副總管的軍職向他誘降，被他斷然拒絕。金人進一步殺掉他的父親，又把他母親關進監牢來脅迫他，他仍然沒有降服。紹興四年的十一月，趙雲也投奔到岳飛軍營中來。
梁興抗金的力量與名聲更勝趙雲，一般民眾都親熱地稱他為梁小哥。紹興五年冬，由於挺不住金人鐵騎的掃蕩，梁興和另外幾名忠義社首領率領了上百名驍勇騎士，直奔鄂州的岳家軍營而來。岳飛喜出望外，親自出營迎接，還馬上差遣馬成去報告高宗。
高宗獲知之後也很高興，跟身邊的參知政事沉與求說道：