紹興元年七月，宋廷將嶽家軍的軍號定名為神武右副軍，任命嶽飛為統製，駐屯洪州。
十月，宋廷授嶽飛親衛大夫、建州觀察使。
十一月，嶽家軍改號神武副軍，嶽飛升為都統製。
紹興二年正月，為剿除兩湖一帶的遊寇，宋廷任命嶽飛為權知潭州兼權荊湖東路安撫使、馬步軍都總管。
三月十七日，嶽飛率軍由洪州出發，前往討伐侵擾湖南、廣南諸州的曹成。
嶽飛向曹成曉諭宋廷意旨，望其投降，曹成執意不降。
嶽飛便繼續進軍，經郴州、桂陽監，直抵道州。
四月，嶽飛派前軍統製張憲和吳錫取道全州，往西南進軍桂州，解除了曹成軍對桂州的包圍。
曹成軍戰敗南逃，退守荔浦縣東北的莫邪關。
嶽飛命張憲攻關，正當嶽家軍攻破關廂慶功之時，卻遭曹成部將楊再興反撲，嶽家軍第五將正將韓順夫被殺，入關官軍被迫後撤。
楊再興驍勇非常，連戰嶽家軍統製王經、張憲等三將，並殺死了嶽飛的胞弟嶽翻。
閏四月，嶽家軍進入賀州，曹成在太平場布陣數十裡抗拒。
嶽飛故意向曹成麾下探子透露軍糧將儘準備撤軍的假情報，吸引曹成前來追擊。嶽家軍遂乘夜間進軍太平場，攻破了曹成營寨。
六日，嶽飛又以八千人大敗曹成三萬餘人，曹成逃往桂嶺縣。
曹成派都統領王淵占據北藏嶺、上梧關和蓬嶺，憑險據守。
嶽飛率軍猛攻，突破了三道防線，曹成敗走。
嶽飛儘據其寨，繳獲其刀槍、金鼓、旗幟等物。楊再興被張憲所部生擒，楊再興說。
“我是好漢，當執我見嶽飛。”
嶽飛拋下斬將殺弟之仇，親解楊再興之縛，並說道。
“我與爾是鄉人，汝好漢也，吾不殺汝，當以忠義報國家！”
楊再興遂誠心歸降。
凡被曹成裹脅的當地良民，嶽飛皆令遣返田裡，又先後招降其眾兩萬餘人。
曹成四處逃竄，最終向韓世忠投降。
六月，嶽飛因平遊寇之功授中衛大夫、武安軍承宣使。
嶽家軍屯兵江州，守衛長江中遊。
嶽飛在先後平定了遊寇李成、張用、曹成和吉州、虔州的叛亂後，於紹興三年九月到臨安覲見宋高宗趙構。
趙構賜給嶽飛鎧甲、弓箭等物，及禦書“精忠嶽飛”錦旗一麵，作為軍中張掛的大纛。
覲見時，趙構還就嶽飛在洪州時曾於醉後痛毆兵馬鈐轄趙秉淵一事，麵諭嶽飛戒酒，嶽飛自此絕飲。
同月，宋廷授嶽飛鎮南軍承宣使，除江南西路舒、蘄州製置使。
嶽家軍改號神武後軍，嶽飛為統製。
隨後，牛皋、董先、李道等所部也被撥歸嶽家軍，嶽家軍兵力得到擴充，達到兩萬多人的規模。
紹興四年春，嶽飛上《乞複襄陽劄子》，提出收複陷於偽齊政權的襄漢六郡的主張，並說。
“恢複中原，此為基本。”
嶽飛的提議得到朝中宰執朱勝非、趙鼎的支持，宋廷最終決定由嶽家軍出兵收複襄漢，劉光世軍增援。
於三月十三日正式任命嶽飛為荊湖北路前沿統帥，在他的製置使官職上添入“兼製置荊南、鄂、嶽”的加銜。
但趙構又特彆規定嶽家軍不得稱“提兵北伐或言收複汴京”，隻以收複六郡為限，否則“雖立奇功，必加爾罰”。