官數量來限制岳家軍的擴張。但隨著岳家軍不斷打勝仗，隊伍也在不斷擴大，不久即增至84將，大大突破了朝廷的編制限額。因為宋高宗不吭氣，樞密院對此也無可奈何。
軍隊作戰，需要徵糧、籌款、派夫等後勤供應，因此，便要佔有固定的防地，享有便宜處置管內行政、財政的權力。岳家軍因為軍隊龐大，所管轄的州縣比起其他部隊自然要多出好幾倍，而且岳飛戰區隨著戰事推進還在擴充套件。加之幕僚隊伍也在一天天擴大，大批讀書人來到岳家軍，他們為軍隊書寫文書、佈告、奏章，甚至參與政治謀劃和軍事行動。而這正是執政的文官集團最不願看到的。這批讀書人不但在文書佈告上激揚文字，藉機宣洩自己的情緒，而且還處處臧否時政。岳家軍的文告奏疏常常引起朝臣們的強烈不滿，但這些都被岳家軍取得的一系列勝利而掩蓋了。
一開始和岳飛發生衝突的恰恰就是主戰派的重要人物張俊。張俊原為翰林院編修官，因勤王有功，且力主抗金，受到高宗皇帝的信任，遷知樞密院事，相當於今天的軍委秘書長。他指揮全國的抗金軍事行動，直接對皇帝負責。但知樞密院事只是個正二品的文官，而受他指揮的岳飛因軍功赫赫已被皇帝拜為太尉，官居一品。將帥之間的關係便顯得很微妙。紹興七年（1136年）岳飛計劃乘金人廢劉豫之機，合諸將之兵北伐。皇帝親自接見了他，讚許他的計劃，並下詔將王德、酈瓊兩支部隊交由岳飛統一指揮。但張