在同時代的文臣武將中，岳飛相當清廉。除了來自朝廷的俸祿、賞賜之外，他家田產的年收入在一萬石上下，是張俊的一個零頭；大約也遠遠低於韓世忠、劉光世等人。宰相秦檜死後，號稱家道衰落，尚且每年有地租收入五萬石以上。由於長期鎮守荊襄地區，岳飛的家安置在廬山，沒有放在臨安。
岳飛不貪財，不好色，不喜物質享受，川陝大軍統帥吳玠特別敬重岳飛，曾經送給他一位有名的美女做姬妾，岳飛說：現在不是大將享樂的時候。又給退了回去。結果，兩人的關係反倒更好了。和韓世忠一樣，凡有朝廷賞賜，岳飛一概分給部下，自己不取分毫。他遇害死後許多年，當年的眾多部下還聚在一起，聯合起來為他申冤，據說，當時哭聲震天，場面極其感人。
岳飛酒量不小，年輕時經常豪飲。有一次趙構禁止他喝酒，對他說：“等你收復了失地，打到河朔時才可以再喝。”從此，岳飛滴酒不沾。他治軍極嚴，許多親信部將與家人都捱過他鞭打或軍棍。岳家軍有一個口號，叫做“凍死不拆屋，餓死不擄掠”，實際已經成為軍紀，違反者被抓到，一般要付出生命的代價。因此，岳家軍與韓家軍一樣，深受民眾愛戴。當然，軍紀嚴明也可能是幾個不入流的部屬背叛他的部分原因。
“撼山易，撼岳家軍難”，出自一位極其驕狂的金兵統帥之口，可見岳飛帶出來的部隊的確很厲害。
據說，岳飛平日為人很少大將軍的威風。史書記載說，他禮賢下士，飽覽經史，雅歌投壺，待人溫和有禮，很像個文質彬彬的讀書人。他曾經多次辭謝加官晉爵，每次必定會說：“勝仗是將士們效死力打的，我岳飛哪裡有什麼功勞？”唯獨在一個領域裡是不能碰的，一碰，他就會跳起來，就像西班牙公牛看到揮舞著的紅布就會低著頭衝上來一樣，那就是談論對金關係與軍國大事。每當此時，岳飛立即“忠憤激烈，議論持正，不挫於人。”《宋史》認為，他就是為此而終於得禍。
應該說，這種說法有一定道理。否則，也就不是那個壯懷激烈的岳飛了。比如，岳飛曾經直截了當地指斥秦檜，作為宰相，謀國不臧。臧在古代漢語中有善、好等含義，這等於是告訴皇帝，秦檜不稱職。還有一次，岳飛罵曹操是奸賊誤國。曹操也是宰相，秦檜為此恨之入骨。他很有可能認為岳飛是在指著和尚罵禿驢。
《宋史》評論說，象韓信、彭越這樣的名將，古往今來並不少見；但若論起象岳飛這樣文武全才、仁智皆備來，則很罕見。這種看法，在岳飛死後的八百多年裡，基本是被人們認可的。只有一位汪精衛，敢於指責岳飛是一個無法節制的軍閥。言下之意是岳飛該殺。事實上，正如我們在歷史記載中不斷看到的那樣：假如岳飛是一個心懷不軌、無法節制的軍閥，他就斷然不會被朝廷如此呼來喝去，並最終自蹈死地。須知，他當時統帥的軍隊至少佔了全國軍隊的四分之一，而且，是各路大軍中戰績最為輝煌的。或者換句話說，如果岳飛真的是有野心不受節制的話，整個南宋、甚至南宋以後的中國的歷史恐怕都要重寫。其實，導致岳飛該殺的，正是他所具備的這樣一些卓越品質。甚至到了今天，這可能都是一些令許多中國人感到不快與不安的品質。在動盪不安的戰亂年代裡，這些品質集中到一位手握重兵、又失去了皇帝信任的將軍身上，尤其足以構成此人必須死的理由。《宋史》對於岳飛之死，連寫了兩遍“嗚呼冤哉！嗚呼冤哉！”的確如此。
事實上，當皇帝想要岳飛死時，岳飛在淮西之戰中究竟是否應該對戰敗負責？岳飛到底是不是想要謀反之類的爭論就已經變得並不重要了。重要的是，岳飛必須死。誠如宰相秦相公所說，這些罪名是否成立並不重要，重要的是，“此乃上意也”——這是皇帝的意思。因此，面對韓世忠的責問：“莫須有三字，怎麼能服天下人心？”據史書記載說，秦相公根本就不屑於回答這個問題。他心裡很有可能在奇怪：居然有人會問出如此幼稚的問題。事實上，許多死心眼的中國人永遠都不會明白：“天下人心”和“千秋名節”，並不是對所有人都一樣重要的。
從秦檜、張俊諸人的工作結果看，他們顯然相當瞭解皇帝到底想要什麼。據說，圍繞淮西之戰的重要往來文書，岳飛手中都有儲存。但他入獄後，這些文書被人抄走，並且銷燬了。而銷燬這些文書的人，恰好又是想要岳飛死的人。這在事實上，的確使人們有理由懷疑他們所說那一切的真實性。
在秦檜們提供給皇帝的岳飛罪證裡，有幾條相當駭人聽聞。
其一，他們告訴皇帝，淮西戰敗之後，岳飛曾經當眾罵道：國