萬太平天國降兵跟隨你造反。
這樣，手上就有三十多萬精銳之師。有這些兵馬，即可攻破京師，恢復漢家江山，成為一代帝王。大哥，舍你其誰啊！
對於九弟曾國荃，曾國藩一直抱有感激之情的，弟弟自從咸豐六年籌建“吉”字營跟隨曾國藩打仗之後，攻城拔寨戰無不克。
有一次手下湘軍大將問曾國藩，對於曾國荃，他這個做兄長的，有什麼看法，曾國藩的回答是：殺人如麻，揮金如土。在曾國藩看來，曾國荃算是一個軍事奇才，但在治理國家以及人情世故方面，缺少智慧，顯得相當不成熟。眼下想要裁減湘軍，首先要爭取的，就是曾國荃的支援。
曾國藩很不已為然：表示老九你這是知其一不知其二啊！
在湘軍中，有很多人可以共患難，但不能共享富貴。先說李鴻章，我若一帆風順，李鴻章永遠是我的學生；如若不順李鴻章必然反戈一擊。李鴻章多麼聰明啊，名利心極強他當然不會輕易丟掉現有的權力和地位。
並且，你看看現在這支湘軍吧，這麼多年的仗打下來，精銳早已打光了，那些優秀的人早已犧牲，部隊已呈老態，哪裡還能再打仗呢？
再說一干長毛將領，他們不投降就可以振臂一呼從者雲集；一旦他們投降了就是咱們的走狗，以咱們與長毛的深仇大恨，誰還聽他們的！
曾國藩還說，當兵吃糧，升官發財，就比如養了一群狗，你扔一塊骨頭，它就跟你走，別人扔一塊更大的骨頭，它就可能出賣你。我現在這個樣子，又有多少骨頭可以扔給他們呢？
不僅如此，朝廷對湘軍十分忌憚，已經不在躲躲藏藏赤落落的表露在外。
湘軍創始於太平天國起義時的地方團練，清中期以後清朝的八旗、綠營等正規軍風氣散漫、嚴重腐化，戰鬥力低下，遇到戰亂等重大危機，朝廷即令地方紳士訓練鄉勇，清查保甲保護地方，所需費用均由民間自籌。
可以說，團練創始之初，不過是防衛地方的民間武裝而已。太平天國起義後，咸豐帝命曾國藩“幫同辦理本省團練”，其本意與其他各省辦理團練並無區別。
但曾國藩卻將團練一詞一分為二，聲言自己不辦保甲而專辦練勇，並以團練為基礎，集合兵勇、伕役、工匠等編成陸營、水師，形成兵隨將轉，兵為將有，全軍只服從曾國藩一人的地方軍事勢力。
湘軍這樣的制度朝廷怎會滿意，合著湘軍就是湘系將領的私人武裝，跟朝廷沒多大關係了？
自古以來，中央最忌的便是擁兵自重的藩鎮，湘軍模式絕對有成為藩鎮的基礎，朝廷不打壓那就不正常了。
隨後在與太平軍的戰鬥中，國家經制之兵屢遭敗績，湘軍卻不斷取勝。但是，湘軍將領並沒有受到重用。咸豐四年（1854年），湘軍攻佔湖北省城武昌，咸豐帝聞報大喜，當即任命曾國藩署理湖北巡撫，不過很快又收回成命。
除非萬不得已，咸豐帝是絕不肯讓湘軍將領兼掌軍政大權的。
從這次事件便可看出，朝廷對湘軍的防備之深，再對比一路扶搖直上的鄉勇隊統帥吳可，赤落落的差別待遇。
鄉勇隊實際上也是吳可的敵軍，但吳可從沒在外顯露過，並且在一定程度上還是很配合朝廷的排程，最重要的是鄉勇隊乃純粹的軍事組織，不像湘軍這般領頭人都是文人階層讓朝廷忌憚。
太平天國起義迅猛發展，湘軍的地位和作用也日益凸顯，湘軍集團逐漸取得地方軍政大權。咸豐五年（1855年），清廷任命胡林翼署理湖北巡撫，與他同在武昌主政的是湖廣總督官文。
清代官制中總督偏重軍政，巡撫偏重民政，軍權應歸於官文。可官文貪鄙庸劣見識淺薄，只因是滿洲正白旗貴族而為咸豐帝所重用，所部軍隊戰鬥力極差。胡林翼撫鄂之初官文每多掣肘，胡雖申奏但咸豐帝仍下嚴旨要其會同官文辦理湖北軍政。
不得已之下，胡林翼改變策略，轉而與官文結交，在公，文中每列官文為首功，每月撥鹽厘3000兩相贈，還讓自己的母親認官文寵妾為義女，進而與官文兄弟相稱。不過胡林翼並非與官文同流合汙，而是試圖加以利用。
官文也深知在此戰爭環境，多少督撫因為不善帶兵，或死於戰事或被罷職免官，於是也樂於依靠這個對自己恭敬備至的胡林翼。在官文看來既然胡林翼滿足了自己對聲色貨利的喜好，自己贊同他的軍政主張也算是禮尚往來。
於是，胡林翼大刀闊斧厲行改革，穩定湖北局勢從而在同太平天國爭奪長江中下游地區時處於有利地