到了咸豐三年三月，經過嚴厲的鎮壓，湖南各地的反抗活動比以前收斂了許多。
正是因為採取了前所未有的酷殺政策，曾國藩才得以大名遠揚，但他得到的並不是對他十分有利的名聲，因此，在咸豐三年三四月間，曾國藩又到處給別人寫信，為自己的酷殺行為進行辯解和開脫，以求他人理解。
曾國藩瘋狂的“剿匪”行動終於平定了湖南境內的起義運動，而他自己也因此被別人稱為“曾剃頭”，殺人就和剃頭一樣簡單，既形容他殺人之輕易，又表明了他所殺的人數量之多。因此《清史紀事本末·湘軍陸師之編制》裡面有一句話說道：“一時謗議四起，至有曾剃頭之稱。”
“曾剃頭”這樣一個名字並不好聽，對此，曾國藩是早已預料到的，因為他早就對咸豐帝說過，即使他自己因為執行皇命而被人稱為殘忍嚴酷之人，他仍要堅守自己的職責，所以，對於“曾剃頭”這一綽號，他又怎麼敢加以拒絕呢？而且，此綽號陪他走過了一生的道路。
第二部分：罵名留世組建湘軍
曾國藩出山，湖南巡撫張亮基奉旨勸諭有很大的功勞，但曾國藩到長沙沒多長時間，張亮基便調往武昌署湖廣總督，布政使潘鐸暫時接替了他的職位；同時，原雲南布政使徐有壬被調職擔任湖南布政使，原衡、永、郴、桂道陶思培則被升職擔任湖南按察使。他們與曾國藩的關係都不怎麼好，尤其是曾國藩的“越權侵官”，使他們對曾國藩進行譏諷、掣肘，甚至打擊。不久因潘鐸病歸而接任湖南巡撫的駱秉章，對其手下人與曾國藩之間的齟齬也不聞不問。這種明爭暗鬥令曾國藩的處境非常孤苦。曾國藩後來在八月十三日給朝廷上了《移駐衡州折》，第二天就匆匆離開長沙回到了故鄉。在鄉間沉思了幾天的曾國藩於八月二十七日憤走衡陽，在奏摺中，他聲稱“衡、永、郴、桂尤為匪徒聚集之藪，擬駐紮衡州，就近搜捕，曾於二月十二日奏明在案”，他現在之所以要轉移到衡州，正是為了保證原有的“查辦土匪”計劃順利進行。要在衡州將農民暴動進一步地鎮壓下去，曾國藩在當時確是這樣想的，但他卻沒有把自己移駐衡州的近期內的原因和內心活動告訴咸豐皇帝。
如果把湘軍作為一個總體或者集團來對待，那末，湖南新寧應該是湘軍的發祥地；如果把範圍縮小到由曾國藩建立，並由他指揮的那一部分湘軍，那末，湖南衡陽則是它的發祥地。
從曾國藩咸豐三年八月二十七日到達衡陽的那一天開始，到他於咸豐四年正月二十八日從衡陽出征的時候結束，他在這裡呆了整整五個月的時間。
曾國藩憤走衡陽之後，因為少了許多不必要的應酬與牽制，煩惱也少了許多，在那裡一心一意地訓練他的湘軍。咸豐三年十月，太平軍西征軍圍攻武昌，在這千鈞一髮的時刻，正在衡陽練兵的曾國藩接到了清廷諭令，“趕緊督帶兵勇炮船，駛赴下游會剿”。曾國藩則以“保衛全楚之計，必須多備炮船，乃能堵剿兼施”，而舟師還沒有守備為理由，藉此機會申請“截留粵餉四萬餘兩，作為籌備炮船之費”。這裡指的“船”是木板船，由他在衡陽、湘潭所設的兩個船廠自造；而“炮”，則是六百尊洋炮，那是兩廣總督葉名琛奉命為他先後買到的。經過半年的努力，當時的湘軍已經具有了初步的規模，水陸兩師加起來有一萬人之多，其中水師十營，共有五千餘人，前、後、左、右、中有五正營，此外又有五副營；陸師也是五千餘人。水師中包括一艘拖罟、一艘快蟹、五十艘長龍、一百五十艘三板艇、一百二十艘釣鉤船、一百餘艘輜重船，船上一共配備有五百七十多門炮。
在剛剛開始創立的時候，曾國藩並不知道籌措水師需要做哪些工作，於是就四處諮詢，按照廣東水師的樣式，設定拖罟、快蟹、長龍等，開始了他的編創工作。後來，長沙有個叫黃冕的人給曾國藩提議道：“長江上下千里，港汊極多，敵船容易藏匿。因此，最好每營都添十艘小戰船（即三板），這樣就便於在港汊中搜尋敵船。”曾國藩對此非常贊同，於是就開始對水師的編制進行了如下的調整：每營配製快蟹一艘、長龍十艘、三板十艘。人員配製如下：快蟹配二十八名槳工、八名櫓工；長龍配十六名槳工，四名櫓公；三板配十名槳工。正是這樣的水師配製，才能夠使曾國藩日後在對太平軍作戰中取得勝利。
第二部分：罵名留世嶽州之役（1）
曾國藩全身心地投入到了湘軍水陸兩師的訓練之中，卻不曾想到，在這個時候，全國的形勢發生了一系列的變化。1853年3月19日，洪秀全領導的太平軍一舉攻克南京