對他的接待格外隆重，並都備有厚禮。
沒想到郭嵩燾向來清廉方正，嚴於律己，規定“不住公館，不受飲食”，更不受禮。他的隨行人員因不能發財而大為不滿，那些地方官也尷尬不滿，因為他破壞了官場**已久的遊戲規則。到山東沿海各縣後，他認真查賬，發現從縣官到普通差役幾乎人人貪汙稅款，賄賂公行，而且稅外勒索嚴重驚人，超過正稅四倍多。
他立即採取種種有力措施整頓稅務，堵塞漏洞，並設局抽取厘金。所謂“厘金”是清政府在財政極端困難時為鎮壓太平天國專設的捐稅，郭嵩燾想整頓、減少其他易為官員中飽私囊稅、費，而透過新設厘局使稅收真正為政府所得。這些措施嚴重侵犯了當地大小官吏的利益，他們自然極為不滿。而設局抽釐又增加了新的名目，因為在政治嚴重**的情況下，新任厘局紳董也一樣貪婪。結果厘局剛成立不久，就發生了福山縣商民怒搗厘局，打死新任紳董的騷亂。
儘管如此，這次稅務整頓還是大有成效，查整了一批貪官汙吏，增加了政府稅收。但郭嵩燾萬萬沒有想到，正當他自以為有功於朝廷的時候，突得朝廷以他在山東查辦貿易不妥、交部議處的通知。
原來，書生氣十足的郭嵩燾根本沒有想到，李湘棻一直在暗中監視自己的舉動，並隨時向僧格林沁彙報。而他對僧格林沁派來的這位“會辦”竟毫無防範，郭嵩燾開設厘局後，李即向僧報告說如此大事竟未與他這個會辦商議便獨自決定。這個報告使原本就認為郭嵩燾目中無人的僧格林沁大為光火，認為不與自己派去的“會辦”商議實際是未把自己放在眼中，便在12月底以郭未與會辦李湘棻同辦、未與山東巡撫文煜面商便派紳士設局抽釐以致民變為由，上奏要求彈劾郭嵩燾。
以僧格林沁的地位之尊，他的意見當然深為朝廷所重。而且，迂氣十足的郭嵩燾在處理山東沿海稅務卻與山東地方大員、山東巡撫文煜少有溝通協調，也使文煜大為不滿，站在僧格氏一邊反對他。1860年元月，郭嵩燾被迫離開山東返京，悲嘆“虛費兩月搜討之功”，“忍苦耐勞，盡成一夢”。
返京途中他備受冷遇，與來時一路的隆重迎送恰成鮮明對照，使他飽嘗世態炎涼，領略到官場的勢利。回京後，他受到“降二級呼叫”的處分，雖仍回南書房，但實際已是閒人，被冷落一旁。1860年4月，郭松燾強烈反對僧格林沁撤北塘備但意見不被聽從，被冷落一旁的郭嵩燾懷著孤憤鬱悶的心情以回籍就醫為由黯然返鄉。
這位滿懷愛國情懷的人才甚至曾力勸左棠堂、曾國藩等人出山辦團練鎮壓太平天國，其實是大清極為重要的肱骨之臣，沒有他勸動了曾左出山，恐怕粵匪已經可以跟僧格林沁進行總決戰了，根本不用洋人打進北京大清就有亡國之危險。
倒不是肅順身在樊籠也想到了這個人才，而是郭松燾看過大清新聞報之後非常激動，跟曾國藩、李鴻章一樣感覺皇帝“開竅了”，所以又有了出仕的想法，他才四十歲出頭，渾身都是幹勁呢。
現在的湖南因為湘軍的關係成了大清的戰略要地，身在湖南的郭松燾與曾國藩等人是好友，可以利用唐寧在這個戰略要地設立的中文電報機向肅順發電報，這個時候，唐寧已經為肅順等大臣開通了私人電報地址，並登在大清新聞上詔告天下。當然了，這些被軟禁大臣的電報往來都是要被唐寧給他們安排的“助理”檢查過的，免得他們打歪主意，破壞現在的安定團結局面。
郭松燾回到北京之後就斗膽向咸豐帝提出了幾乎觸及皇帝底線的建議——查辦內務府的貪腐。
內務府是皇上的私家財政部，職官多達3000人，還沒算普通匠役、軍丁和太監。這比掌管全國疆土、田畝、戶籍、錢穀的事務最繁的戶部人數多十倍以上，可說是清朝規模最大的機關。
其實，誰都知道皇帝才是天下最貪腐之人，十全皇帝乾隆大帝造就了和紳這個攢了20億兩白銀家資的古今第一貪，而和大人不過是乾隆大帝的一個奴才而已。由於乾隆大帝的十全享受，到了嘉慶、道光年間，兩位皇帝都很節儉。乾隆駕崩時，他命人從新疆弄來的一塊巨大的需要耗費大量人力才能運到京城的奇玉還在路上，嘉慶帝立即下旨負責這事兒的太監把它直接扔在路上不要了。
和紳跌到，嘉慶吃飽。嘉慶帝也沒飽多少年，和紳是內務府和戶部的雙料首長，經常性地把戶部財產挪用到內務府，用貪腐的系統徹底地把內務府改造成了為官僚牟利的機構，皇帝只能查辦高階官員，中級官員則是一個階級，不可能找得出代表人物的一個階層。這個