饋贈欽差，同時表明，絕非公款，是從他個人的薪給中分出來的，請鄭敦謹無論如何不可推卻，否則就是不念交情。
鄭敦謹還是“不念交情”，斷然謝絕。到了二月初六，攜帶隨從，上船回京，一路悶悶不樂，每每終宵長吁短嘆。這樣到了清江浦，便得起旱換車北上，新任漕運總督張兆棟把他接到衙門裡去住，留他盤桓數日，鄭敦謹無可無不可地答應了。
不久，從江寧來的訊息，鄭敦謹和曾國藩會銜的奏摺，已奉上諭批准，馬新貽“著再加恩，照陣亡例賜卹，並於江寧省城建立專祠，用示篤念藎臣，有加無已至意。”而張文祥也就在上諭到達的第二天伏法，行刑的地點在江寧城北小營，曾國藩親臨監視。兩江總督親蒞刑場，監視正法，是從未有過的事，因而引起許多揣測，說倘非如此，或者會有意想不到的變故，唯有曾國藩親臨坐鎮，才得安然無事。
鄭敦謹又聽到訊息，說馬家的報復甚酷，定製了一把刀、一把鉤，交給劊子手作行刑之用。凌遲重刑，數十年難得一見，有人說只“扎八刀”，有點臠割的意思就行了，有人說要用“魚鱗剮”，一片片細切。而張文祥則是介乎其間，用定製的鉤子扎住皮肉往上一拉，快刀割切，鉤一下，割一下，自辰至未，方始完事，張文祥始終不曾出聲。
於是鄭敦謹以一種奇怪的、豁達的聲音對張兆棟說：“我的責任已了！該回去了。”
“春寒料峭，起旱苦得很，何不再玩些日子？”張兆棟說，“反正案子已了，回京覆命就晚些也不要緊。”
“我不回京。”鄭敦謹搖搖頭說，“我回家。”
張兆棟愕然，想了一下說道：“想來老前輩出京時就已請了假，順道回籍掃墓？”
“‘田園將蕪胡不歸’！”鄭敦謹朗聲唸了這一句，又黯然搖頭：“九陌紅塵，目迷五色，我真的厭倦了。”
張兆棟大為詫異：“老前輩聖眷優隆，老當益壯，著實還有一番桑榆晚景，何以忽有浩然歸去之志？”
“早歸早好。”鄭敦謹說：“滌相是抽身不得，以致於不能克保全名。象我，駑馬戀棧，只恐真如滌相所說的，‘名既裂矣，身敗在即！’歸去，歸去！嶽麓山下，白頭弟兄，負暄閒話，強似千里奔波來審無頭命案！”
這一說張兆棟才知是為馬新貽一案，受了委屈，先還當他是發發牢騷，解勸了一番，也就丟開了。誰知第二天一早，鄭敦謹親自來跟張兆棟要求，派一名專差為他遞告病的奏摺，同時請張兆棟替他僱一隻官船到長沙，竟真個要辭官回裡了。“老前輩何必？”張兆棟說，“就要告病，等回京復了命再奏請開缺，也還不遲。”
“那就辭不成功了。”鄭敦謹說，“士各有志，老兄成全了我吧！”
說到這話，張兆棟不便再勸，當天就派了專差，為他遞折，接著又傳淮安府首縣的山陽知縣辦差，派了一隻大號官船，床帳衾褥，動用器具，一律新置，作為對這位刑部尚書的敬意。
那兩名司官，自然也要苦勸，而鄭敦謹執意不聽。問他辭官的原因，他答了八個字：“外慚清議，內疚神明。”說唯有辭了官，才能消除對馬新貽和他的家屬，以及孫衣言、袁保慶等人的疚歉之感。
“此案外界閒言閒語很多。大人這樣子一辦，見得朝廷屈法，恐怕上頭會不高興。”
“那也是沒法子的事，”鄭敦謹說，“只怕不高興的不是朝廷，是我們湖南同鄉。然而我也顧不得了！屈法是無奈之事。若以為屈法是顧全大局，以此自寬自解，恬然竊位，豈不愧對職守？”
說到這話，那兩名司官心裡也很難過。原來是打算著辦這件名案可以出一出風頭，就象總理衙門的章京陳欽辦天津教案那樣，雖然費心費力，到底名利雙收。誰知年前衝寒冒雪，吃盡辛苦到江寧，落得這麼個窩囊的結果，除了曾國藩的一百兩程儀以外，什麼也沒有撈到！
於是吃了一頓張兆棟特備的，索然寡味的離筵，水陸異途，各奔前程。鄭敦謹趁一帆東風，過洞庭湖回長沙，兩名司官走旱路回京覆命。一到部就為同事包圍，都要知道鄭尚書辭官的真相。
最後連恭王也知道了，特地傳諭，叫那兩名司官到軍機處去見他，詢向鄭敦謹倦勤的原因，那兩名司官不敢隱瞞，照實答覆。於是恭王也就據實陳奏兩宮太后，因為兩宮太后也覺得事出突然，頗為懷疑，曾經一再問起，恭王不能不奏。
“我說呢，鄭敦謹年紀雖大，精神一向很好，怎麼一下子就告了病。原來其中還有這麼多隱情！”慈禧太后停了一下又說：“不過他就是