自尋煩惱，未知何日始克遂我初服也”，除此之在，他在一首《青玉案·宦況》的詞中，也這樣表露想離開官場的心跡：
十年蓋破黃綢被，盡歷遍、官滋味。雨過槐廳天似水，正宜潑茗，正宜開釀，又是文書累。
坐曹一片吆呼碎，衙子催人妝傀儡，束吏平情然也未？酒闌燭跋，漏寒風起，多少雄心退。
五
性好山水的鄭板橋處理蕪雜的政務之餘，經常出去郊遊。乾隆十六年的一天，他來到了萊州的雲峰山。雲峰山位於山東萊州城的東南，鄭板橋早聞這座山上有許多的石碑，他來登山一者是為了飽覽山川秀色，一者就是為了來看石碑的。由於在山上看得過於投入，不知覺中已經天黑了，下山已來不及，鄭板橋發現山間正好有座草廬，於是徑直走了進去。草廬中住著一位老者，鄭板橋覺得這位老者舉止文雅談吐不凡，而這位長者在和他交談中得知眼前的就是大名遠播的鄭板橋，自是欣喜。而讓板橋不解和驚喜的是，雲峰山上的草廬中，居然有一方桌面大小的硯臺，硯臺雕刻精細，質地上層。這位老者自號胡塗老人，和板橋談得正投機時，突然讓他即興留下墨寶，以便刻在那方大硯臺的背面。鄭板橋慷然應允，在提筆時想到這位老者自號“胡塗老人”，突然間對這“胡塗”兩字若有所悟，想起在自己在官場上的不得意和無奈，寫下了“難得胡塗”四字，然後蓋上了隨身攜帶的印章，章上刻的是：“康熙秀才雍正舉人乾隆進士印”。那四個字，用的是被世人稱為“六分半書”的鄭氏字型寫成，遒勁有力。題字之後，鄭板橋謙虛地請老者附上一段跋語，老者冥思片刻，執筆蘸墨，這樣寫到：
得美石難，得頑石尤難，尤美石而轉入頑石更難。美於中，頑於外，藏野人之廬，不入富貴之門也。
老者寫完之後也加印了自己的閒章：“院試第一鄉試第二殿試第三”，鄭板橋見此閒章大為驚奇，心想這位老者也定是為歸隱的官員。這個閒章和自己的那枚真是天生一對，惺惺相惜之情油然而生，激動中的鄭板橋於是又接過了筆，在老者的跋語後寫到： txt小說上傳分享
人跡板橋霜（7）
聰明難，胡塗尤難，由聰明轉入胡塗更難。放一著，退一步，當下心安，非圖後來福報也。
寫完擲筆，兩人相視，會心大笑。難得胡塗，是啊，鄭板橋感覺到以前追逐名利，懷著濟世的情懷入了官場，可是到頭來卻身心疲憊，也許以前是太聰明太清醒了。今天遇到了這位老者，才讓他恍然所悟，以前什麼都不缺，惟一缺的就是胡塗，他甚至有些羨慕起老者來，與青山綠野作伴，在草廬裡吟詩作畫，閒度人生，這是多麼愜意。
這種想法的產生與傳統的“達則兼濟天下，窮則獨善其身”的觀念有著間接的關係，當然道家的歸隱思想更是影響了鄭板橋。在他的詩歌中也用道家的遁世出世的思想來批判現實，比如“扯碎狀元袍，脫卻烏紗帽”一句，現實的進取已完全被他這逍遙安適的心態代替，現在的鄭板橋已理解了人生，終於，他告別了十年的知縣生涯，收拾起行囊作別官場，回到江南。
回到揚州的鄭板橋自然重操舊業，做起畫來，詩畫是他唯一的寄託，尤其是繪畫，看，他到揚州的第一副畫就是翠煙蔥籠的墨竹：
二十年前載酒瓶，春風倚醉竹西亭。
而今再種揚州竹，依舊淮南一片青。
——《題畫·初返揚州畫竹第一幅》
二十年前，一切都是未知，那時落拓的板橋愁於窘困的生活，整日賣畫沽酒，飽嘗辛酸。而今遍覽世間百態，又回到了揚州這個當初的起點，百感焦急，也只有筆下那些古色班駁、滴瀝迷濛的雨竹才能給他心靈無限的安慰。
鄭板橋在後人的印象中其實一直以狂怪著稱，除了天生的性格因素之外，還有其它一些因素，比如說就可以具體到某個人，曾給過板橋許多的啟發。例如徐渭，鄭板橋在沒做官前和做官後，用現在的詞彙說就是一直崇拜著徐渭。這位徐渭字文長，號青藤道人，出生貧寒，考中秀才後八次應考均遭到挫折，功名進身之路一直坎坷不通。中年懼禍得了狂病，在病中誤殺妻子，坐牢七年自殺九次，就是這麼個狂怪的人物，詩書畫獨稱一絕。比如繪畫中，鄭板橋就非常佩服他對瘦筆、破筆、燥筆、斷筆的應用，甚至徐渭在劇本創作上也是獨步千古的。徐渭的一生，可以說是懷才不遇，落拓感傷的一生。可是鄭板橋非常欽佩和同情他，曾刻有閒章自稱是：“青藤門下牛馬走”“徐青藤門下走狗鄭燮”。很多人甚至覺得鄭板橋這樣抬舉徐渭顯