但是慈禧在接獲李鵬萬所上的條陳以後，批閱中對其所用之詞過於激烈暗生反感。尤其是河南幾位朝官多年與朝廷保持的良好關係，是不容李鵬萬指責的。他不瞭解真情，原來慈禧太后每年的壽辰之日，這些河南官吏大多是不惜財力的進貢，在慈禧眼裡他奏摺上的貪官都是老佛爺的愛臣。這些頗得慈禧愛護的高官，豈能像李鵬萬條陳中所說的這樣虎狼成性，魚肉民間？如果這種充滿激詞怒語的條陳系普通朝官所上，慈禧太后也許會因此而怒責下去，或者因此遭到貶官的嚴懲。可是，李鵬萬畢竟是兩年前在紫禁城文華殿內以妙文獲得慈禧欣賞的文官菁英，所以慈禧只將此奏摺退回了軍機處，並沒有給李鵬萬治任何罪名。不過，李鵬萬卻因這一條陳毀了自身的前程，從此再不受慈禧的重視，坐上了宮中的冷板凳。此後幾年中他雖然還在京畿為官，但很少得到慈禧的召見。直到同治皇帝駕崩，光緒皇帝登基，李鵬萬始終鬱郁終日，不得重用。李鵬萬直到這時才感到官場政壇的險惡，一旦他說了真話，非但不能解決腐敗朝政中的弊端，反而還要因此招災惹禍。光緒初年，李鵬萬還希望慈禧再重用自己，卻發現自家官邸內外到處都有可疑的監視者。他再看慈禧親政以來殺人如麻，許多在咸豐時代有功朝政的高官，只因違逆了慈禧的聖意，一個個輕則遭到貶官，重則被綁赴菜市口長街梟首示眾。李鵬萬深知自己繼續在京為官，非但不能對大清朝政和黎民百姓有所貢獻，搞得不好，甚至還要厄運加身。於是李鵬萬在光緒五年秋天，以生病為名，向慈禧遞上一道懇請回歸鄉梓養老的條陳。慈禧雖然從內心對李鵬萬有些忌恨，但畢竟愛其道德文章，接到李的請辭後還曾遣人前往東四的李宅進行挽留，但是對晚清官場早已深惡痛絕的李鵬萬，這時退意已決，哪還敢貪戀京華的酒池肉林。於是他於光緒六年（1880）冬天，掛冠而回闊別多年的故里潮州。
就是從這時起，李氏家族離開了生活多年的海陽縣，遷往當時的通衢大鎮潮州定居。這時的李氏家族更加煙火繁盛，憑藉祖上餘蔭和李鵬萬作過京城大吏的影響，李家兄弟在潮州地面仍是功德無量的名門望族。在李鵬萬的膝下，前後生有兩子，一為長子李起英，次為二子李曉帆。李鵬萬在兩子之中，尤其喜愛次子李曉帆。
4、祖父李曉帆：潮州知識界的進步人士
李鵬萬儘管對大清王朝的腐敗極為厭惡灰心，可是，他仍然難改從小形成的功名思想。在當時的歷史條件下，他認為如若讓子嗣更有造就，惟一的成才之路只有像他一樣繼續攻讀史書，然後參加歷年的鄉試，最後考取功名。李曉帆當年就是李鵬萬視若可以繼承其衣缽的後裔。
李鵬萬曾經一度寄予厚望於他的長子李起英。李起英從小受到父親的耳提面命，非常刻苦。李鵬萬前往京華為官期間，就把李起英帶在身邊，希望他也能接受京城的文化氛圍，將來為進入官場作準備。然而後來李鵬萬發現一入京門深如海，大清朝官在進入晚清時期幾乎人人都貪汙，個個都賄賂。李鵬萬自此方知後悔，原來朝官集聚之地，儼然是一隻偌大的可怕染缸。如果再讓愛子繼續生活在天子的腳下，豈不是要誤其一生？當初李鵬萬情願放棄收入頗豐的京官不做，毅然決然地返回粵東老家，這也是一個重要的因素。
好在李起英在北京生活的幾年，沒有沾染朝廷官員們的任何陋習，始終刻苦攻讀，自強不息。他回到廣東潮州以後，仍以治學為己任。到了弱冠之年，李起英首次參加鄉試大考，便中了一個貢生。本來依李起英的才學人品，繼續這樣奮鬥下去，最終的結局肯定不遜於其父李鵬萬，然而由於他身受父親看破紅塵官場的影響，自從中了貢生以後從此就再不肯發奮苦讀。尤其是他生了一場重病而造成學業的中輟後，更是影響和限制了李起英後來的仕途精進。這也成了李氏家族的一大憾事。
李鵬萬的次子李曉帆，少年聰穎，極喜書畫。在父親李鵬萬的書齋內藏有大量古今線裝書，其中甚至有一些世間少見的孤本和善本。所有這一切都為李曉帆的啟蒙提供了優厚的條件，特別是父親進北京作官期間，這偌大的書齋幾乎變成了李曉帆自由遊弋的知識海洋。尤其是父親每頁上都加了點評的唐宋詩詞、老子和孔子等先哲們留下的精品，都讓李曉帆無師自通並過目成誦。李曉帆隨父在北京期間，每每追隨其前往琉璃廠觀看古玩店裡珍藏的遼金、北魏、東晉和唐、宋、元等歷代的書畫珍品，這些前輩們留下的文化精品，對少年李曉帆的才智啟蒙無疑有著得天獨厚的影響。
當然，對李曉帆的超群才智，是李鵬萬從北京歸鄉後才發現的。