慈禧欣賞的文官菁英，所以慈禧只將此奏摺退回了軍機處，並沒有給李鵬萬治任何罪名。不過，李鵬萬卻因這一條陳毀了自身的前程，從此再不受慈禧的重視，坐上了宮中的冷板凳。此後幾年中他雖然還在京畿為官，但很少得到慈禧的召見。直到同治皇帝駕崩，光緒皇帝登基，李鵬萬始終鬱郁終日，不得重用。李鵬萬直到這時才感到官場政壇的險惡，一旦他說了真話，非但不能解決腐敗朝政中的弊端，反而還要因此招災惹禍。光緒初年，李鵬萬還希望慈禧再重用自己，卻發現自家官邸內外到處都有可疑的監視者。他再看慈禧親政以來殺人如麻，許多在咸豐時代有功朝政的高官，只因違逆了慈禧的聖意，一個個輕則遭到貶官，重則被綁赴菜市口長街梟首示眾。李鵬萬深知自己繼續在京為官，非但不能對大清朝政和黎民百姓有所貢獻，搞得不好，甚至還要厄運加身。於是李鵬萬在光緒五年秋天，以生病為名，向慈禧遞上一道懇請回歸鄉梓養老的條陳。慈禧雖然從內心對李鵬萬有些忌恨，但畢竟愛其道德文章，接到李的請辭後還曾遣人前往東四的李宅進行挽留，但是對晚清官場早已深惡痛絕的李鵬萬，這時退意已決，哪還敢貪戀京華的酒池肉林。於是他於光緒六年（1880）冬天，掛冠而回闊別多年的故里潮州。
就是從這時起，李氏家族離開了生活多年的海陽縣，遷往當時的通衢大鎮潮州定居。這時的李氏家族更加煙火繁盛，憑藉祖上餘蔭和李鵬萬作過京城大吏的影響，李家兄弟在潮州地面仍是功德無量的名門望族。在李鵬萬的膝下，前後生有兩子，一為長子李起英，次為二子李曉帆。李鵬萬在兩子之中，尤其喜愛次子李曉帆。
4、祖父李曉帆：潮州知識界的進步人士
李鵬萬儘管對大清王朝的腐敗極為厭惡灰心，可是，他仍然難改從小形成的功名思想。在當時的歷史條件下，他認為如若讓子嗣更有造就，惟一的成才之路只有像他一樣繼續攻讀史書，然後參加歷年的鄉試，最後考取功名。李曉帆當年就是李鵬萬視若可以繼承其衣缽的後裔。
李鵬萬曾經一度寄予厚望於他的長子李起英。李起英從小受到父親的耳提面命，非常刻苦。李鵬萬前往京華為官期間，就把李起英帶在身邊，希望他也能接受京城的文化氛圍，將來為進入官場作準備。然而後來李鵬萬發現一入京門深如海，大清朝官在進入晚清時期幾乎人人都貪汙，個個都賄賂。李鵬萬自此方知後悔，原來朝官集聚之地，儼然是一隻偌大的可怕染缸。如果再讓愛子繼續生活在天子的腳下，豈不是要誤其一生？當初李鵬萬情願放棄收入頗豐的京官不做，毅然決然地返回粵東老家，這也是一個重要的因素。
好在李起英在北京生活的幾年，沒有沾染朝廷官員們的任何陋習，始終刻苦攻讀，自強不息。他回到廣東潮州以後，仍以治學為己任。到了弱冠之年，李起英首次參加鄉試大考，便中了一個貢生。本來依李起英的才學人品，繼續這樣奮鬥下去，最終的結局肯定不遜於其父李鵬萬，然而由於他身受父親看破紅塵官場的影響，自從中了貢生以後從此就再不肯發奮苦讀。尤其是他生了一場重病而造成學業的中輟後，更是影響和限制了李起英後來的仕途精進。這也成了李氏家族的一大憾事。
李鵬萬的次子李曉帆，少年聰穎，極喜書畫。在父親李鵬萬的書齋內藏有大量古今線裝書，其中甚至有一些世間少見的孤本和善本。所有這一切都為李曉帆的啟蒙提供了優厚的條件，特別是父親進北京作官期間，這偌大的書齋幾乎變成了李曉帆自由遊弋的知識海洋。尤其是父親每頁上都加了點評的唐宋詩詞、老子和孔子等先哲們留下的精品，都讓李曉帆無師自通並過目成誦。李曉帆隨父在北京期間，每每追隨其前往琉璃廠觀看古玩店裡珍藏的遼金、北魏、東晉和唐、宋、元等歷代的書畫珍品，這些前輩們留下的文化精品，對少年李曉帆的才智啟蒙無疑有著得天獨厚的影響。
當然，對李曉帆的超群才智，是李鵬萬從北京歸鄉後才發現的。那時的李鵬萬已經對兒子們以晚清鄉試考取功名的舊俗，從心底產生了強烈的牴觸。不過他仍然希望少年英俊的李曉帆能夠成為粵省的後起之秀。因為在當時的歷史年代裡，李鵬萬畢竟無法逃脫“萬般皆下品，惟有讀書高”的觀念。
就這樣，李曉帆不負生病在家的老父所望，終於在大清光緒33年，也就是晚清將要結束的前一年，考取了一個秀才的名號。那一年他才17歲！在潮州古城裡已屬破天荒的奇聞了。如果清朝科舉制度不因慈禧一年後的突然駕崩而中斷，那麼很難說李曉帆後來不會像他父親那樣成為紫禁