在皇帝背後圖謀不軌，因為有幾封信上有“無令上知此一帖”。皇帝對這些紛亂如麻的事早已厭惡，而今在這些信上的發現，真使皇帝對王安石第一次發了脾氣。王安石痛罵自己的兒子，不該揹著他胡亂攻擊呂惠卿。他兒子顯然不知道呂惠卿手中藏有這些信，並且握有他父親的把柄，深悔自己行動鹵莽。受父親斥責之後又心中憋氣，立刻病倒，不久背上生出了惡瘡。王安石一向信佛。他請和尚誦經，請醫生開藥，但均無法救兒子一命。兒子王秀之死，是老相國的一個嚴重的打擊。這位相國對政治與人生的虛幻，大徹大悟了，他感覺厭倦，呈請辭官歸隱。皇帝允許他在熙寧九年（一0七六）十月辭去職務，但仍保有若干最高爵位，王安石並非遭受罷黜。數年之後，有人在金陵附近的鄉間，看見他騎著驢，嘴裡喃喃自語，聽不清說些什麼。
第十章 兩兄弟
熙寧四年（一0七二）七月，蘇東坡攜眷離京往富有湖山之美的杭州上任。在隨後八九年內，他始終在杭州，青島附近的密州以及江蘇的蘇州為官，無不政績斐然。這一段期間，他作詩甚多，所寫的歌很美，或感傷，或詼諧，或憤怒。以天真快活的心情，幾乎赤子般的狂放不羈，將心中之所感，盡情歌唱出來。可是這樣憂慮憤怒的詩歌觸怒了權要，終於給他招惹了災禍。
他弟弟子由這時在陳州（淮陽）充任教授，淡泊自甘。陳州位於國都東南七八十里，正在蘇東坡治下的視察行程之中，他隨後幾年都常常利用機會到弟弟家盤桓小住，有時會住上七十幾天。蘇東坡的兒子已經十二歲，還有一個嬰兒，才一歲，但是他弟弟則兒女很多。沉默寡言的蘇子由，一聲不響只顧生兒育女——最後直到生了三個兒子，七個女兒，都是蘇東坡幫助婚配的。蘇東坡欣然接受弟弟的請求，與他們共度中秋後才走。子由很窮，住的房子又小又矮。東坡常常對弟弟的高大取笑，他寫了兩句：常時低頭誦經史，忽然欠伸屋打頭。他們的老朋友，那位退隱的國家元老張方平，也和他們在一個城裡住，大家常酒飯相聚。張方平飲酒甚豪，他的酒量是一百杯。據蘇東坡自己說，他自己的酒量則小得多，但是他說他並不以自己酒量小而戒酒。歐陽修也是海量，但是張方平卻勝過他，因為張方平開始喝酒時，他不向客人說他們要喝多少杯，而是多少天。蘇東坡說：“對你們海量的人我並不羨慕，我喝完一杯就醉，不是和你們一樣得其所哉嗎？”
那幾個月，兄弟二人和家人悠閒團聚，共度時光，兄弟二人常到柳湖去划船，或是在城郊漫步，談論政治、家事、前途。一天，二人正在討論國家情勢，子由向哥哥進了些忠言。蘇東坡的一個短處就是老向客人談論自己的心思，寫文章也是發揮自己的見解。當時不是什麼好年月，子由對哥哥太瞭解。後來，蘇東坡的監禁解除之後，子由把手捂住他的嘴，那是告訴他以後要三緘其口。
兄弟二人，氣質不同，形貌各異。子由高大，豐滿的圓臉，兩頰附近的松肉很多，而東坡則健壯結實，骨肉勻停。由他的畫像，我們不難判斷，他大概是五尺七八寸身高，臉大，顴骨高，前額高大，眼睛很長而閃閃發光，下巴端正，鬍鬚長而末端尖細。最能透露他特性的，就是他那敏感活動、強而有力的嘴唇。他的臉色紅潤，熱情洋溢，會由歡天喜地的表情一變而成抑鬱沉思的幻想狀。
蘇東坡對他弟弟說：“我知道我一向出言不慎。我一發現什麼事情不對，就像在飯菜裡找到個蒼蠅一樣，非要唾棄不可。”
弟弟說：“但是你要了解你說話的對方，有人你可以推心置腹，有的不可以。”
蘇東坡點頭說：“這就是我之所短。也許我生來就太相信人，不管我是跟誰說話，我都是暢所欲言。”
他告訴弟弟，他送出上神宗皇帝書之後，他真怕有生命之險。他有一個朋友，也為他擔心。那個朋友是晁端彥，正好去看他，晁端彥和他同科考中，正如今之同年畢業的同學一樣。
東坡說：“但是我告訴晁端彥說，我曾殿試高中，多少高官顯宦立刻把我看做朋友。皇帝已然接受我的忠言。我不坦誠進諫，捨我其誰？我告訴晁端彥，我真正怕的是會因此而被殺害。他一言不發，面色極其嚴肅。於是我又對他說：‘沒關係。
皇帝若想殺我，我死而無怨。但有一件，我不願一身就戮而使你拍手稱快。’我二人都大笑起來。”
子由說：“有一件事你知道嗎？你留意過沒有？一日空閒長似兩日。所以人若一生七十年都在空閒中過，他實際上等於活了一百四十年。這是求長壽最容易的辦法。”