但我喜歡和爸爸在院子裡散步。我喜歡挽著爸爸的手臂，走過院子裡堅硬的水泥地。我老是興致勃勃地將自己的腳步調整得和爸爸一致，左腳、右腳、左腳、右腳，兩個人卻只有一個人的腳步聲，左腳、右腳、左腳、右腳，我甚至可以因為這簡單的把戲樂得出了聲。
也許是感覺到爸爸總有些憂鬱，我就絮絮叨叨地講一些學校裡的事情，我自己的事情給爸爸聽。爸爸如果回答我一兩句，我就更加情緒高漲。不過有時候，我也會忽然感覺到談話並不那麼熱烈。我就會茫然地注意到二號樓前面的兩棵大樹。是松樹還是柏樹已經記不清了。但是，它們在北京濃密的工業灰塵裡儲存著的那麼一點灰綠色，在清白的月光下，總在我心裡引起一點憂傷和神秘。
有一次散步歸來，爸爸在脫大衣的時候對媽媽說：“你說這孩子不愛講話，點點今天和我講了不少話呢。”
我多少感覺到了，這話裡不是讚揚，而是憐惜和悲憫。但我不知道這憐惜和悲憫從何而來。
爸爸在自傳裡這樣描述他上海會議以後的痛苦心情：
從上海回到北京後，我即寫了報告給主席、中央，請求調離我在軍隊中的一切職務和與軍事有關的職務，如國防工業辦公室主任、人民防空委員會主任、國防委員會副主席等。中央很快就批准了，並將批准及我的報告轉發全國軍隊團以上，地方縣委、縣公安局長以上。並將電報抄給了我。
因我不在軍隊工作了，軍委辦公廳來人撤了電話機。我還要秘書將我的槍、獵槍和秘書們的槍都交上去。彭真同志專門打了一個電話給秘書，說獵槍可以保留一支給孩子們玩。我說，不要留，全部交。
我曾經要求出去理個髮。組織上交待說，不要去，以免碰到熟人。以後，我除了到301醫院拔了一顆牙，什麼地方我都沒有去。
回到北京後我住在新六所。孩子們都回來了。可他們還什麼都不知道，仍如往常。看到這一群孩子，尤其是三個小的。想到自己的錯誤會連累他們，真是萬分痛恨自己，恨不得立刻將自己徹底毀滅掉！
我不知道爸爸懷著這麼沉重的痛苦。否則，我也許就不會用那些愚蠢的想法來娛樂自己，就不會用那些饒舌來煩擾他。
在我和爸爸散步的時候，他好像是漫不經心地給我講了一些年輕時代的故事。講他在找到共產黨之前那一段顛沛流離的生活。這些故事對我來說，帶有一種遙遠的傳奇色彩。我把它們和我在小說和電影中看到的那些革命者不平凡的經歷聯絡在一起。這樣一來，這些我並未聽到過的事情卻好像是熟悉的了。它們像一陣風，似曾相識，輕輕地掠過我的腦海，卻沒有在其中掀起真正的波浪。
實際上，爸爸是在這些回憶中檢視自己，追問自己跟隨革命，加入共產黨的初衷。儘管上海會議給他製造的罪名荒誕到難以置信地步，但他畢竟是個老共產黨人，由毛澤東親自主持的中央政治局擴大會議在他的眼睛裡神聖無比。儘管滿心裡都是抵抗，滿心裡都是想不通，但是，他的價值觀念和世界觀，都強迫他接受痛苦萬分的事實。
在這些沉重的自省中，陽光有時也會透射出烏雲，因為自省的結果往往使他增加的不是自責而是自信。
有一天，吃中午飯臨近尾聲，爸爸對我們所有在座的人說：“將來我退休了，帶上你們都回四川老家去。咱們四川可是個好地方吶。”爸爸的聲音是輕鬆的，聲音裡還帶著笑。這句話引起了全家人一陣小小的歡樂。
爸爸不能不覺得，上海會議是毛主席和林彪對他的誤會。他相信有一天，他能夠解釋清楚。實在不行，退休，帶著我們全家人回四川老家，就是他所估計到的最嚴重的後果了。
不久，媽媽發現她上街的時候後面有人跟梢。她告訴爸爸，爸爸說那你就儘量少出去吧。媽媽就更多待在家裡，待在爸爸身邊。
媽媽回憶說：
快過春節了，我們回到城裡自己的家。中央一些負責人都來找瑞卿談，但是還是不準見毛澤東和林彪，只讓寫檢討。說是沒有上海會議上說的三條，有什麼就檢討什麼。關係問題啊，對老帥夠不夠尊重啊，還有嚴重的資產階級個人主義的問題啊。瑞卿自己一面寫檢討，一面看毛選，儘量把自己的缺點、錯誤從重檢討。寫好檢討，送上去，康生先說不行，說是隻檢討了一些雞毛蒜皮。這個檢討過不了關，還要寫。瑞卿萬般無奈，實在檢討不出來。然後，小平同志就說：檢討不出來，就好好讀點書，把一些事情好好想想，從思想上提高提高，花上幾個月、半年的時間。