王樹聲一聽，馬上說：“算啦，算啦！怎麼好占人家民主黨派的機關呢？”
“早就被紅衛兵攆走了！”規劃人員說。
“那是胡鬧，早晚還得請人家回來！”王樹聲坦然地說。
又過了很長時間，規劃人員又為王樹聲在玉淵潭附近找了一個地方。此地環境幽靜，風光如畫，規劃人員邀請王樹聲夫婦來看。王樹聲一看，喜形於色。忽然看到幾間農舍，就問：“建房對住戶有影響嗎？”
規劃人員說：“動員他們搬遷一下。”
王樹聲稍稍想了下，說：“算了，人家住得好好的，憑什麼攆人家？”
就這樣，王樹聲住房一直都沒找好。他在那外牆簡陋、內廊狹窄的寓所，住了十八年，直到他與世長辭。
王樹聲到軍事科學院上任不久，由於距家較遠，每逢中午都自己打飯吃。他和幹部、職工一起排隊買飯，自己洗碗筷，從不借別人之手。炊事員起初不知道他是王樹聲，後來知道了，很感動地說：“首長，你可要愛惜自己的身體呀！”
有一次，王樹聲排隊買飯，只見自己前邊站著一個年青的戰士，手裡拿著一套飯盒。便笑著問：“帶這麼多飯盒，來客人哪？”
“我給首長打飯。”戰士說。
“哪位首長？我怎麼不認識呀？”
“我們剛從外地調來不久。”
第二天，年輕戰士又提了飯盒去打飯，並有意站到了昨日跟自己搭話的老頭兒身後。兩人一見面，便寒暄起來。年輕戰士乘機問：“老同志，你貴姓？”
“哦，我叫王樹聲。”
年輕戰士一聽，驚愕得背過臉一伸舌頭。他回去對首長一說，首長也很不自在。此後，這位首長也親自排隊了。
1960年至1963年，王樹聲參加了徐向前元帥主持的紅四方面軍戰史編輯委員會的領導工作。從鄂豫皖革命根據地到川陝革命根據地再到長征，王樹聲或個人執筆，或與別人合作，再現了紅四方面軍的戰鬥歷程，留下了寶貴的歷史資料。
作為國防部副部長，他出國訪問過。在1959年4 月至6 月，他參加軍事友好代表團，隨同團長彭德懷元帥訪問了東歐、蒙古等七國。他接待過不少國家的貴賓，也接受了不少外國政府或個人饋贈他的大小札品，但他從不佔為己有，都悉數上交。他新來的勤務員不清楚他的秉性，認為禮品是送給首長個人的，有幾次拿到車上，都被王樹聲阻止了。
在對待子女的問題上，王樹聲與天下父母一樣，十分疼愛自己的骨肉；但王樹聲對孩子們從不嬌生慣養，管教甚嚴。
王樹聲四十得子，有三男一女：長子魯光，中原突圍後出生于山東解放區；次子楚還，出生在打回湖北的第二年；三子建初，出生於國家大規模經濟建設之始；小女季遲（文革中改名宇紅），姍姍來遲於1955年。從這些名字中我們可以看出既有詩意，又有深刻的寓意；既體現了王樹聲夫婦個人活動與中國革命程序的聯絡，又表現了對下代的眷眷的愛和殷切的希望。
在王樹聲調到京城前後，孩子們陸續上了幼兒園和小學。這時王樹聲夫婦就給孩子們定些“規矩”：起初很小的時候，小手絹、小襪子都要自己洗；到了三、四年級，小衣服也要自己洗；進到中學以後，被單等也要自己洗。
爸爸媽媽要定期檢查，決不許保姆和勤務員“代勞”。
這種對子女之愛，更深層次地體現了培養子女獨立生活的能力，培養子女自強不息的精神，培養子女吃苦耐勞的品德，以及培養子女堅韌不拔的毅力。
孩子們起初上學的時候，上的是幹部子弟學校。幹部子弟學校各方面條件都比較優越，對孩子的培養顯然是不利的。周總理看到這一點，指示將這些學校撤掉了，幹部子弟的孩子都到附近的普通學校學習。王樹聲對此深表贊同。
王樹聲把孩子送到了附近的普通學校，千叮嚀萬囑咐：不許在同學面前誇耀父母；不許打扮得與眾不同；不許用小汽車接送。一句話，要同周圍同學一樣，不要搞特殊化。
王樹聲夫婦經常翻閱孩子們的作業，作的好的，給予表揚；作的不好，要重作或補齊。禁止孩子逃學。魯光有次貪玩逃了學，回來後捱了父親的打。
事後王樹聲心裡很後悔，楊炬也說他教育方法簡單粗暴。
王樹聲生活儉樸，孩子們時常埋怨家庭生活不好。
1965年，王樹聲參加河北農村社會主義教育運動回來。孩子們圍攏來，看爸爸帶回來什