次辭官南歸，由於杭州的祖宅已年久失修不能居住了，就只好暫借住上海哈同花園。哈同仰慕他的名聲，幾十口子人一併住進，也毫無他言。後來他年邁病重，就移居盛公祠後面的漢冶萍公司俱樂部（北京西路萬航渡路路口的交通銀行的後面，現為警備區老幹部活動室和醫療室），直至去世。他全家離開北京的時候，連付房東的房租都付不出了，而房東是建造北海的工程師，因仰慕孫公的為人，就說“算了，算了”。而孫公內心過意不去，就把從法國帶回來供女兒學習的兩架鋼琴，吩咐人抬了過去，算是略表謝意。
他去世的時候，人們來憑弔時送的輓聯，大多都讚美了他廉潔清正的品格。其中，當年的大總統徐世昌送的輓聯是：“門多歇浦三千客，家少成都八百桑”，橫批是：“舊雨晨辰”。一方面是感嘆老朋友越來越少了，少得像清晨的殘星一樣，另一方面是熱情地讚揚了他的為人和清廉。先是拿諸葛亮作比，說諸葛亮作為一代丞相，一生廉潔無私，身後別無長物，家中只有八百棵桑樹，而他孫寶琦，連八百棵桑樹也沒有，故曰“家少”；又說他像戰國時期楚國的春申君黃歇一樣好客，養了三千門客，所以又說“門多”。
孫寶琦還有一件當今之�