，唐玄宗採納了黃門監源乾曜的建議，命令姚崇搬入四方館居住，並允許家屬侍奉其病榻之前。面對這一安排，姚崇認為四方館是存放官署文書的地方，不適合病人居住，因而極力推辭。但唐玄宗回應道：
“設定四方館就是為了服務官員，朕安排您住進來，是為了國家考慮。如果可以，朕恨不得讓您住進宮裡，您不要推辭！”
儘管姚崇是一代賢相，但在家庭教育方面卻有不足之處。他的兒子姚彝、姚異廣交賓客，招權納賄的行為受到了輿論的批評。此外，中書主書趙誨因接受胡人賄賂而被揭露，雖經姚崇極力營救，但唐玄宗對此非常不滿，在赦免京城罪囚時特地註明將趙誨流放嶺南。這使得姚崇感到憂懼不安，數次請求辭去宰相職務，並推薦廣州都督宋璟繼任。最終，在開元四年（716年）十月，姚崇被罷免了宰相之職，改任開府儀同三司。即使如此，唐玄宗對姚崇仍然極為尊重，讓他五日上朝一次，遇到重大政事也專門徵詢他的意見。
到了開元八年（720年），唐玄宗封姚崇為太子少保，但姚崇因病未能接受這一職位。開元九年九月初三日姚崇病逝，終年七十二歲。他去世後，被追贈為揚州大都督，諡號“文貞”或“文獻”，顯示了朝廷對其一生貢獻的高度評價。
即便在姚崇去世多年之後的開元十七年，唐玄宗再次追贈姚崇為太子太保，以表彰他對唐朝的卓越貢獻。姚崇的一生不僅體現了他在政治上的遠見卓識和改革精神，同時也反映了他在個人生活中的某些遺憾，如子女教育問題，但這並不影響他作為一代名相在中國歷史上留下的光輝形象。