干預起了朝政，諸王手中都握有兵權，這對皇太子李隆基構成了潛在的威脅。為了穩定局勢，景雲二年（711年），姚崇與宋璟秘密上奏唐睿宗，建議將宋王李成器、豳王李守禮外放為地方刺史，同時調整岐王李隆範和薛王李業的職位，由羽林將軍改為東宮屬官，並提議讓太平公主遷居東都洛陽。這個建議激怒了太平公主，她指責李隆基，導致李隆基被迫向皇帝上奏稱姚崇離間宗室關係。結果，姚崇被貶為申州刺史，後來又先後擔任揚州長史、淮南按察使、同州刺史等職。
儘管屢次遭遇政治上的挫折，但姚崇在其任職的地方依然保持簡肅的政法作風，吏治清明，因此得到了當地百姓的高度讚揚，併為其立碑頌揚。姚崇的一生體現了他對國家的責任感和對正義的堅持，即便是在逆境中也未改變其治理國家和服務人民的決心。