後遇冬至，百官皆詣勇，勇張樂受賀。上知之，問朝臣曰：“近聞至日內外百官相帥朝東宮，此何禮也？”太常少卿辛亶對曰：“於東宮，乃賀也，不得言朝。”上曰：“賀者正可三數十人，隨情各去，何乃有司徵召，一時普集！太子法服設樂以待之，可乎？”因下詔曰：“禮有等差，君臣不雜。皇太子雖居上嗣，義兼臣子，而諸方岳牧正冬朝賀，任土作貢，別上東宮；事非典則，宜悉停斷！”自是恩寵始衰，漸生猜阻。
勇多內寵，昭訓雲氏尤幸。其妃元氏無寵，遇心疾，二日而薨，獨孤後意有他故，其責望勇。自是雲昭訓專內政，生長寧王儼、平原王裕、安成王筠；高良娣生安平王嶷、襄城王恪；王良媛生高陽王該、建安王韶；成姬生潁川王煚；後宮生孝實、孝範。後彌不平，頗遣人伺察，求勇過惡。晉王廣，彌自矯飾，唯與蕭妃居處，後庭有子皆不育，後由是數稱廣賢。大臣用事者，廣皆傾心與交。上及後每遣左右至廣所，無貴賤，廣必與蕭妃迎門接引，為設美饌，申以厚禮；婢僕往來者，無不稱其仁孝。上與後嘗幸其第，廣悉屏匿美姬於別室，唯留老醜者，衣以縵彩，給事左右；屏帳改用縑素；故絕樂器之弦，不令拂去塵埃。上見之，以為不好聲色，還宮，以語侍臣，意甚喜。侍臣皆稱慶，由是愛之特異諸子。
上密令善相者來和遍視諸子，對曰：“晉王眉上雙骨隆起，貴不可言。”上又問上儀同三司韋鼎：“我諸兒誰得嗣位？”對曰：“至尊、皇后所最愛者當與之，非臣敢預知也。”上笑曰：“卿不肯顯言邪！”
晉王廣美姿儀，性敏慧，沉深嚴重；好學，善屬文；敬接朝士，禮極卑屈；由是聲名籍甚，冠於諸王。
廣為揚州總管，入朝，將還鎮，入宮辭後，伏地流涕，後亦泫然泣下。廣曰：“臣性識愚下，常守平生昆弟之意，不知何罪失愛東宮，恆蓄成怒，欲加屠陷。每恐讒譖生於投杼，鴆毒遇於杯勺，是用勤憂積念，懼履危亡。”後忿然曰：“睍地伐漸不可耐，我為之娶元氏女，竟不以夫婦禮待之。專寵阿雲，使有如許豚犬。前新婦遇毒而夭，我亦不能窮治，何故復於汝發如此意！我在尚爾，我死後，當魚肉汝乎！每思東宮竟無正嫡，至尊千秋萬歲之後，遣汝等兄弟向阿雲兒前再拜問訊，此是幾許苦痛邪！”廣又拜，嗚咽不能止，後亦悲不自勝。自是後決意欲廢勇立廣矣。
廣與安州總管宇文述素善，欲述近己，奏為壽州刺史。廣尤親任總管司馬張衡，衡為廣畫奪宗之策。廣問計於述，述曰：“皇太子失愛已久，令德不聞於天下。大王仁孝著稱，才能蓋世，數經將領，頻有大功；主上之與內宮，鹹所鍾愛，四海之望，實歸大王。然廢立者國家大事，處人父子骨肉之間，誠未易謀也。然能移主上意者，唯楊素耳，素所與謀者唯其弟約。述雅知約，請朝京師，與約相見，共圖之。”廣大悅，多齎金寶，資述入關。
約時為大理少卿，素凡有所為，皆先籌於約而後行之。述請約，盛陳器玩，與之酣暢，因而共博，每陽不勝，所齎金寶盡輸之約。約所得既多，稍以謝述。述因曰：“此晉王之賜，令述與公為歡樂耳。”約大驚曰：“何為爾？”述因通廣意，說之曰：“夫守正履道，固人臣之常致；反經合義，亦達者之令圖。自古賢人君子，莫不與時訊息以避禍患。公之兄弟，功名蓋世，當途用事有年矣，朝臣為足下家所屈辱者，可勝數哉！又，儲後以所欲不行，每切齒於執政；公雖自結於人主，而欲危公者固亦多矣！主上一旦棄群臣，公亦何以取庇！今皇太子失愛於皇后，主上素有廢黜之心，此公所知也。今若請立晉王，在賢兄之口耳。誠能因此時建大功，王必永銘骨髓，斯則去累卵之危，成太山之安也。”約然之，因以白素。素聞之，大喜，撫掌曰：“吾之智思，殊不及此，賴汝啟予。”約知其計行，復謂素曰：“今皇后之言，上無不用，宜因機會早自結托，則長保榮祿，傳祚子孫。兄若遲疑，一旦有變，令太子用事，恐禍至無日矣！”素從之。
後數日，素入侍宴，微稱“晉王孝悌恭儉，有類至尊”。用此揣後意。後泣曰：“公言是也！吾兒大孝愛，每聞至尊及我遣內使到，必迎於境首；言及違離，未嘗不泣。又其新婦亦大可憐，我使婢去，常與之同寢共食。豈若睍地伐與阿雲對坐，終日酣宴，暱近小人，疑阻骨肉！我所以益憐阿｛麻女｝者，常恐其潛殺之。”素既知後意，因盛言太子不才。後遂遺素金，使贊上廢立。
勇頗知其謀，憂懼，計無所出，使新豐人王輔賢造諸厭勝；又於後園作庶人村，室屋卑陋，勇時於中寢息，布衣草褥，冀以當之。上知勇不自安，