色，尤其寵愛昭訓雲氏。開皇十一年九月，他的妃子元氏子息心疾而死。元妃是獨孤皇后為勇所配，懷疑勇，並派人偵勇罪過，勇失愛於父皇與母后。
文帝次子楊廣覬覦太子之位已久，明白哥哥失寵於父母的原因，就更加刻意矯飾自己。他只與蕭妃居住，文帝到他的居所，他藏美妾於別室馬克思學說的歷史命運列寧著。1913年發表。編入《列，僅留穿粗布老嫗侍左右，樂器上弄滿堂上，文帝以為廣不好聲色。楊廣又賄賂宮室，上下稱廣“仁孝”。看相的術士對文帝說：晉王廣“貴不可言”，嗣皇位者，“皇后所最愛者當與之”。在這一系列假象的矇蔽下，文帝遂有廢勇之意。接著，楊廣乘機人宮在獨孤皇后面前痛哭失聲，偽稱太子勇要殺他。獨孤氏大怒，咒罵楊勇如“豚犬”，決意廢太子勇。
廢立太子是國之大事，宰相是要參加決策的。這期間，右相楊素態度曖昧，坐觀時變，而左相高熲則不然。早在平陳之時，他因殺美人張麗華而得罪了楊廣，又與楊勇是兒女親家。開皇十九年六月，文帝試探高熲說；“有神告晉王妃，言王必有天下。”領回答說；“長幼有序。”文帝沉默不語。獨孤皇后知道高熲的態度不可改變，便設法除掉熲。隨後，文帝令選東宮衛士入上臺宿衛，以此削弱東宮勢力。高熲對此持反對態度，奏稱：“若把東宮強者抽掉了，恐東宮宿衛太弱。”文帝變了臉色說：“天子宿衛要勇者，太子何須壯士？你難道要我蹈前朝的覆轍嗎！”因而懷疑穎與勇姻親為奸，不滿之情溢於言表。獨孤氏見此，也乘機挑撥，令人妻熲謀民文帝益信。
八月，文帝罷免高熲上柱國、右僕射，除名為民。楊素是高熲椎薦的，又身居右相，他可以出來為之辯冤。可他卻沉默不言，不僅表明他是忘恩負義之徒，而且暴露出他有坐收漁人之利的意圖。果然，從這年九月開始，他獨掌相權，成了廢立太子的關鍵人物。
當時，宇文述是楊廣的心腹，他對楊廣獻計說：“誠然，皇太子失愛已久，大王才能蓋世實存主義即“存在主義”。，可是，廢立者，國家大事，並非易事，然能移主上意者，唯楊素耳，素所與謀者唯其弟楊約。我與楊約是朋友，先與約謀，則大事可成。”
楊廣大喜，派宇文達賄賂楊約，並諭旨皇帝、皇后有廢勇立廣之意。楊約對楊素講了這事，楊素拍掌說：“我沒有考慮到，靠你啟發，但不知皇后所言虛實，若是這樣，我一定於。”
楊素拜見獨孤皇后，微稱普王仁孝與文帝相類，以此試探。獨孤氏流淚說：“你講得對，他很孝順，我真害怕勇兒害了他啊。”楊素立即攻擊勇“不才”。獨孤氏重賞了場素，讓他參決廢勇立廣的陰謀。
楊勇聽到了風聲，不知如何是好，文帝亦知勇不安，派素去東宮觀察他的動靜。楊勇得到來報，穿著禮服等著接待素過揚棄“非我”而豐富和實現自身。“自我”設定“非我”的，可素故意不進門，以激怒楊勇。勇知素侮辱他，憤慨形於顏色。素回報文帝：“勇怨望，恐有他變，願深防察。”文帝更加懷疑勇。
獨孤氏派人收集勇的過失，加以添油加醋上報文帝。楊廣也賄賂東宮倖臣姬威，羅織楊勇罪名，於是，“內外喧謗，過失日聞”。文帝信以為真，遣人摒去東宮侍衛，加強自己宿衛。太史令袁充對文帝說：“我觀天文，皇太子當廢。”文帝說：“天意如此，朝臣不敢說什麼了。”遂決定廢勇。
開皇二十年九月，文帝在大興殿召叢集臣，逮捕太子左庶子唐令則等數人，令楊素宣佈東宮罪狀，素偽稱道：“開皇十七年，我奉敕皇太子嚴辦劉居士餘黨，太子不理。反而說：‘居士餘黨已伏法，你是右相，自己去辦理吧，與我何干。’又說：‘昔日父皇代周，若事不成，我第一個被殺，如今做了天子，竟待我不如諸弟’。”
文帝說；“此兒不堪承嗣久矣，我雖不如堯舜，終不能以萬姓付不肖子！我恆畏其加害，如防大敵，今欲廢之以安天下。”
左衛大將軍元是苦諫：“廢立大事，千萬別聽讒言，將來悔之莫及！”
在楊素授意下，姬威製造謊言，誣陷楊勇曾說“父皇在開皇十八年當死”云云。
文帝聽此，傷心地說：“哪一個人不是父母所生，乃至於此！”立即下令囚禁楊勇，收其黨羽。這中間，楊素舞文巧低，鍛鍊以成其獄。有司稟承素意，奏元昊是勇同黨，將其逮捕入獄。楊素逼楊勇招供養馬千匹是想謀反，勇自辯說：“國家有馬數萬匹，我為儲君，養馬千匹，怎能說是謀反呢？”楊素又把東宮服、玩等物陳列於庭，讓人觀覽，以示勇之罪惡。