舊地。過了一年多後，因南陳舊地爆發全面的叛亂楊堅就轉任他為幷州總管二十四州諸軍事。
起初，楊俊頗有作為，因此讓楊堅相當高興，甚至下過旨獎勵他。但之後他開始漸漸奢侈起來，還有違反制度的行為，放起高利貸，讓他的轄區人民官吏大感痛苦。於是楊堅派使者去調查，結果因為楊俊的事獲罪的官吏達百餘人。即使如此，楊俊還是不改他的行為，繼續建築豪華的宮殿，窮極奢侈與華麗。每當他有特別的巧思時，就親自拿起工具製作器具，並拿華麗的珠寶玉石去裝飾。還為他的妃子製作七寶幕籬與水殿，香塗粉壁、玉砌金階，樑柱之間又以明鏡環繞、裝飾寶珠，極盡華美之所能事。只要有賓客與妓女來的時候，楊俊便與他們在這裡一同絃歌。
楊俊喜好美女擁有還多有姬妾，然而他的王妃崔氏善妒，為此憤憤不平，便在瓜中下毒，楊俊因此身體不適，回到京師長安。楊堅因為他生活太奢侈驕縱，便將他的官位都免去，讓他純粹做一個親王，要他安份地待在他的王府裡。左武衛將軍劉升進諫說：“秦王非有他過，但費官物營�舍而已，臣謂可容。”楊堅答曰：“法不可違”。劉升本還想勸說，看到楊堅真的生氣後才識趣的沉默了，之後楊素也覺得楊俊受到的懲罰有點太重就進言到：“秦王之過，不應至此，願陛下詳之”。對於這位朝廷重臣楊堅不像對劉升一樣直接地拒絕而是解釋道：“我是五兒之父，若如公意，何不別制天子兒律？以周公之為人，尚誅管、蔡，我誠不及周公遠矣，安能虧法乎？”最後還是沒有恢復楊俊的官職。
後來楊俊的健康狀況越來越差，已經不能起床，便請使者上表陳述。楊堅對他的使者說：“我戮力關塞，創茲大業，作訓垂範，庶臣下守之而不失。汝為吾子，而欲敗之，不知何以責汝”！楊堅的話弄得楊俊慚愧的同時感到恐懼使得病情更加的嚴重。後來大都督皇甫統上表，請求恢復楊俊的官職，但仍沒有得到同意。一年多以後，楊俊病危，楊堅這才恢復他上柱國之位。
開皇二十年六月二十日，楊俊薨於仁壽宮。楊堅廢朝而悼傷，獨孤皇后輟膳而摧痛。楊俊所有華麗奢侈的遺物，楊堅下令全部燒掉，並命令送終的用具都一定要儉約，才能讓後世效法。王府的幕僚請求立碑紀念，楊堅說：“如果想要留名，記在一卷史書上也就夠了，哪還需要用到石碑？如果子孫不能儲存家業，以後石碑也不過是給人拿來做鎮石而已。”
楊俊一生因楊堅安排有才之人的教導，在才能方面也可以說是能文能武，功業方面也算是有一定成就的。只是在後來像大哥楊勇一樣犯了“公子病”，最後落得個被女人下毒弄死的下場。楊俊是楊堅最早死的兒子，而且他在很早的時候就不被楊堅重用，所以他根本不是楊廣的對手。
老四楊秀。史書記載楊秀容貌奇特雄偉，有膽量有氣魄，喜歡武藝，比較有個性。開皇元年（581），被立為越王，不久，徙封蜀王，任柱國、益州史、益州總管，都督二十四州諸軍事。開皇二年（582）年，進位上柱國、西南道行臺尚書令。592年，任內史令、右領軍大將軍。不久之後再度出鎮蜀地，楊堅對於這個兒子也是派遣有才之人來教育輔佐他。楊秀出鎮蜀地時日之久比二哥楊廣鎮守江南長，可謂是權傾一方。對於這個很有個性且並不太聽話的兒子，楊堅也曾表示過擔心，他對孤獨皇后說：“秀必以惡終，我在當無慮，至兄弟必反。”
西南邊境出現戰事，大將軍劉噲之奉命征討。同時楊堅令上開府楊武通領兵跟進，作為後續部隊。楊秀派嬖人萬智光為武通行軍司馬，楊堅認為楊秀任非其人，譴責之。對此楊堅謂群臣曰：“壞我法者，必在子孫乎？譬如猛獸，物不能害，反為毛間蟲所損食耳”。於是遂漸分化楊秀的權力。
開皇十三年，益州的總管長史元巖在任上死了。楊秀曾經想用蠻人作太監，又想將活著的死刑犯剖腹，取出死囚的苦膽作藥。每次元巖都不聽從命令，徑直到蜀王宮中極力進諫，楊秀每次在認錯之後，不再作這樣的事，他畏懼元巖的為人，做事時每每遵循法度。元巖死後沒有人壓制的楊秀日漸奢靡驕縱，造渾天儀，多捕山獠充當宦官，車馬衣服違反制度興建宮殿比擬皇帝。皇太子楊勇被廢，晉王被立，楊秀很是為楊勇憤憤不平。後來在楊堅給楊秀整了十條大罪剝奪他的一切，並軟禁起來了。事後楊堅感嘆說：“元巖若在，吾兒豈有是乎！”表現出一種失望與無奈。
老五楊諒。楊諒，字德章，一名傑。開皇元年（581），被封為漢王。十二年（592），為雍州牧，加上柱國、右衛大將軍，不久又轉左衛