朝廷，加封為禮部尚書（此為史實）。
從官爵品級上來看，加封為禮部尚書是升官，但是地球人都知道，在戰爭年代從方面大員調回朝中管教育部，究竟意味著什麼。楊義臣倒是沒敢抗旨不遵做出什麼直接扯旗造反的事情，只是在退兵前如同後來的岳飛一樣拔劍斬石，恨聲長嘆：五年之功，毀於一旦。
據說楊義臣被召回朝中之後，他在河北的剿匪軍隊除了少部分有朝廷編制的被撤回東都、後來也得以跟著朝廷南下之外。其餘大部分楊義臣戰時權變多徵的軍隊，在楊義臣離去後都被遣散了，甚至有不少精兵後來被竇建德拉去從賊——那部分兵馬主要是因為看到了楊義臣遭受的不公正待遇之後，對大隋朝廷再也沒有最後一絲期望和忠誠可言，才憤而投敵的。
楊義臣本人，則在被召回朝中之後，整日鬱鬱寡歡，最後在大業十二年年初的時候疽瘡發背而死——這個症狀死法，據說和史書上記載的亞父范增因為項羽中了陳平的反間計而被逐走後，憂憤而死的病症是一模一樣的。
後人唏噓不已，對楊廣這種自毀長城的舉動無法理解，但是誰讓楊廣就是這麼幹了呢。�