雖然太宗皇帝沒有下達封太子的詔書，但這種情況，儼然是太子的不二人選。
此刻的楚王，意氣風發。
但就在太平興國七年，也就是公元九百八十二年，太宗皇帝害怕自己的皇位被秦王趙廷美奪去，與宰相趙普誣陷趙廷美與當時的兵部尚書盧多遜密謀造反。
這只是太宗皇帝打壓秦王的一種手段。
並無什麼實在的證據，趙元佐知道內情後，想替秦王求情，言道秦王是他的四叔，更是太宗的親弟弟，不應這麼對他。
但是太宗皇帝為了皇位穩固，沒有搭理趙元佐。
就這樣，秦王被降為涪陵縣公，從京都遷居到房州，不過一兩年的時間就吐血而亡。
至於趙廷美到底是怎麼死的，到現在也說不清楚。
趙元佐因為這件事情受了刺激，精神狀態一直不太好，據說還因為一點小事，將當時在一旁伺候的侍者給殺了。
這個只是傳聞，時間過去這麼，也不知真假如何。
雍熙二年，趙元佐的病情略有好轉，但也僅僅只是有所好轉，所以在重陽節設宴時，就沒有叫趙元佐。
等宴會散去，陳王趙元僖去看望趙元佐，趙元佐才知道他們設宴，卻獨獨沒有叫他，憤怒之餘縱火燒宮。
這下徹底把太宗皇帝給惹毛了。
覺得趙元佐是對自己不滿，於是將他廢為庶人。
從此便與皇位無緣了。
大家心裡都清楚，楚王就是被他的二弟趙元僖給坑害了。
只是沒人替趙元佐說話。
被廢為庶人後的趙元佐，又遷回了之前的府邸，畢竟還是皇帝的兒子，雖然不能繼承皇位，但好歹還有這麼個身份在。
趙元佐在先帝登位後不久，恢復了爵位，一直到天聖五年也就是公元一零二七年才去世。
比先帝活的都還要久。
去世後被官家追封為齊王。