儘管王緒再三分辨京兆尹沒有能力制止此類事件發生，而且當時負責保衛王妃和世子安全之人，是軍隊，並非京兆尹和縣衙。
但紫微閣還是以三票贊成，一票反對，一票棄權的多數票，認定京兆尹負有責任。
王妃管家已經提前兩天通知過縣衙，王妃將去安晉寺做法事，而官府沒有派人去安晉寺檢查，這本身就是官府的失職。不能用失職作為免責的理由。
紫微閣隨即提出了罷免京兆尹王肅的建議，等楊元慶批准後生效。
中午時分，一輛馬車在十幾名隨從的護衛下駛出了晉陽宮，向太原城駛去。
馬車裡，裴矩默默地注視著大街上的幾個孩童追逐奔跑，孩童們臉上燦爛的笑容讓他想起了自己的童年，似乎他的童年也沒有這樣快樂過。他童年的記憶中，只有父親嚴厲的目光和冷冰冰的戒尺，以及堆積如山的書籍。
大街上又迎面走來幾個賣完菜準備出城的老農。他們臉上那心滿意足的笑容，那種無憂無慮的神情，也讓他感到一絲悵然。雖然他做相國已經十幾年，位高權重，卻從來沒有過這種無憂無慮的笑容。
裴矩感到心中有一種難以言述的疲憊之感，這種疲憊之感是來源於一種對自己命運難以把握的焦慮。
在今天紫微閣的投票中，他投下了棄權票，當最後罷免案的結果出來時，他便知道王家已經完了，王肅不過是第一步，下一個將是王緒，王家結束後。就輪到了裴家。
其實裴矩早就知道會有這樣的結果，半年前，楊元慶升裴青松為記室參軍，就已經在暗示他，將來接替他為相的人。不會再是裴家子弟，楊元慶已經用記室參軍之職作為給裴家的