有著如此不能化解的仇怨。每每想到武皇后的手段和權勢，韋正矩就不禁冷汗直流。
特別是到上朝任職的時候，武皇后集團掌握實權的官員如許敬宗、李義府之流，總是在人前人後對這位新任駙馬擺出一副嗤之以鼻的模樣，在權利之爭中，韋正矩往往敗下陣來。
這也未免與韋正矩當初的設想差得太遠了。他對自己的待遇十分不滿，但又不敢、也沒有能力與權臣們明爭暗鬥，於是他遷怒於新城公主，痛恨她不為自己考慮，不肯去逢迎武皇后化解宿怨。
特別是想到，按照禮制自己一家都要對公主以君臣之禮恭敬這一點，韋正矩更是忿忿不平，認為自己娶這個公主，實在是失算了，得不償失。
在這樣的情形下，漸漸的，韋正矩撕去了謙謙君子的偽裝。不但不遵守制度所規定的侍奉公主禮儀，甚至還常常對新城公主冷嘲熱諷，出言不遜。
而這麼想的不止韋正矩一人，幾乎整個韋氏家族都對此頗有同感。韋家人都覺得，這位與皇后結下仇怨的公主，遲早會給家族帶來災難。更何況新城公主在兩次婚姻中都一直沒有生育，所以韋家不但沒有誰出來勸阻韋正矩，反倒都不聞不問甚至煽風點火。
新城公主自出世以來，幾時受過這樣的氣？她忍不住想要向哥哥訴苦。
然而此時的高宗李治，已經不是當年那個曾與晉陽公主相擁而泣、思念母親的小皇子了。
自顯慶三年（六五八）以來，高宗的身體日漸虛弱，患上了一種嚴重的“風疾”，頭痛劇烈的時候，甚至恨不得一頭撞死過去。在這樣的情形下，他將朝政交給皇后武則天全權處理，自己則隱居深宮養病。時間一久，武則天掌控住了大唐王朝的命脈，成為王朝幕後的操縱者。
可想而知，李治全副心思都放在了自己性命上頭，連自己的王權都丟到了一邊，朝政都無心管理了，哪裡還有心思去管小妹