王安石最後只落了一個兒子。這個兒子聰明外露，古怪任性，而又殘忍兇暴，王記集團許多惡行他當負其責任。現在他已長大成人，他已經開始管理家中的錢財，他的叔伯不再能像往常那樣亂用王安石的錢。這個權傾一時的宰相的傲慢無理的兒子，以為憑態度惡劣，由他的令人厭惡，便可以顯得出人頭地。據說，新政初期，一天，道學家程源正在王安石家開會。這個兒子出現了，頭髮散亂，赤足無鞋，手拿女人的頭巾，一直走到父親跟前，問他們正在說什麼話。
王安石回答說：“我正和程先生談論新政，我們的新政總受到別的大臣批評。”
兒子一下子坐在大人坐的座位上，大笑道：“只要把韓琦和富弼的頭砍下來就夠了。”
王安石自己為他兒子受了什麼罪，隨後自可看到。王家不是和睦可喜的一家人，因為這一家有兩個叔叔，一直不贊成王安石的做法，特別警告王安石提防呂惠卿那個騙子。孔夫子一次說人應當“驅鄭聲，遠佞人”。有一天，王安石正和呂惠卿商討政事，弟弟安國在外面吹笛子，王安石向外面弟弟喊道：“停此鄭聲如何？”弟弟應聲回敬道：“遠此佞人如何？”
現在這一幫派很擔心他們的前途。但是呂惠卿並沒完全失望，而且正好看到自己得勢之日已近，取王安石而代之機會到了。世界上有些人能隨意操縱眼淚，呂惠卿和鄧綰便是此等人。他倆去見皇帝，以一副極為動人的樣子在皇帝面前哭，好像他想到國家的前途就悲從中來。應用他們動人的口才，又把皇帝拖回了原來那條老道路，而呂惠卿也官拜了宰相之位。
現在爭吵真正開始了。全國的市易務官呂嘉問這時遭到彈劾。市易務的濫權枉法的報告，自然傳到皇帝耳朵裡。皇帝問王安石，那時王安石還在京都。
王安石回奏道：“嘉問一向認真守法，自然樹敵甚眾，所以才受攻擊。”
皇帝說：“但是朝廷從商稅方面收到的錢的確很少，而且我很不喜歡官家賣水果、賣水、賣煤這等事，對朝廷太不體面。”
王安石回奏道：“陛下不必為這些小事操心，這是低階員司管的事，皇帝只要留心朝廷的主要政策就行了。”
皇帝回答道：“即便如此，可是為何朝廷上人人把這種措施看做暴政呢？”
王安石回答道：“請把那些人的名字交給臣。”
這些骯髒齦塘的口角爭吵，不值得詳談。實際上的內幕是市易務官呂嘉問身居要津，開始公然蔑視條例司，汙辱了一個叫薛向的官員，而曾布卻偏袒著薛向，攻擊呂嘉問，呂嘉問因而免職。呂惠卿和曾布奉命調查此一案件。呂和曾二人一向交惡，二人與王安石的關係，正如史塔林與托拉斯基之與列寧一樣。在調查期間，呂惠卿開始攻擊曾布，曾布也開始攻擊呂惠卿，曾布垮臺。
這是糾紛的開端。呂惠卿而今成了朝廷唯一的魁元。他不但抓住鄭俠案件的機會罷黜了王安石的弟弟王安國，又藉著無處不在的鄧綰的幫助，想把王安石牽連在山東省一個謀反案件中，其實那是由一個親王發動的。王安石被控與叛逆串通，因為他與一逆賊是朋友。還有另一個閣員，也曾名義上做過宰相，他與呂惠卿極不相容，他想使王安石官復原職，用以抑制呂惠卿。他除去請皇帝罷黜呂惠卿，重用王安石之外，又送一密函與王安石。控告謀反自然事極嚴重，王安石以七日之內，火速晉京。
王安石與謀反一案確無干系，在神宗熙寧八年（一0七五）二月，又重任宰相。
這時使鄧綰有幾分尷尬，他只好連忙背棄呂惠卿，又投入王安石這邊來。為了重獲王安石的青睞，他決定出賣呂惠卿。鄧綰揹著王安石，暗中和王安石的兒子勾結，控告呂惠卿勒索華亭商人五百萬緡。朝廷降呂惠卿官，出為太守。鄧綰以呂惠卿如此輕易逃過，心有不甘，乃聯合呂嘉問請求重新審問，將呂惠卿羈押在京師的御史臺監獄中。
一度權勢炙手可熱的小人權要，—一遭到罷黜，鄧綰也非例外。鄧綰還依然是精力充沛，他親眼看到呂惠卿垮臺，又看出皇帝對王安石也日形厭倦。他以天縱陰謀之才，洞燭機先，心想下一個身攬大權的人必是王安石的兒子和女婿。他上一表章，請皇帝將此二人升遷重用。但是王安石和皇帝對鄧綰的變節背信早已厭膩，不但不心存感激，反將他罷官斥退。鄧綰現在對人性應當是失去了信心吧！
呂惠卿在御史臺監獄等待審判之時，他對王安石發出了最後的一擊。原來那些年他儲存了王安石的一些私人信件，以備敲詐之用。現在他把這些信都呈交給皇帝，控告王安石