升，前改名為浚，至是又改名為璵，四子嗣真，改名為琰，五子嗣初，改名為瑤，六子嗣玄，改名為琬，八子涺，改名為琚，壽王清，亦改名為瑁，此外尚有十餘子，如璲琦璬璘玢環瑝玼珪珙瑱璿等，偏旁初皆從水，至是盡易新名。太子瑛及弟鄂王瑤，光王琚，均因生母失寵，有怨望語。林甫偶有所聞，遂告駙馬都尉楊洄，令入白惠妃。惠妃乘玄宗入宮，即向前跪下，乞請退居閒室。玄宗驚問何故？惠妃未曾出言，先已淚下，嗚咽許久，才斷斷續續的說道：〃太子陰結黨羽，將害妾母子，且指斥陛下。妾想太子久已正位，關係國本，若使太子不安，寧可將妾廢置，陛下也免得受謗哩。〃
以退為進，確是狡婦口吻。
玄宗聽到此言，忍不住拍案道：〃豈有此理？他本非嫡出，明日便當廢去。〃惠妃又進言道：〃鄂王光王，也與太子同黨，若太子一動，二王亦將生變，不如俯從妾言為是。〃再激動玄宗數語，並牽及二王，刁極惡極。玄宗益怒道：〃瑤琚也這般不肖，當一併廢去。〃惠妃見玄宗已經中計，反帶哭帶勸，請玄宗息怒保身。看官！你想這溺愛不明的玄宗皇帝，尚能逃得出豔妃掌中麼？當下扶起惠妃，替她拭淚，也好言慰解一番。是夕，便與惠妃同寢。一宵無話，次日視朝，即面諭宰相，擬廢太子及鄂光二王。張九齡抗奏道：〃陛下踐祚將三十年，太子諸王，不離深宮，日受聖訓，天下皆慶陛下享國長久，子孫蕃昌，今三子皆已成人，不聞大過，陛下奈何輕信蜚言，遂欲廢黜呢？從前晉獻公聽信驪姬，殺太子申生，三世大亂。漢武帝信江充言，罪戾太子，京城流血。晉惠帝用賈后讒，廢愍懷太子，中原塗炭。隋文帝納獨孤後語，黜太子勇，改立煬帝，遂失天下。古人有言：'前車覆，後車鑑。'陛下必欲出此，臣不敢奉詔。〃言亦痛切。玄宗默然無語，面有慍色。九齡卻毫不改容，徐徐引退。及散朝後，惠妃密使宮奴牛貴兒，走白九齡道：〃有廢必有興，公若肯援助，相位可長處了。〃九齡怒叱道：〃宮閫怎得與外事？休再向我饒舌！〃及牛貴兒別去，九齡即詳達玄宗，玄宗乃暫置前議。
武惠妃深恨九齡，遂與李林甫串同一氣，內外排擊。玄宗本因九齡文雅，大加賞識，至此為寵妃奸相，日夕浸潤，也不免冷淡起來。會平盧討擊使安祿山，為張守珪所遣，討奚契丹叛黨。祿山恃勇輕進，為虜所敗，守珪奏請正法，祿山臨刑大呼道：〃公欲滅奚契丹，奈何殺壯士？〃守珪聽了，暗暗稱奇，乃更執送京師，聽候發落。欲誅竟誅，稍一因循，便留大患，守珪不為無咎。九齡覽到移文，即援筆批答道：〃昔穰苴誅莊賈，孫武斬宮嬪，軍法如山，何容瞻徇！守珪軍令若行，祿山不宜免死。〃及玄宗親自按囚，見祿山狀貌魁梧，不忍加誅，且於九齡有不足意，竟下詔特赦。九齡固爭道：〃失律喪師，不可不誅，且祿山貌有反相，不殺必為後患。〃玄宗冷笑道：〃卿勿以王夷簡識石勒，事見《晉史》。枉害忠良。〃九齡知不可爭，方才退出。既而上《千秋金鑑錄》，累述前代興廢源流，共書五卷。玄宗雖賜書褒美，也不過表面敷衍罷了。原來玄宗生日，號作千秋節，群臣統獻寶鏡。九齡謂取鏡自照，徒見形容，取人作鑑，乃見吉凶，因此有《金鑑錄》的撰述。玄宗已漸漸入迷，哪裡還知借古證今呢？
朔方節度牛仙客，自判官累次遞升，李林甫欲引為臂助，屢向玄宗前說項。玄宗擬召為尚書，張九齡又諫阻道：〃尚書系古時納言，不宜輕授，仙客恐難當此任。〃林甫面駁道：〃仙客具宰相才，何止尚書。〃玄宗遂加封仙客隴西縣公，將加大用。林甫又引蕭炅為戶部侍郎，蕭本無學術，嘗讀伏臘為伏獵，中書侍郎嚴挺之，語九齡道：〃何來伏獵侍郎，混雜省中？〃九齡因劾炅不學，出為岐州刺史。林甫怨九齡兼怨挺之。會挺之妻被出，轉嫁蔚州刺史王元琰，元琰坐贓犯罪，下三司按鞫，挺之卻替他營救。林甫謂挺之私袒元琰，應使連坐。玄宗轉問九齡，九齡道：〃元琰納挺之出妻，還有甚麼情誼？想是贓罪未實，所以秉公辨誣。〃玄宗微哂道：〃世間恐無此好人，朕聞挺之雖然離婚，近復與前妻有私，因此出來幫忙。〃想是林甫捏造出來，但挺之不自遠嫌，亦應使人動疑。九齡不便再言，只好轉浼裴耀卿，代救挺之。耀卿乃代為申請，林甫乃上言：〃耀卿九齡，俱系朋黨。〃於是耀卿調任左丞相。九齡調任右丞相，並罷政事，貶挺之為洺州刺史，流王元琰至嶺南，升任林甫兼中書令，召入牛仙客為工部尚書，同中書門下三品。制敕既頒，林甫顧語僚吏道：〃九齡尚得為右丞相麼？〃又語諸諫官道：〃今明主在上，群臣樂得將順，何苦多言。且諸君不見立