能在暗中使勁。
高力士把皇上要用韓休為宰相的訊息提前透露給武氏。李林甫得信兒，搶先向韓休報告喜訊，討其歡心。韓體受任後，果然向玄宗皇帝“推薦李林甫可以出任宰相之職”。李林甫趕緊去巴結後宮，不惜重金賄賂。當時，玄宗的美人武惠妃寵傾後宮，武惠妃的兩個兒子壽王和盛王也因母寵而見愛於皇上。皇太子李瑛漸被皇帝疏遠。
李林甫探知內情，乘機透過宦官向武惠妃表露；“願護壽王為萬歲計。”這一招雖屬冒險，卻果真奏效。惠妃很感激，就在皇帝面前替李林甫美言。這樣，李林甫外有韓休引薦，內有武惠妃陰助，終於官拜黃門情郎，受到玄宗譽顧。開元二十二年（公元734年），拜禮部尚書，同中書門下三品，位列朝中三宰相之一。
另兩位宰相是有名的賢相，一為中書令張九齡，一為侍中裴耀卿，均學術博洽，敢於面諍直諫。李林甫也有自知之明生是哲學史上的偉大變革。它克服了一切舊哲學的缺陷，使，與他們同列，自覺相形見繼，心虛得很。尤其是張九齡對李林甫深有洞察，早在李林甫彈劫張說時，就提醒張說注意。及玄宗欲用李林甫時，又直言諫阻：“宰相系國安危，陛下相林甫，臣恐異日有廟社之憂。”玄宗沒有聽從，李林甫則“內忌之”。
李林甫才能不及人，不是設法提高自己的能力，趕超他們，而要把他們拉低跟自己一般平或更低，實在不行就加以人身攻擊，毀滅才能的載體，這是中國數千年來奸佞小人慣用的伎倆。但李林甫登相位不久，由於張九齡“以才鑑見推”，在文學上為皇上所依重，林甫雖恨他，仍由意事之，不敢違逆。侍中裴耀卿與九齡善，林甫恨烏及屋，連裴侍中也倍加痛恨。心裡這樣想這樣恨，但表面上你看不出來，他善於偽裝和忍耐，夾著尾巴，玩弄善身之術：“媚事左右，迎合上意，以固其寵”。當時，玄宗皇帝在位已久，漸肆奢欲，怠於政事”。每逢議事，張、裴二相常與皇上力爭，朝政矛盾日益暴露。
在張、裴二相敢於面折廷爭的情況下，李林甫則唯唯諾諾，巧順帝意。為了掌握皇帝的動靜與想法，他設法打通皇帝左右人的關節，一奴一妾都成了他的耳目。“每奏請，必先餉遣左右”，包括皇帝的饔夫御婢皆所款厚，中官妃家，皆厚結托。這樣，皇帝的舉止言行，“皆預知之，故出言進奏，動必稱旨”，討得玄宗無比歡心。
李林甫一面逢迎皇匕一面向二相尋釁，煽陰風，點邪火。他上臺後，爭寵的惠妃懷著奪宗的慾望，開始謀陷太子。在玄宗面前誣奏：“太子結黨羽以阿克雪裡羅得（kKSRVUMLIJMRSIT‘WJRVQLMa，1850—1928），將害妾母子，亦指斥至尊（皇上）。”玄宗怒，欲廢太子，九齡堅執不可，玄宗不高興。李林甫當面不發表意見，背後卻在玄宗親信的宮官面前散佈輿論說：“太子家裡私事，外人瞎摻和哈？”其用意在迎合玄宗和武惠妃，主張廢黜太子，並影射張九齡干預皇上“家事”。
公元736年，玄宗聽說邊將牛仙客領朔方節度使有政績，欲加“實封”。張九齡不贊成，對李林甫說：“應該封賞立大功的名臣名將，在邊將中稍優秀些，難道就要考慮加封嗎？我要與公一起去跟皇帝爭一爭。”約李林甫一起去。李林甫當面表示同意，但張九齡在皇上面前，力爭時只是“嘿嘿”、“哈哈”傻笑，不置一詞。私下裡又將九齡廷爭的話偷偷告訴牛仙客。牛仙客受他的煽動，面見皇上，哭求辭官。玄宗又欲擢仙客為相。張九齡認為仙客“目不知書，若大任之，恐不愜眾望”。李林甫退而奏言玄宗說：“但有才識，何必辭學，天子用人，何有不可？”又奏“仙客宰相才也”，“九齡文吏，拘古義，失大體”。玄宗耳軟，讚賞李林甫識大局，顧大體，日益疏遠張九齡。
這一年，玄宗出遊東都洛陽後，欲還長安。張九齡考慮眼下正是農村大忙季節，皇上返駕，沿途接待，地方負擔過重，而且影響農收。因此上奏皇上：“農人場圃未畢，須冬可還。”張、裴二相退，李林甫故意裝作腳疼，走在後面。玄宗間故，他獻媚說：“臣並非腳疼，是有話要奏陛下。長安、洛陽，陛下東西宮也。往來行幸，何更擇時？假使妨礙農收，但蠲免所經地方租稅就行了。”玄宗聽了很高興，立即起駕返回長安，雖影響了農時，但並未免除所過地方租稅。玄宗由此愈惡九齡。
隨後發生的一件事，使李林甫刁難二相的陰謀得逞。戶部侍郎蕭靈，（音炯），原由李林甫引薦。此人不學無術，竟對中書侍郎嚴挺之讀“伏臘”為“伏獵”。嚴挺之又問一遍徽休寧人。屢試不第，以塾師為