屈居第四，但由於資格老，軍功高，常常氣勢奪人。在這種情況下，鰲拜雖居四輔臣之末位，卻得以擅權自重，日益驕橫，開始走上專權的道路。
康熙初年，以四輔臣為執政核心的清廷不斷調整統治政策，穩定秩序。這些調整包括：在經濟上，實行輕徭薄賦、更名田（即被清廷免價給予佃戶耕種的明代藩王莊田），發展生產；在政治上，注意整頓吏治，有步驟地打擊江南漢族地主階級，放慢攻打南明勢力的程序以存實力，等等。這樣，清朝統治者對全國的統治逐漸鞏固。不過，清朝統治者內部的矛盾卻在加劇。
康熙初年，清廷內部的矛盾主要有以下三個方面。
第一，黃、白旗之爭。黃、白旗之間的矛盾由來已久，最早可追溯至清太宗皇太極之時。皇太極登上汗位之後，不久便將自己掌握的正白旗、鑲白旗改為正黃旗和鑲黃旗，使其地位日益上升。同時，皇太極又將努爾哈赤留給阿濟格、多爾袞、多鐸三個幼子的正黃旗、鑲黃旗改為正白旗、鑲白旗，使其地位漸漸下降。從此，黃、白兩旗之間便產生了矛盾。皇太極死後，黃、白旗為爭立皇帝，關係緊張，後來雖以妥協告終，但彼此成見甚深。多爾袞是正白旗之主，攝政時就很壓制反對他的兩黃旗。索尼、遏必隆、鰲拜均曾得罪，或降職，或罷官。順治親政，政局一變，黃旗抬頭，白旗重又失勢。蘇克薩哈雖以白旗投靠黃旗，但索尼、遏必隆、鰲拜都瞧不起他。黃、白旗之間的矛盾一直延續到康熙初年。
第二，圈地之爭。清初圈地時，多爾袞憑藉攝政的便利，將冀東肥沃之地圈給正白旗，而於保定、河間、涿州等處別撥土地給鑲黃旗。康熙五年（1666），鰲拜提出圈地應按八旗排列順序，冀東的土地按順序應歸黃旗所有，要求和正白旗換地。如果土地不足，“別圈民地補之”。當時戶部尚書蘇納海、直隸總督朱昌祚、巡撫王登聯都反對換地，以免引起大騷動。蘇克薩哈屬正白旗，也堅決反對。但索尼、遏必隆則支援鰲拜，形成四輔臣之間的利益衝突。
第三，鰲拜與康熙之爭。鰲拜是一個赳赳武夫，歷事三朝，但表現前後有異，原因或許在於他輔佐順治，皇太極餘威、餘恩猶存，而且順治也是他力爭而立的，所以還能忠心耿耿，可康熙玄燁就不一樣了，此時他是三朝老臣，且掌握輔政大權，對年幼的康熙就不那麼看得入眼了。這種情形就好像當年阿濟格私下稱呼順治為“孺子”一樣。不同的是，阿濟格還只是背地裡表示，而鰲拜卻漸漸公然表露。在朝堂之上，鰲拜常常當面頂撞小皇帝，也當著皇帝的面，呵斥大臣。
朝賀新年時，鰲拜身穿黃袍，僅其帽結與康熙不同。假如鰲拜遇上個末世也就罷了，其皇帝只能忍氣吞聲，徒嘆奈何，可當時的清廷還處於上升態勢，小皇帝康熙也不是等閒之輩，鰲拜如此行事，遲早會下場不妙。
有一次，鰲拜裝病，康熙去探望他，鰲拜臥床，席下放一把刀。康熙的侍衛搜出這把刀，局面很是尷尬而緊張。小皇帝卻從容鎮靜，笑著說：“刀不離身是滿洲故俗，不要大驚小怪！”鰲拜的跋扈，小皇帝的機智應變，都可以想見。
鰲拜處於這些矛盾的中心。很明顯，鰲拜挑起換地事件，用意在於利用黃、白旗積怨，削弱反對自己的正白旗勢力，打擊政敵蘇克薩哈。在打擊對手這方面，大權在握的鰲拜可謂輕車熟路。此前他就曾整治過內大臣費揚古。費揚古之子倭赫是康熙身邊的侍衛，在御前對鰲拜表現得不怎麼禮貌，鰲拜對此深為銜恨。
康熙三年（1664）四月，鰲拜遂以倭赫等人擅騎御馬、取御用弓矢射鹿之罪名將其處死。費揚古對鰲拜痛恨不已，鰲拜又以“怨望”的罪名，將他及其子尼侃、薩哈連一併處死，家產籍沒，給予都統穆裡瑪（鰲拜之弟）。費揚古一門慘遭家破人亡之禍。不過，鰲拜這次意圖打擊蘇克薩哈的舉動卻失算了，直接導致了自己的下臺。
鰲拜沒有想到卻有三個不怕死的官員敢於違拗自己換地的要求。他對戶部尚書蘇納海、直隸總督朱昌祚、巡撫王登聯三人極為惱怒，分別以蘇納海“藐視上命”、撥地遲誤，朱昌祚、王登聯“紛更妄奏”的罪名，俱論死罪。康熙雖然年幼，但心知蘇納海等三人並沒有什麼大罪，只不過是惹怒了鰲拜而被妄加罪名而已，於是召集輔政四大臣詢問意見。鰲拜堅持要將三人處以極刑，索尼、遏必隆附和，蘇克薩哈知道自己若反對極易惹火燒身，只好沉默不語。
但年僅11歲的小皇帝卻極有魄力，堅持不允鰲拜所奏，只是批准刑部擬定的處罰，即將三人各鞭一百，沒收家產。