三條 讓位，白河天皇登基，在位十五年，退位設院廳，控制朝政，稱為“院政”。院廳之政令文書稱為“院宣”，凌駕於天皇詔書之上，攝關不得干預，此舉致使攝關勢力大為衰落。權之愈大，欲之愈大，上皇逐漸腐化墮落，奢侈無度。遇有多名上皇在世，雖分長幼掌管朝政，但仍會因政見不合而紛爭不止。在此混亂時代，武士勢力不斷擴充套件合併，形成“大武士團”，首領多為名門望族，勢力最大者為源、平兩家。兩家共同輔政，若有不歸王化者，兩家共同處罰。
源氏之姓出自皇室，始於嵯峨天皇賜姓諸皇子時期。日本皇族有名而無姓，唯名門望族有姓，賜姓皇族實質上將皇族降為朝臣。此後，賜源姓之舉層出不窮，清和天皇之孫經基王被賜源姓，稱為清和源氏。經基王之子源滿仲因協助攝關藤原氏策動“安和之變”有功，受重賞，後任攝津守護。
平氏也出自皇室，旁支眾多，以桓武平氏最強。桓武平氏出自桓武天皇子孫，桓武之孫高棟王、曾孫高望王皆被賜平姓。高望王后任關東上總介，其子孫在關東發展，有“關東八平氏”之稱。此後，平氏內訌，震撼朝野。院政時期，平正盛獻諂於白河法皇，受器重，至正盛之孫平清盛時開始進入公卿行列。
可見，源氏依靠攝關勢力，而平氏依靠院政勢力。七十七代 後白河天皇 保元元年（1156）七月初十夜，崇德上皇（後白河天皇之兄）在白河殿糾合左大臣藤原賴長、平忠正、源為義及其子源為朝，密謀狙殺天皇一黨。早已詳知此事的 後白河 召關白藤原忠通（藤原賴長之兄）、平清盛（平忠正之侄）、源義朝（源為義之子）密謀予以反擊。次日凌晨，上皇一黨仍在喋喋爭論，清盛、義朝統兵包圍並放火焚燒白河殿。賴長、為義、忠正府邸也盡被燒燬。至次日上午，上皇殘黨被盡數誅滅，賴長自裁，為義等人也被殺被俘，崇德上皇於仁和寺被擒，流放讚岐（今香川縣，但設立之初不包括小豆島及直島諸島，又稱讚州），天皇一方大獲全勝，史稱“保元之亂”。
平亂之功首推源義朝、平清盛，但唯獨清盛受天皇器用，官封播磨（今兵庫縣西南部，又稱播州）守護，後任大宰大貳，義朝對此極為不滿。平治元年（1159），趁平氏一族離京參拜熊野神宮之際，義朝聯合藤原信賴舉兵包圍上皇居所“院御所”，軟禁 後白河上皇（後白河 當時退位為上皇）和二條天皇，誅殺天皇親信藤原信西。清盛聞變，旋即回師京都六波羅官邸，舉兵*。信賴被誅，義朝逃至尾張（今愛知縣西部，又稱尾州，以木曾川為界與美濃分置），但被手下所殺。源氏一族被盡數流放誅殺，史稱“平治之亂”。義朝之子源賴朝被流放伊豆（今靜岡縣東部及東京都伊豆諸島，又稱豆州），平氏未對源氏斬盡殺絕，因此留下禍根。
因平叛有功，清盛歷任衛府督、中納言、大納言、太政大臣，與攝關藤原氏聯姻，同時又將女兒嫁入皇宮。清盛非親貴不用，非金錢不取，擴莊圈地，壟斷貿易（作者注：主要是對南宋貿易），把持朝政。治承三年（1179），因領地之爭，清盛與攝關、院政勢力發生衝突，遂政變逼關白引退，脅迫 後白河 停止院政。翌年二月，高倉天皇讓位於清盛外孫安德天皇，清盛權勢更是如日中天。日本六十六國，平氏管轄三十餘國，莊園田地數不勝數，綾羅綢緞，繁花似錦；奇珍異寶，堆積如山；車水馬龍，門庭若市。平氏實為攝關和院政之外的第三方勢力，即武士勢力，自此天皇制走向沒落，武士專權代之而起，平氏政權實是天皇制向幕府制的過渡。
平氏日見腐化，招致親貴不滿，攝關、院政也因被平氏擊敗而聯合，平氏已是四面楚歌，形勢岌岌可危。治承四年（1180）六月，清盛強行遷都福原，公卿貴族因不滿而紛紛起兵。遭流放多年的源氏後裔源賴朝見時機已到，於八月在伊豆舉兵，其堂弟源義仲在信濃（今長野縣，又稱信州）舉兵。壇浦合戰中平氏戰敗而滅亡，賴朝自此把持朝政，任“徵夷大將軍”，設幕府於鎌倉（位於今神奈川縣，著名旅遊勝地），攜天子以令諸侯。自此，皇室光彩不再，幕府製取代天皇制，開始統治日本。
賴朝建幕府不久，在一次外出狩獵時摔下馬來，不日便駕鶴西去。其子年幼，大權由幕府外戚北條氏（源賴朝之妻政子的孃家）獨攬，天皇、將軍皆被架空。此時，後醍醐天皇 即位，廢除院政，實施親政，並謀劃清除幕府，以重振天皇權威。然而，兩次倒幕運動均告失敗，後醍醐 逃出京都，但就此埋下倒幕的火種，以近畿、東國為首的各地倒幕運動此起彼伏，幕府大廈已是風雨飄搖。