就是因為這個原因，桓玄對劉裕便始終採取籠絡措施，另一方面，也是想透過劉裕安定收買北府將士。
桓玄是桓溫之子。桓溫在世時，就有當皇帝的野心，只是由於王、謝等門閥士族的阻撓，才未能如願。桓玄在除掉司馬道子父子之後，認為篡權的障礙已經掃除，便在元興二年（403年）2月受封為大將軍，9月又自稱相國、封楚王、加九錫、領十郡，篡位的野心已昭然若揭。
劉裕見世事如此，汲取了北府其他將領的教訓，在桓玄徵求他意見時，虛與委蛇，作出了表面上的依附，以迷惑桓玄。桓玄心中頓時一塊石頭落了地，更增加了對劉裕的信任。每次遊玩，總要把劉裕接過去，盛情款待，賞賜豐厚。
桓玄的妻子劉氏卻比丈夫清醒多了，認為劉裕並不可靠，應該儘早除掉。桓玄頗為自負，以為自己能夠駕馭劉裕這樣的人物。正是由於桓玄的優柔寡斷，給了劉裕以機會。
403年12月，桓玄廢晉安帝為平固王，安帝的弟弟司馬德文由琅琊王降為石陽王。自己稱帝登基，國號楚。東晉朝是王謝庾桓四大家族勢力平衡下的產物，王謝庾三族相繼衰落，桓氏成為唯一獨大的家族，桓玄便輕而易舉地取而代之了。
桓玄稱帝后，驕奢淫逸，遊獵無度，政局動盪。益州刺史毛璩根本不買他的賬，起兵###他。劉裕也於元興三年（404年）二月初一，聯合北府兵其他將領劉毅、何無忌、檀憑之等27人自京口舉兵響應。他們在京口誓師，劉裕被推為盟主，殺死鎮守京口的桓修，宣佈衛晉抗楚。次年擊潰桓玄。桓玄挾安帝退往江陵（今屬湖北），後為劉毅所統率的北府兵擊垮，安帝回建康復位。後桓玄被益州刺史毛璩的部下俘獲後殺死，時年38歲，諡號武悼皇帝。桓玄所建立的楚國，宣告滅亡，只存在了3個多月。
由於劉裕對東晉有再造之功，他被司馬皇家推舉為使持節，加侍中，進號車騎將軍、開府儀同三司，鎮京口。義熙四年（408年），以揚州刺史、錄尚書事入京輔政，掌握了東晉大權，成了東晉王朝的股肱人物。
這裡有一個小插曲，順筆一敘。桓玄稱帝，派刁逵鎮守歷陽，兵敗後被押送建康。劉裕由於少年時代備嘗艱辛，所以報復心理格外強烈（司馬光評價此事，認為劉裕在這方面，遠不如劉邦和曹操）。劉裕自然不會放過這個報仇雪恥的機會，不但刁逵被殺，刁家一門，幾無遺漏，都遭到滅門，把刁氏成萬頃土地和大量家財分給貧民，一雪當年被綁在馬樁上示眾的恥辱。
從桓玄興師入都到後來廢晉立楚，門閥士族贊同其消滅司馬道子父子勢力，但不敢公然反對其篡晉，反映門閥士族已經衰微，喪失了左右政局的能力。真正有能力顛覆桓玄的，卻是並非士族高門出身的北府將劉裕。昔日在朝中舉足輕重的門閥士族，現在大都已無所作為。相應地，東晉皇室由庶族劉裕恢復以後，重建士族與司馬氏共治的門閥政治局面是再也不可能了。但劉裕是個出身貧苦的小軍官，在士族中沒有什麼地位。他為了提高自己的威望，決定發動北伐。正是抱著這樣的目的，所以他的北伐不是真正的北伐，只是為了篡晉而獵取名聲而已，致使後世詬病不斷。
劉宋開國
自410年至417年間，劉裕兩度北伐，那真是金戈鐵馬，氣吞萬里如虎，威鎮北中國。當時，佔據山東地區的鮮卑慕容氏南燕政權乘東晉桓玄之亂之際，屢次侵擾東晉邊境。義熙五年（409年）2月，慕容超大掠淮北，劉裕興兵北伐。於次年攻破南燕都城廣固（今山東益都西北），收復青、兗兩州，追獲慕容超，斬首建康。南燕滅亡，東晉的疆域由此向北擴大到青州（今山東境內）一帶，與北魏毗鄰。義熙十二年（417年），後秦主姚興病卒，子姚泓繼立，兄弟相殺，關中擾亂，劉裕乘機率大軍分兵四路北伐後秦，進攻關洛。途經黃河，擊敗北魏軍，翌年克洛陽，取潼關，直逼長安，姚泓投降，後秦亡。長安城頭重新插上了漢家王師的大旗，在少數民族統治下達百年之久的漢族百姓紛紛簞食壺漿，出迎王師，街衢為之填塞。
那時候，雖然北方鮮卑族建立的北魏開始強大起來，其勢力已經發展到黃河北岸，但劉裕成功地阻止了北魏的擴張，使其不敢南下牧馬，把東晉朝的防線由江淮向北推進到黃河南岸。奪取了北方廣大地域以及長安、洛陽兩大古都。關中地區以及潼關以東、黃河以南已為南朝版圖，江淮流域得到保障，這是祖逖、桓溫、謝安經營百年所未能達到的。
北伐的勝利，使劉裕聲望大著。統一中國的曙光馬上就要出現了。但是，劉