稅收，減少勞役，把國家大事管理得很好。
但是朝廷中有幾個大臣卻把霍光看作眼中釘，非把他除去不可。
左將軍上官桀想把他六歲的孫女，嫁給漢昭帝做皇后，霍光沒有同意。後來，上官桀靠漢昭帝的姐姐蓋長公主的幫助，讓孫女當上了皇后。上官桀和他的兒子上官安想封蓋長公主的一個身邊人做侯，霍光無論如何不依。
上官桀父子、蓋長公主都把霍光看作眼中釘，他們勾結了燕王劉旦，想方設法要陷害霍光。
漢昭帝十四歲那年，有一次，霍光檢閱羽林軍（皇帝的禁衛軍），還把一名校尉調到他的大將軍府裡。上官桀他們就抓住這兩件事，假造了一封燕王的奏章，派一個心腹冒充燕王的使者，送給漢昭帝。
那封信上大意說：大將軍霍光檢閱羽林軍的時候，坐的車馬跟皇上坐的一樣。他還自作主張，呼叫校尉。這裡面一定有陰謀。我願意離開自己的封地，回到京城來保衛皇上，免得壞人作亂。
漢昭帝接到那份奏章，看了又看，把它擱在一邊。
第二天霍光要進宮朝見，聽到燕王劉旦上書告發他的訊息，嚇得他不敢進宮。
漢昭帝吩咐內侍召霍光進來。霍光一進去，就脫下帽子，伏在地上請罪。
漢昭帝說：“大將軍儘管戴好帽子，我知道有人存心陷害你。”
霍光磕了個頭說：“陛下是怎麼知道的？”
漢昭帝說：“這不是很清楚嗎？大將軍檢閱羽林軍是在長安附近，呼叫校尉還是最近的事，一共不到十天。燕王遠在北方，怎麼能知道這些事？就算知道了，馬上寫奏章送來，還來不及趕到這兒。再說，大將軍如果真的要叛亂，也用不著靠調一個校尉。這明明是有人想陷害大將軍，燕王的奏章是假造的。”
霍光和別的大臣聽了，沒有一個不佩服少年的漢昭帝的聰明。
漢昭帝把臉一沉，對大臣們說：“你們得把那個送假奏章的人抓來查問。”
上官桀怕昭帝追查得緊，他們的陰謀要露餡，對漢昭帝說：“這種小事情，陛下就不必再追究了。”
打這兒起，漢昭帝就懷疑起上官桀這一夥人來。
上官桀等並不就此罷休，他們偷偷地商量好，由蓋長公主出面，請霍光喝酒。他們佈置好埋伏，準備在霍光赴宴的時候刺死他，又派人通知燕王劉旦，叫他到京師來。
上官桀還打算在殺了霍光之後再廢去昭帝，由他自己來做皇帝。沒想到有人早把這個秘密洩露了出去，讓霍光知道了。
霍光連忙報告漢昭帝。漢昭帝命令丞相田千秋火速發兵，把上官桀一夥統統逮起來處死。
漢昭帝才二十一歲就得病死去，沒有孩子。霍光聽了別人的意見，把漢武帝的一個孫子、昌邑王劉賀立為皇帝。劉賀原是個浪蕩子，他從昌邑（今山東鉅野東南）帶來了二百多個親信，天天跟他們一起吃喝玩樂，即位才二十七天，就做了一千一百二十七件不該做的事，把皇宮鬧得烏煙瘴氣。
霍光和大臣們一商量，聯名上書，請皇太后下詔，把劉賀廢了，另立漢武帝的曾孫劉詢，就是漢宣帝。
王昭君出塞
漢宣帝在位的時候，漢朝又強盛了一個時期。那時候，匈奴由於貴族爭奪權力，勢力越來越衰落，後來，匈奴發生分裂，五個單于分立，互相攻打不休。
其中一個單于名叫呼韓邪，被他的哥哥郅支（郅音zhì）單于打敗了，死傷了不少人馬。呼韓邪和大臣商量結果，決心跟漢朝和好，親自帶著部下來朝見漢宣帝。
呼韓邪是第一個到中原來朝見的單于，漢宣帝像招待貴賓一樣招待他，親自到長安郊外去迎接他，為他舉行了盛大的宴會。
呼韓邪單于在長安住了一個多月。他要求漢宣帝幫助他回去。漢宣帝答應了，派了兩個將軍帶領一萬名騎兵護送他到了漠南。這時候，匈奴正缺少糧食，漢朝還送去三萬四千斛（音hú，古時候十鬥為一斛）糧食。
呼韓邪單于十分感激，一心和漢朝和好。西域各國聽到匈奴和漢朝和好了，也都爭先恐後地同漢朝打交道。漢宣帝死了後，他的兒子劉姡Вㄒ魋hì）即位，就是漢元帝。沒幾年，匈奴的郅支單于侵犯西域各國，還殺了漢朝派去的使者。漢朝派兵打到康居，打敗了郅支單于，把郅支單于殺了。
郅支單于一死，呼韓邪單于的地位穩定了。公元前33年，呼韓邪單于再一次到長安，要求同漢朝和親。漢元帝同意了。
以前，漢朝和匈奴和親，都得挑個公