困。因此，昭帝即位之初，霍光就圍繞是否改變鹽鐵官營、酒榷、均輸等經濟政策。與桑弘羊等人展開了鬥爭。昭帝始元元年（前86年）閏十二月。霍光就派遣當時的廷尉王平等五人出行郡國，察舉賢良，訪問民間疾苦、冤難以及失去職業的人，為召開鹽鐵會議做準備。昭帝始元六年（前81年）二月。霍光將郡國所舉的賢良、文學等人接入京城。由丞相田千秋、御史大夫桑弘羊主持。正式開始了鹽鐵會議。霍光雖然沒有親臨會場，參與辯論，但他改變鹽鐵官營、酒榷、均輸等經濟政策的意圖是很明確的。會議圍繞堅持還是罷廢鹽鐵官營、均輸問題展開的辯論。涉及到各個方面，包括對待匈奴、國內的治理等重大問題，實際上是對漢武帝時期政治、經濟的總評價，也是昭帝實施新的政策前的一次大討論。因為鹽鐵官營、酒榷、均輸等政策的實施，直接損害了中小地主的利益，因而賢良、文學大聲疾呼，要求改變這一政策；而代表當時大地主、大商人利益的御史大夫桑弘羊，以這一政策給漢朝帶來強盛為理由，堅決反對改變這一政策。經過這場討論，由漢昭帝下令，於是年七月，廢除了鹽鐵官營、均輸等政策。這就從根本上抑制了大地主、大商人的利益，在一定程度上緩和了社會矛盾，調整了階級關係，從而，使漢朝的經濟走上了恢復發展的道路。“武帝之末，海內虛耗，戶口減半，霍光知時務之要，輕徭薄賦，與民休息。至是匈奴和親，百姓充實，稍愎文、景之業焉。”這是班固在《漢書》中對當時情況的評價，由此也可證明罷廢鹽鐵官營的必要。漢昭帝在位13年，由於霍光的輔佐，為漢朝的鞏固，為社會的安定和發展都奠定了一定基礎。昭帝死後，漢朝的政局曾一度發生混亂，但由於它的政治基礎比較穩固，政局在短暫的混亂之後很快就平靜下來。昭帝無嗣，他死後，由誰來繼承帝位，這是霍光等公卿大臣面臨的困難問題。當時，漢武帝的兒子，還有封廣陵王的劉胥，但他行事不檢點，有失皇家道統，漢武帝生前就很不喜歡他，他們便選擇了漢武帝之孫，襲封昌邑王的劉賀，讓他來繼承帝位。但這個劉賀本是紈絝子弟，荒淫無度。漢武帝死時，他竟於服喪期間四處遊獵，雖有屬下苦諫不止，他仍放縱自若。昭帝死後，霍光等大臣以太后的名義派車迎接他入京登基，他喜不自勝。在進京途中，就派人掠取民間女子、財產，並讓其屬吏、家人都穿上刺史的官服，封官進爵，任其胡作非為。看到這種情況，霍光等眾大臣都感到事態嚴重，如果不及早處置，將會使漢家天下斷送到劉賀的手裡。於是在劉賀即位的第27日，霍光將所有在朝大臣、列侯、博士等召集到未央宮，舉行會議，當眾宣佈了要廢掉劉賀，另選賢明的意圖。與會大臣、博士等人一聽這個訊息，都感到意外，因為廢立之事，關係重大，誰也不敢發言。田延年看到這種情況，立刻站起來發言，假意斥責霍光，說漢武帝把漢家天下寄託給霍光，就因為霍光忠誠於漢室，能使漢朝長治久安。如果繼續維持劉賀的帝位，那漢家天下就會斷送，你霍光將來死了，又有何面目去見漢武帝呢！他手握劍柄，嚴詞厲色，聲稱如有人敢反對廢除劉賀他就將其就地斬殺。與會者見此情景，都同意由霍光主持，廢除劉賀，另選賢明之主。於是，霍光聯合杜延年、楊敞等人，十分慎重地寫了一封奏章，列舉了劉賀的種種劣跡，上奏當時主持漢室的十五歲的上官太后，並將劉賀召至未央宮承明殿，宣讀了這封奏章，即日將劉賀廢掉，並將其所屬官吏統統收捕，隨後又將劉賀傳送回昌邑（今山東省鉅野縣昌邑鎮）。而後，又將長期生活於民間的漢武帝與衛子夫的曾孫、戾太子之孫。十八歲的劉病已（劉詢）立為皇帝，這就是漢宣帝。確立新主是當時安定全國的需要，然而要確立一個什麼樣的皇帝，則又是關係到漢朝能否長治久安的問題。霍光既考慮到前者，更考慮後者。所以他寧願擔負所謂擅自廢立的惡名，也不願使漢家王朝傾覆。這表明他對漢室的忠誠，也是對國家的高度負責。事實證明，霍光選擇了漢宣帝，才使得漢朝保持了興旺的局面。漢宣帝即位後，霍光繼續輔佐朝政。直到病死。
武帝死後。繼位的昭帝年僅八歲，政事皆由大司馬、大將軍霍光決斷，前述鹽鐵會議就是在霍光的授意下，由昭帝下詔決定召開的。與霍光一起受武帝託孤的上官桀之子上官安娶霍光之女為妻。生有一女。始元三年（公元前84年）。此女年僅五歲。上官桀父子意欲將其送入宮中為昭帝后，被霍光拒絕。後上官安透過武帝長女蓋公主之男寵丁外人的關係，達到目的。上官安被封為車騎將軍。霍光由於拒絕了上官桀父子封丁外人為列侯的請求，引起了上官桀父子與蓋公主的