，任洪州知府，未及赴任，又改司門員外郎、知成都府，賜金紫魚袋。此後呂端任為開封府判官，自此經歷秦王趙廷美、楚王元佐、許王元僖、壽王元侃這四任開封府尹，如今死了兩個，瘋了一個，高升了一個為皇太子。他早已經處於政治的旋渦中心，人言呂端糊塗，他只管做事，從不摻和任何一個親王的派系。秦王獲罪，開封府中與他沾邊的官員都流放了；楚王一瘋，許王來時便把附和楚王的人員打壓清洗；壽王就任，那些鐵桿子的許王黨人自然灰溜溜地滾蛋。
呂端是揣著明白裝糊塗，開封府中，有人故意與他為難，有人要他表明立場，他只有裝聾作啞，一派稀裡糊塗，那些屬官們，都是太明白了是哪個親王的派系，為難的拉攏的，背後自有人在。他只有糊塗地讓人掃興，才無人理會。那些太明白站了立場的人，總是率先被清洗的物件。
饒是如此， 許王元僖事件中，他依然是成了被攻擊的耙子。被問罪為“輔佐無狀”，貶為潁州副使。他神情不動，安然去了穎州。直到他去後，開封府才真正無主了，太宗這才發現，這些年來開封府尹走馬燈似地換，並不影響運作。而走了一個開封府判，立刻就顯出影響來了。這些年來政治風雲如此變幻，而開封府始終不亂，正是因為有呂端在呀！趙普還活著時，他的眼光早已經落到呂端身上，認為呂端為人，寵辱不驚，不形於色，將來必為宰相。只是當時，太宗並未看到這一點，直到這一刻，他才明白了，他正是急需要這樣一個在風雲變幻中能夠安然把舵的人。沒過多久，一道聖旨下到穎州，升呂端為樞密直學士。呂端進京領職行事，未到一個月，又拜為參知政事。即使是如此飛速的提升，太宗仍然覺得擢升太遲了。不到一年，又拜為戶部侍郎、平章事，入閣拜相。
那一個令百官震驚的“中書事必經呂端詳酌”旨意，是這樣一件政事引起的。那一日，李繼隆押解夏州李繼遷的母親上京，太宗召見寇準商議，意欲殺一儆佰，敲打李繼遷。旨意既定，寇準退出時，正遇到呂端，呂端見寇準神情凝重，心中起疑，上前追問道：“寇相，發生了什麼事情？”
寇準正遲疑間，呂端更增疑心，問：“若是普通事務，則呂端不必與知，若是軍國大計，呂端備位宰相，不可不知。”寇準被這一逼，說出了真相：“官家問下官如何處置李繼遷之母？”呂端笑道：“如何處置？”寇準凌然道：“自然是斬於保安軍北門外，以戒凶逆。”呂端大驚：“此事萬萬不可，寇相稍待，等下官立刻進見官家，求官家收回成命。”
這邊忙見了太宗，道：“昔年楚漢相爭，項羽抓得劉邦之父，以烹而食之來威脅劉邦，那劉邦竟然說：‘願分我一杯羹。’以漢高祖這樣的開國明君，臨陣都不顧其父，更何況李繼遷這樣反覆無常的悖逆之人？陛下今日殺其母，明日繼遷可擒乎？若其不然，徒結怨仇，愈堅其叛心爾。”
太宗吃了一驚曰“然則何如？”
呂端道：“以臣愚見，倒不如作為人質，置於延州。雖然未必能逼得李繼遷立刻歸降，但是他母親生死繫於我們之手，便可牽至於他不敢輕舉妄動。李母活著一日，李繼遷便不敢叛亂朝廷。”
太宗拍案稱道：“此計甚好！”他看著呂端，沉吟半晌道：“你平時每事讓著寇準，都說你是個躲事的人，可是遇上大事，你卻不但躲，反而主動干涉，實是難得。人說呂端糊塗，依朕看來，呂端大事不糊塗呀！”
呂端連忙下拜道：“臣惶恐！”
太宗點了點頭：“一切依卿之計，你且退下。”
呂端退出後，豎日，旨意下，寇準貶官，中書大事皆由呂端獨攬。
然後，是曲江宴罷，太宗親自賜詩，上雲： “欲餌金鉤深未達，磻溪須問釣魚人。”太宗以姜子牙相比，自是囑他好好地輔佐太子，交託後事了。
想到這裡，呂端的心沉重無比，大宋基業萬斤重擔，就要看他如何挑起了。
正沉思間，忽然家人滾了進來報道：“相爺，太、太子來了！”
呂端大驚，站了起來：“什麼？太子怎麼來了？”連忙叫人取來官帽戴好，正要出迎，卻見太子已經笑著帶了幾個隨從進來了。
呂端連忙跪下相迎，身形未動，太子已經叫人扶住了他：“呂相不必多禮，原是我來得冒昧了。”
呂端忙迎進太子，奉茶已畢，他便不開口，但聽太子道明來意。
太子含笑道：“今日開封府事罷，車駕正經過呂相門前，隨便就進來看看呂相。不致嫌我冒昧嗎？”
呂端連忙拱手：“呂端不敢