同夏竦、王拱辰等攻訐陷害杜衍、范仲淹、石介等忠臣賢士，手段惡劣。兩任三司使，貪贓枉法的事屢見不鮮。後一次因為賤買商人房產，敗露了，才丟了官——”
司馬光還要朝下說呢，神宗卻揮手了：“那都是過去的事了，誰能沒個錯？一有任命大家就說長道短，非將新人拉下馬來才稱心，無論如何總不是什麼好事！”
這是怎麼說話呢？為朝廷謀事，不說討好，倒謀出不是來了！司馬光的拗性“轟”地一下就起來了：“那也不是什麼壞事！堯舜都難以知人，何況陛下剛剛接位不久！萬一用了奸邪，咱們臺諫官員再裝聾作啞，陛下怎麼能知道？豈不要誤了大事！”
神宗一擰眉：“吳奎附不附宰相？”
司馬光輕輕一推：“不知道。”
神宗又猛刺一槍：“結宰相與結人主，到底哪個賢良？”
司馬光仍然有詞：“陰結宰相當然是奸邪。但處心積慮迎合人主，揣摸人主的意向亦步亦趨，也同樣奸佞不正。”
神宗的問題，問得相當刁蠻。那潛臺詞是：吳某比張某問題更大，你司馬光怎麼一言不發？公道何在？該言而不言，豈不失職？司馬光的回答，則既圓滑，又強詞奪理：不知道，是不認同吳奎有罪，神宗發力就沒有落點了；說張方平關心實事，是迎合人主，是不問實質，陡逞口舌之辯。迎合固然不假，但財政崩潰是實情，是當務之急，談它究竟比那些大話套話要有價值得多。作為言官，攻其一點，不及其餘，根本不從國家大局需要指陳關鍵，豈能沒有錯誤？
司馬光舌戰神宗雖勉強打了個平手，可他在神宗心目中的地位卻大大打了一個折扣。神宗想起前不久司馬光的上書，修身三要——曰仁、曰明、曰武，治國三要——曰官人、曰信賞、曰必罰，全都是說了幾千年的老話、套話；而且，他自己還誇耀說，同樣的話早在先帝與仁宗時代都說過了，實在一生所學只萃於此，所以又將它們重新獻給皇上。當時自己沒怎麼往心裡去。現在看來，這個人是真迂！對國事、世事一無所知，卻偏執狂拗。至少，再不能讓他做臺諫官員了。
大宋遺事 第六十三回（5）
神宗與中書商議，免了他的權御史中丞，讓他仍做翰林學士兼侍讀學士。
司馬光卻拒不接受：“陛下，微臣關於張方平的意見既不被採納，已是待罪之身。所有其他任命，臣一概不敢接受。”
大宋規矩，新任的敕命都要經過通進銀臺司把關。他們要是有不同意見，可以退回敕命，上書反駁。這有個專有名詞，叫做“封駁”。司馬光的鐵哥兒翰林學士呂公著，正管著通進銀臺司，能不說話嗎？當時就上書封駁，請求保留司馬光的原職不變。
既有制度，根本不睬是不行的，皇上也得遵守遊戲規則不是？神宗只好又下手詔給司馬光解釋，說要他再任翰林學士，主要是借重他的學問道德：馬上就要開邇英閣講學，有他朝夕討論，敷陳治道，可以補苴罅漏。根本與他彈劾張方平，沒有一點兒關係。至於呂公著封還敕命，那是他不瞭解情況。
既已作出解釋，就算尊重遊戲規則了，皇上的意志還得貫徹。說到底，一切遊戲規則，還不都是為皇權服務的嗎？神宗將敕命交給閣門內侍，讓他直接交給司馬光。司馬光從來不是一條衚衕走到黑的人，又有皇上的手詔能體面下臺，再不說什麼了。
這下，呂公著沒面子了，趕緊上書爭較。說是敕命不經銀臺司，是在他手裡壞了朝廷規矩，他怎麼敢當？神宗又在他的奏摺上批道：等開了邇英閣，你就知道朕的意思了。開邇英閣請品學兼優的大臣講論經史子集，是祖宗立下的規矩，大宋歷代皇帝無不遵行。神宗既這麼說，只好等了。
不久，果然開了邇英閣。講完課後，侍臣退去，神宗獨獨留下呂公著，向他解釋說：“朕是要借重司馬光的道德學問，讓他常在朕的身邊，才調他的，決不是因為他意見不當。這意思已經告訴司馬光了，想來他也理解了。”
皇上給足了面子，司馬光本人也不再說話了，呂公著當然不好再講什麼。但他對敕命不經銀臺司而直接交給命官，仍舊耿耿於懷，堅決請求辭職。神宗早就聽說他拗，比司馬光更拗，勸了幾句，見勸不通，只好不談，改口問道：“司馬光這人直倒是蠻直的，是不是有點迂闊？”
公著頭搖得像個撥浪鼓：“孔子是大聖人，子路還說他迂；孟軻是大賢人，當時也有人說他迂。說司馬光迂，更不奇怪了！究其原因，不過是因為看問題過於深遠，一般人無法理解，才亂說一氣罷了。其實，哪裡是迂呢