權奸，可以低三下四、忍氣吞聲、乞憐哀憫嗎？在嘉靖滴水不漏的掌控下，嚴嵩遠遠沒有達到權奸的地步，也不可能成為權奸。他只是一個小人兼蛀蟲。在權力核心的二十年中間，他總共就做了兩件事：第一，竭盡智慮保全其身家性命；第二，利用職權去撈取一切可能的利益。他從不具備虎豹豺狼的威勢和力量，他僅僅是一隻提心吊膽而又機靈的老鼠。而耗子的胸腔，無法長出一顆強悍的心。
嚴嵩一生的悲喜劇中，有一個不能不提的重要角色，此即嚴世蕃。嚴氏夫婦育有二女一子，世蕃是嚴嵩膝下唯一獨苗。但他對於父親的意義遠不止乎此。此人體肥貌醜，不僅是獨苗還是獨眼龍，但聰明異常，博古通今。嚴嵩才學，在政界已屬翹楚，可比之世蕃，竟多有不及。嘉靖在中晚期統治採取神經戰術，把政治變做語言遊戲，而以隱語大師自居，絕少把話說在明處，隱約其辭讓人去猜，還特別喜歡賣弄學問，做出什麼指示，往往夾藏典故，而且是很偏僻的典故。雖然士大夫俱是正途出身的知識分子，飽讀詩書，卻多數應付不了嘉靖，對其旨意的解讀時有偏失。嚴嵩本來腦子就好使，又仗著在鈐山苦讀十年的積累，領會旨意的能力強過同僚，這是他得到嘉靖信用的重要原因。但隨著嘉靖“道行”加深，竟連嚴嵩也漸漸覺得學問不夠用了。於是，嚴世蕃成了他的秘密武器。史載：
帝所下手詔，語多不可曉，惟世蕃一覽瞭然，答語無不中。｛88｝
“一覽瞭然”是聰明博學，“答語無不中”是效果神奇。確實厲害。三番五次如是，嚴嵩根本就離不開這寶貝兒子，以後遇到下屬呈上對皇上交代之事的處理意見，一律說：“先拿去問問東樓【東樓，世蕃別號】。”可是這位東樓成天花天酒地，常醉眠不醒；老嚴嵩縱然急得抓耳撓腮，也得等著他酒醒之後給出意見。嚴嵩的許多惡名，收受賄賂、侵奪人田等，實繫世蕃所為，鄒應龍攻倒嚴嵩，首先也是從世蕃這裡下手。有子若此，對嚴嵩來說，就像一枚硬幣的兩面，成也蕭何、敗亦蕭何，人云嚴嵩“溺愛世蕃”，可能，獨子嘛。但實際上，他們之間，除骨肉父子，還是政治父子。嚴嵩應付嘉靖，少不了世蕃；世蕃也仗著這一點，有恃無恐地胡來，嚴嵩拿他沒辦法。從前面所述可以看出，嚴嵩連嚴世蕃醉酒誤事都管不了，遑論其他？但在這一切的背後，萬萬不可忘記那個躲在西內，用打啞謎的方式與朝臣捉迷藏、施其掌政馭人的心理戰的嘉靖皇帝，萬萬不可忘記將皇帝每一句話都變成至高無上真理的君主極權制度；沒有這樣一種制度，世上本無嚴嵩，更不會有嚴世蕃。
關於嚴嵩的垮臺：再精明的人也有軟肋，嘉靖做皇帝是個高手，一輩子深得“南面為君”之訣竅，他唯一犯糊塗的地方，是對道教的迷信。對於道教他陷得很深，是真迷信，不是假迷信，最後連自己的命都搭在這件事上。對於道士，他言聽計從，很少懷疑，包括有人拿黃白朮騙他，也不疑。晚年，他信賴一個名叫蘭道行的道士。有一天，這道士趁扶乩之機，假充神祇對嘉靖抱怨說，現在朝政不好，是因為“賢不竟用，不肖不退”。嘉靖再問，究竟誰賢，誰不肖？“神仙”（蘭道士）答道：“賢如輔臣徐階，尚書楊博，不肖如嵩。”｛89｝這一幕疑點很多。雖然史無明據，但玩味箇中細節，我總覺得這是精心構思的計策，很可能出自徐階。蘭道士真有憂國之心，朝政不好，他可以批評的地方實在太多，哪一條也比“賢不竟用，不肖不退”要緊，他卻這樣直奔主題，使徐階成為他的批評的直接受益人。其次，最最關鍵的是，利用道士扶乩的機會，離間嘉靖與嚴嵩的關係，是用心極深、針對性極強的一招，甚至借圍棋術語說“只此一手”———嘉靖誰都不信，誰的話都不聽，但不能不信神祇，不能不聽從神的指引。嘉靖果然招架不住，“上心動”，有意擯棄嚴嵩。事有湊巧，不久，御史鄒應龍因為避雨歇腳某宦官家，閒聊之際，宦官把那日情形當做故事講給鄒應龍聽。這鄒應龍乃楊繼盛侄婿，對嚴嵩懷恨已久，聽說此事，立即研讀出嚴嵩寵衰、可以對其下手的資訊，草疏彈劾，以嚴世蕃不法事為由頭，清算嚴嵩。這次，“不倒翁”終於倒地。嘉靖的批示是這樣的：
嘉靖：萬歲，陛下（38）
人惡嚴嵩久矣。朕以其力贊玄修，壽君愛國，特加優眷，乃縱逆醜負朕。其令致仕予傳去，歲給祿百石，下世蕃等錦衣獄。｛90｝
從這份“關於嚴嵩問題的處理決定”來看，嘉靖在政治上對嚴嵩是基本肯定的，甚至說他“愛國”。犯罪、負刑事責任的是嚴世蕃，嚴嵩的責任是“縱容逆子”。為此，給予他勒令退休