他並非不知道會有這類情形，不過不知道第二次迫害會嚴重到什麼程度。皇太后去世後，在往定州就職前，他正式辭行時，皇帝未允謁見，他就覺得危險即將到來了。
他曾先後教過那個年輕皇帝八年之久，對他很瞭解。一年以前，他曾在一道表章裡向小皇帝說得很露骨，倘若他不納臣子的忠言，蘇東坡寧願做“醫卜執技之流，簿書奔走之吏”，也不願在朝中擔任侍讀之職。
可是來日如何，他並不真知道。左降英州太守並沒有什麼特別苦吃。章停也算他的故交之一。在年輕時他和章停往陝西山中游歷，蘇東坡曾戲稱章停將來會殺人不眨眼，不過二人還始終算是朋友。他自己的遭罷黜失官，他倒不以為奇。向朝廷彈劾他的數十條罪名，也是舊有的，而且已經彈劾多次。不外乎是“毀謗先王”，這個罪名是攻擊元柏舊臣的陳詞濫調。而罪證是在皇太后攝政期間，他代擬聖旨罷黜王安石一派小人。他代擬一般的聖旨倒無何重要，因為他是奉太后之命行事的。
罷黜蘇東坡的聖旨如下：
若譏朕過失亦何所不容，乃代子言低誣聖考。乖父子之恩，絕君臣之義，在於行路猶不戴天，顧視士民，復何面目？汝斌文足以惑眾，辯足以飾非，然而自絕於君親，又將誰態？
蘇東坡現在要跋涉一千五百里，自中國的北部到中國的南部。他覺得他一生只是一站一站的往前走，而現在只是在他人生旅途中的另一步，這旅程是他狐狐落地時已由神靈決定，不過到現在他才充分明白罷了。在他五十七歲時，他已經飽曆命運的榮枯盛衰，現在命運的轉變，在他也不以為奇了。命中註定他最後要完全與政治斷絕關係，要符合他的宿願，使他去度求之已久的常人生活。他現在向前行進，無憂無懼，心中一片安溫寧靜。在過去的日子裡，不管遇到何等問題，何等情形，他都以真誠勇敢之態度相向；他願把一切付諸天命。
蘇東坡以第一個犧牲者的身份，橫越中國南部巍峨雄偉的山脈，受難之中卻有一分卓然不群的優越感，他與家人啟程南下。他弟弟子由已然在汝州上任，離國都很近，蘇東坡先去看他，在金錢上弄得些接濟。蘇東坡對理財一事，並不見長。雖然在皇太后攝政九年期間，他走過一段好運，但時常各地調動，俸祿隨即花光。另一方面，他弟弟子由宦途較為平穩，直升至宰相之位。蘇東坡前去時，子由只能給他七千緡，供他家人在宜興安居之用。他從子由處回來，發現又官降一等，但到南雄的派令並未改變。他給皇帝上了一道使人讀之惻然的表章，請求允許乘船南下，做為對老師的一點兒恩寵。他怕陸行一千五百里，會身染重病而死於道側。所請得蒙恩準，他送全家，包括三個兒媳婦到宜興的蘇家。大家淚眼相望，蘇東坡決定只帶朝雲和兩個小兒子同行。
他們到了南京對岸的儀真，已經是六月天氣，迫害元佑儒臣的行動正在雷厲風行，名公巨卿之遭流放者，已有三十餘人。蘇東坡現在是第三次降官。他已經不夠太守的資格，而是改派到廣州漁東七十里的惠州充任建昌軍司馬。情況已完全不同，他決定讓次子回宜興農莊去，自己只攜二十二歲的兒子蘇過、朝雲、另外兩個老女僕前往。他的門人張來，這時是靖州太守，派遣了兩個老兵一路伺候他。
但是沿途穿過美麗的鄉野，經過高山深谷，看動人心神的急流高山，蘇東坡都充分觀賞。他坐的是一隻官船，在九江以南邵陽湖停泊時，出乎他意料，第四道命令又來到，又把他貶低官階。運輸官聽到這條命令，派一隊兵來要將船收回。兵來到時正是半夜。蘇東坡與軍官商妥，許他在船上住到次日中午。這時離通往南昌的湖上碼頭還有十二里。他若運氣好，明天午前能到南昌，就安全無事；若遇逆風，他和全家以及行李就只好被拋下船來。他到龍王廟去禱告，因為龍王是主管水上安全的。他向龍王陳明他如今身陷困難，他說明天早晨若到不了目的地，便須露宿野外了。他剛一禱告完畢，一陣強風吹來，船帆漲滿，船向前行走極快，還不到吃早飯時間，船就到達了。後來，在他回程時，他寫了一篇祭文，向龍王道謝。
在九月，他跨越有名的大疫嶺，大疫嶺在中國古代為赴廣州的旅客必經之地。
這道關隘是一條遙遠危險的旅途，透過之後，便到了另一個境界，多少旅客往往是有去無回的。一條鋪石頭的路，在關隘兩側各有三四百碼長，道旁有濃蔭茂密的樹，為旅客遮蔽太陽，供旅客歇息。行人到此，不由唱然興嘆，多在岩石上題詩寄慨。
立在此處山峰上，頭上雲天，不過颶尺，蘇東坡覺得自己猶如夢遊，不復