神靈決定，不過到現在他才充分明白罷了。在他五十七歲時，他已經飽曆命運的榮枯盛衰，現在命運的轉變，在他也不以為奇了。命中註定他最後要完全與政治斷絕關係，要符合他的宿願，使他去度求之已久的常人生活。他現在向前行進，無憂無懼，心中一片安溫寧靜。在過去的日子裡，不管遇到何等問題，何等情形，他都以真誠勇敢之態度相向；他願把一切付諸天命。
蘇東坡以第一個犧牲者的身份，橫越中國南部巍峨雄偉的山脈，受難之中卻有一分卓然不群的優越感，他與家人啟程南下。他弟弟子由已然在汝州上任，離國都很近，蘇東坡先去看他，在金錢上弄得些接濟。蘇東坡對理財一事，並不見長。雖然在皇太后攝政九年期間，他走過一段好運，但時常各地調動，俸祿隨即花光。另一方面，他弟弟子由宦途較為平穩，直升至宰相之位。蘇東坡前去時，子由只能給他七千緡，供他家人在宜興安居之用。他從子由處回來，發現又官降一等，但到南雄的派令並未改變。他給皇帝上了一道使人讀之惻然的表章，請求允許乘船南下，做為對老師的一點兒恩寵。他怕陸行一千五百里，會身染重病而死於道側。所請得蒙恩準，他送全家，包括三個兒媳婦到宜興的蘇家。大家淚眼相望，蘇東坡決定只帶朝雲和兩個小兒子同行。
他們到了南京對岸的儀真，已經是六月天氣，迫害元佑儒臣的行動正在雷厲風行，名公巨卿之遭流放者，已有三十餘人。蘇東坡現在是第三次降官。他已經不夠太守的資格，而是改派到廣州漁東七十里的惠州充任建昌軍司馬。情況已完全不同，他決定讓次子回宜興農莊去，自己只攜二十二歲的兒子蘇過、朝雲、另外兩個老女僕前往。他的門人張耒，這時是靖州太守，派遣了兩個老兵一路伺候他。
但是沿途穿過美麗的鄉野，經過高山深谷，看動人心神的急流高山，蘇東坡都充分觀賞。他坐的是一隻官船，在九江以南邵陽湖停泊時，出乎他意料，第四道命令又來到，又把他貶低官階。運輸官聽到這條命令，派一隊兵來要將船收回。兵來到時正是半夜。蘇東坡與軍官商妥，許他在船上住到次日中午。這時離通往南昌的湖上碼頭還有十二里。他若運氣好，明天午前能到南昌，就安全無事；若遇逆風，他和全家以及行李就只好被拋下船來。他到龍王廟去禱告，因為龍王是主管水上安全的。他向龍王陳明他如今身陷困難，他說明天早晨若到不了目的地，便須露宿野外了。他剛一禱告完畢，一陣強風吹來，船帆漲滿，船向前行走極快，還不到吃早飯時間，船就到達了。後來，在他回程時，他寫了一篇祭文，向龍王道謝。
在九月，他跨越有名的大庾嶺，大庾嶺在中國古代為赴廣州的旅客必經之地。這道關隘是一條遙遠危險的旅途，透過之後，便到了另一個境界，多少旅客往往是有去無回的。一條鋪石頭的路，在關隘兩側各有三四百碼長，道旁有濃蔭茂密的樹，為旅客遮蔽太陽，供旅客歇息。行人到此，不由喟然興嘆，多在岩石上題詩寄慨。立在此處山峰上，頭上雲天，不過颶尺，蘇東坡覺得自己猶如夢遊，不復知自己肉體之軀在何處所了。從那樣高處，他能看到人的渺小，行為的卑鄙，山上的清風把他胸中的塵思俗念，一掃而空。橫過了關隘之後，他遊歷今日的南雄和南華寺，中國佛教禪宗的聖地。
在南雄和廣州之間，他碰見道士老友吳復古。從此之後，在蘇東坡流放期間，他一直與吳復古交往很密切。吳復古是一怪人。在過去那些年，在蘇東坡的生活裡，他曾在不同的處所突然出現。蘇東坡第一次遇見他，是在濟南，後來又在京城碰見他。此人從事何種活動呢？難道他沒有職業？他何以為生？他與蘇東坡要好，難道是有所求取？特別是等到蘇東坡在朝得勢之時嗎？可是他向蘇東坡從無所求，也不曾求蘇東坡為他轉求他人。過去不知他流落何方，而現在又忽而相遇，不在別的地方，偏偏在此，蘇東坡又遇到他。吳復古是真正的道士，身體精神，輕鬆自在，一心無憂無慮，這是道家極其重視的，由於身體強，慾望少，他們大多能過一種為人所豔羨的自由自在的生活。要獲得此種自由自在的生活，必須擺脫名利，吃粗茶淡飯，穿衣住處不講究，步行千里，睡在曠野，不視為苦事。吳復古對此世界一無所求。他時隱時現，等於隨時提醒蘇東坡，倘若他不為政治所糾纏，他就過那種飄蕩不羈的日子。
哲宗紹聖元年（一○九四）十月二日，是歐洲第一次十字軍東征的前兩年，蘇東坡到了惠州。好多事對他都顯得新奇，可是又似乎熟悉。廣東是亞熱帶，他看見橘林、甘蔗、荔枝樹、香蕉園，還有檳榔樹。決不是個不適於生活