。子由也帶了妻子、第三個兒子，和三兒媳婦，他們幾年前一直和他在高安住過的。
蘇東坡到了梧州附近的藤州，與弟弟子由相遇，而今境況淒涼。當地是個窮縣分，兄弟二人到一個小館子去吃午飯。子由吃慣了講究的飯食，對那粗糙麥麵餅實在難以入口。蘇東坡把自己的餅幾口吃光，笑著向弟弟說：“這種美味，你還要細嚼慢嚥嗎？”他們站起身來走出小鋪子去，帶著家人慢慢向前走，儘可能慢走，因為他知道一到雷州，就要立刻渡海了。
雷州太守一向仰慕蘇氏兄弟。他予二人盛大歡迎接待，送酒食，結果第二年因此遭受彈劾，調離任所。子由在雷州的住處，後來改為一座廟，是他兄弟二人死後，用以紀念他們的。
蘇東坡必須出發了，子由送他到海邊。離別的前夕，兄弟二人及家人在船上過了一夜。蘇東坡的痔瘡又發，甚為痛苦，於由勸他戒酒。二人用一部分時間一同作詩，蘇東坡試探出子由最小的兒子的詩才。這次離別是生離死別，真是令人黯然銷魂，一直愁坐整夜。離別之前，蘇東坡給王古寫了下面的文句：“某垂老投荒，無復生還之望。春與長子邁訣，已處置後事矣。今到海南，首當做棺，次便做墓。仍留手疏與諸子，死即葬於海外，生不契棺，死不扶瞑，此亦東坡之家風也。”
那天，他向先賢調祈禱。有一個廟，供奉徵南二將軍的神像。凡是在此風濤險惡之處，過海的旅客，都求神諭，決定吉日良辰開船。過去發現神諭無不應驗。蘇東坡也遵照習俗行事。
在紹聖四年（一0九七）六月十一日，蘇氏兄弟分手，蘇東坡和幼子和雷州太守派的沿途侍奉他的幾個兵上了船。航程很短，在此晴朗的天氣，蘇東坡可以看見島上山巒的輪廓矗立於天際。他心中思潮起伏。大海對他不像對西方詩人那麼富有魔力。實際上，他已經是“眩懷喪魄”了。但是一路平安無事。登岸之後，蘇東坡父子向西北岸的簷州目的地前進，七月二日到達。
他到達不久，一位很好的縣官張中就到了。張中不但對蘇東坡這位詩人佩服得五體投地，而且他本人又是個圍棋高手。他和蘇過後來成了莫逆之交。二人常常終日下棋，蘇東坡在旁觀戰。由於張中的熱誠招待，蘇東坡就住在張中公館旁邊的一所官舍裡。不過也是一所小舊房子，秋雨一來，房頂就漏，所以夜裡蘇東坡得把床東移西移。因為是官家的房子，張中用公款修繕一番，後來因此為他招了麻煩。
由中國人看來，海南島根本不適於人居祝在夏天極其潮溼，氣悶，冬天霧氣很重。秋雨連綿，一切東西無不發黴。一次蘇東坡看見好多白蟻死在他的床柱上。
這種有害於人的氣候，頗使人想到長生之道。蘇東坡寫過下面一段文字：嶺南天氣卑溼，地氣蒸褥，而海南為甚。夏秋之交，物無不腐壞者。人非金石，其何能久？然信耳頗有老人百餘歲者，八九十者不論也。乃知壽夭無定，習而安之，則冰蠶火鼠皆可以生。吾甚湛然無思，寓此覺於物表。使折膠之寒無所施其冽，流金之暑無所措其毒。百餘歲豈足道哉！被愚老人者初不知此，如蠶鼠生於其中，兀然受之而已。一呼之溫，一吸之涼，相續無有間斷，雖長生可也。九月二十七日。
在海岸上的市鎮之後，島內居住的黎族，與內地的移民相處並不融洽。他們住在熱帶的山上，後來在日軍偷襲珍珠港之前，他們為日本效力，訓練叢林戰術。本地人不能讀書寫字，但規矩老實，常受狡詐的漢人欺騙。他們懶於耕種，以打獵為生。像在四川或福建的一部分地方一樣、他們也是婦女操作，男人在家照顧孩子。
黎民的婦人在叢林中砍柴，背到市鎮去賣。所有的金屬用具如斧子、刀、五穀、布、鹽、鹹菜，都自內地輸入。他們用烏龜殼和沉水香來交換，沉水香是中國應用甚廣的有名薰香。甚至米也自內地輸入，因為當地人只吃芋頭喝白水當做飯食。在冬天自大陸運米船不到時，蘇東坡也得以此維持生活。
當地居民非常迷信，患病時由術士看病，沒有醫生。土人治病的唯一辦法是在廟中禱告，殺牛以祭神。結果，每年由大陸運進不少的牛專為祭神之用。蘇東坡是佛教徒，設法改變此一風俗，但風俗改變，談何容易，他曾寫過下列文字：嶺外俗皆殺牛，而海南為甚。客自高化載牛渡海、百尾一舟。遇風不順，渴飢相倚以死者無數，牛登舟皆哀鳴出涕。既至海南，耕者與屠者常相半。病不飲藥，但殺牛以禱，富者至殺十數牛。死者不復雲，幸而不死，即歸德於巫。以巫為醫，以牛為藥。間有飲藥者，巫輒雲神怒，病不可復治。親戚皆為卻藥禁醫，不得入門，人牛皆死