由中國人看來，海南島根本不適於人居住。在夏天極其潮溼，氣悶，冬天霧氣很重。秋雨連綿，一切東西無不發黴。一次蘇東坡看見好多白蟻死在他的床柱上。這種有害於人的氣候，頗使人想到長生之道。蘇東坡寫過下面一段文字：
〖嶺南天氣卑溼，地氣蒸褥，而海南為甚。夏秋之交，物無不腐壞者。人非金石，其何能久？然信耳頗有老人百餘歲者，八九十者不論也。乃知壽夭無定，習而安之，則冰蠶火鼠皆可以生。吾甚湛然無思，寓此覺於物表。使折膠之寒無所施其冽，流金之暑無所措其毒。百餘歲豈足道哉！被愚老人者初不知此，如蠶鼠生於其中，兀然受之而已。一呼之溫，一吸之涼，相續無有間斷，雖長生可也。九月二十七日。〗
在海岸上的市鎮之後，島內居住的黎族，與內地的移民相處並不融洽。他們住在熱帶的山上，後來在日軍偷襲珍珠港之前，他們為日本效力，訓練叢林戰術。本地人不能讀書寫字，但規矩老實，常受狡詐的漢人欺騙。他們懶於耕種，以打獵為生。像在四川或福建的一部分地方一樣、他們也是婦女操作，男人在家照顧孩子。黎民的婦人在叢林中砍柴，背到市鎮去賣。所有的金屬用具如斧子、刀、五穀、布、鹽、鹹菜，都自內地輸入。他們用烏龜殼和沉水香來交換，沉水香是中國應用甚廣的有名薰香。甚至米也自內地輸入，因為當地人只吃芋頭喝白水當做飯食。在冬天自大陸運米船不到時，蘇東坡也得以此維持生活。
當地居民非常迷信，患病時由術士看病，沒有醫生。土人治病的唯一辦法是在廟中禱告，殺牛以祭神。結果，每年由大陸運進不少的牛專為祭神之用。蘇東坡是佛教徒，設法改變此一風俗，但風俗改變，談何容易，他曾寫過下列文字：
〖嶺外俗皆殺牛，而海南為甚。客自高化載牛渡海、百尾一舟。遇風不順，渴飢相倚以死者無數，牛登舟皆哀鳴出涕。既至海南，耕者與屠者常相半。病不飲藥，但殺牛以禱，富者至殺十數牛。死者不復雲，幸而不死，即歸德於巫。以巫為醫，以牛為藥。間有飲藥者，巫輒雲神怒，病不可復治。親戚皆為卻藥禁醫，不得入門，人牛皆死而後已。地產沉水香。香必以牛易之。黎人得牛皆以祭鬼，無脫者，中國人以沉水香供佛燎帝求福，此皆燒牛肉也，何福之能得？〗
內地人始終不能征服那些叢林中的居民。官兵一到，他們只要退入叢林中，官兵根本不想到山中居住，自然不肯深入。黎民有時因與漢人有爭吵糾紛，也偶會進襲市鎮。有時被商人所欺，在衙門得不到公道審判，他們唯一的辦法，就是把此人捉住不放，然後將金錢索回。蘇過後來寫了兩千字一篇長文，論此種情形，並表示對此叢林蠻族無法征服，只有公平相待，公正管理。他認為此等土著是老實規矩的百姓，因為官府不替他們主持公道，他們才被迫而自行執法。
這次到海南島，以身體的折磨加之於老年人身上，這才是流放。據蘇東坡說，在島上可以說要什麼沒有什麼。他說：“此間食無肉，病無藥，居無室，出無友，冬無炭，夏無寒泉，然亦未易悉數，大率皆無爾。惟有一幸，無甚瘴也。”
但是他那不屈不撓的精神和達觀的人生哲學，卻不許他失去人生的快樂。他寫信給朋友說：“尚有此身付與造物者，聽其運轉流行坎止無不可者，故人知之，免憂煎。”
使章惇和蘇東坡的其他敵人煩惱的，是他們竟無奈蘇東坡何。在哲宗元符元年（一○九八）十二月十二日，他在日記中寫自己的坎坷說：
〖吾始至南海，環視天水無際，悽然傷之曰：“何時得出此島也了”己而思之：天地在積水中，九洲在大贏海中，中國在少海中。有生孰不在島者？譬如注水於地，小草浮其上，一蟻抱草葉求活。已而水乾，遇他蟻而泣曰：“不意尚能相見爾！”小蟻豈知瞬間竟得全哉？思及此事甚妙。與諸友人小飲後記之。〗
蘇東坡也許是固執，也許真是克己自制，至少也從未失去那份詼諧輕鬆。僧人參寥派一個小沙彌到海南島去看他，帶有一封信和禮品，並說要親身去探望。蘇東坡回信說：“某到貶所半年，凡百粗遣，更不能細說。大略似靈隱天竺和尚退院後，卻在一個小村院子折足襠中罨糙米飯吃，便過一生也得。其餘瘴疾病人，北方何嘗不病，是病皆死得人，何必瘴氣？但若無醫藥，京師國醫手裡，死漢尤多。參寥聞此一笑。當不復憂我也。相知者即以此語之。”
他在此島上的人生態度，也許在他貶居此地最後一年後，在雜記中所寫的那段話表現得最清楚：
〖己卯上元，餘在儋耳，有老