海南島當時是中國的版圖，不過居民大部分是黎人，只有少數漢人住在北海岸。蘇東坡流放到那兒，遠離中國文明世界的範圍。幾百個新政受害者只有他被貶到該區。為了阻止元祐大臣回來，兩年間政府下令驅逐和處罰所有前朝有關的人物。蘇東坡流放不久，司馬光的子孫就被削去一切官爵，大批高官——包括子由、範純仁——都被貶到西部和西南各地。連九十一歲的老臣文彥博也不能倖免，被削去幾個官銜。對蘇東坡打擊最大的是罪臣親戚不准在附近作官的新令。蘇邁在南雄附近任職，當然也丟了差事。
現在那棟房子是蘇東坡唯一的財產了。政府一共欠他兩百貫當地的貨幣，照京師幣值算起來是一百五十貫，那是他三年來該得的薪金。蘇東坡沒有領到錢，就寫信給好友廣州太守，請他利用職權叫稅吏付款。王古曾經照蘇東坡的建議設醫院，賑濟貧民，不久就因“妄賑饑民”而遭到免職，蘇東坡到底有沒有領到錢，史上並無記載。
照西方的算法，他現年六十歲。誰也不知道他要流放多久，他似乎不可能活著回中國了。兩個兒子陪他到廣州，蘇邁在河岸上向他告別，蘇過則把妻兒留在惠州，陪他到海南島去。要到目的地，蘇東坡必須上溯西江，走幾百哩到現在廣西的梧州，然後南行到雷州半島渡海。他抵達梧州，聽說他弟弟剛經過該地，要到雷州半島的新任所去。據說他們兄弟被貶到這兩區，是因為地名和蘇家兄弟的名號剛好字尾相同的（子由到雷州，子瞻到儋州），章惇覺得很有趣。子由也帶了太太和第三個兒子媳婦同行，他們這幾年來一直和他住在高安。
到了梧州附近的藤州，蘇東坡和弟弟碰面了。如今他們在這種情況下相逢。那是貧瘠的所在，兩兄弟到一家小店吃午餐。子由習慣好飯菜，吃不下店裡的粗餅。東坡幾口就吃光了，笑著對弟弟說：“你是要慢慢品嚼這些美餐嗎？”他們起來走出店門，慢慢帶家人向目的地進發，盡可能拖時間，蘇東坡知道他們一抵達雷州，他就得立刻出海。
雷州太守很崇拜蘇家兄弟。他熱烈招待他們，還送來一些酒肉——結果第二年就被彈劾免職了。蘇家兄弟死後，子由雷州的寓所變成蘇家兄弟的祠堂。
東坡不得不離去，子由陪他到海邊。臨別前夕兄弟倆和兒子們在船上過夜。蘇東坡痔瘡復發，痛得厲害，子由勸他戒酒。他們曾相對吟詩，蘇東坡試探子由幼子的作詩技巧。這次離別很悲哀，也許一輩子見不到面了，他們整夜沒有睡。臨別蘇東坡曾寫信給王古：“某垂老投荒，無復生還之望。昨與長子邁訣，已處置後事矣。今到海南，首當作棺，次便作墓。仍留手疏與諸子，死即葬於海外，生不契棺，死不扶柩，此亦東坡之家風也。”
那天他向先聖祈禱。當地有一座廟宇祠奉兩位征服南方的將軍。渡海的旅客向來要在廟中請教航行的吉日，預言常常應驗，於是蘇東坡也遵照一般的習俗去祈禱一番。
紹聖三年（1097年）六月十一日清晨，兩兄弟揮手告別，蘇東坡就帶著幼子出發，雷州太守特地派幾位兵丁一路侍候。航程很短，那天天氣不錯，蘇東坡可以看見島上山丘棱線模模糊糊顯露在地平線上，他心裡很不平靜。海洋對他並不像西方詩人那麼可愛。事實上他“眩懷喪魄”。但是他們平安抵達了。登陸後蘇東坡向西北岸的儋州目的地進發，七月二日抵達。
他剛到那兒，一位好縣令張中就來看他們。他不但仰慕蘇東坡，而且善於下棋，張中和蘇過變成好朋友。他們常常對奕一整天，蘇東坡就在旁邊觀戰。張中好意讓蘇東坡住在張家隔壁的官舍。不過那個地方又小又破，秋雨一來房子就漏水，蘇東坡晚上只好把床搬來搬去。這是官舍，張中用公款修了一下，後來卻害他惹上了麻煩。
照漢人的眼光看來，這個小島簡直不堪一住。氣候潮濕，夏天悶熱，冬天有濃霧，秋雨期間什麼都發霉。蘇東坡曾經在床柱上看見一大堆死白蟻。不健全的氣候使人沒法想到長生的問題。他曾經寫道：
走出海岸的城鎮，島民大部分是黎人，他們與漢族移民的關係並不友善。土人住在勢帶山區，後來日軍攻擊珍珠港之前曾經利用土人從事多年的叢林戰爭。土人不識字，本性單純誠實，常常被狡猾的文明漢人所欺騙。他們懶得耕種，靠打獵為生。此地和四川、福建的某些地區一樣，由女人作工，男人在家照顧小孩。黎人婦女在叢林中砍柴，運到城市去賣。刀斧等金屬器具、穀類、布匹、鹽和泡菜都由中國運來，他們用角殼和沈水香來換這些東西，沈水香是中國普遍採用的名貴薰香。連米都從大陸輸入，因為土人一向吃芋頭白水。冬天運米船沒有來，蘇東坡也只好這麼吃法。
居民都很迷信，生病只有巫醫，沒有醫生。島民治病的唯一辦法就是到廟中求神，殺牛獻祭。結果每年要由大陸運來很多牛隻，供人獻祭。蘇東坡是佛教徒，曾想改變這種風俗，但是風俗當然不可能輕易更改。他寫道：
漢人向來無法征服叢林的土著。軍隊一來，土著就退入叢林，漢人不再前進，因為誰也不想住在山區。雙方不和的時候，土人偶爾會襲擊城鎮。有時候他們被漢族商人欺騙，無法到中國法庭求公道，唯一的辦法就是抓住他，勒贖來彌補損失。後來蘇過曾寫一篇兩千字的長文討論這種情況，認為只有公平交易和公道執法能懾服土人，安撫土人。蘇過認為，土著都是誠實的好人，只因為中國法庭不能給他們公道，他們才被迫自己執法。
這次是真正的貶居，老人的身體實在吃不消。東坡說島上什麼都沒有：“此間食無肉，病無藥，居無室，出無友，冬無炭，夏無寒泉，然亦未易悉數，大率皆無爾。惟有一幸，無甚瘴也。”
但是他不屈的靈魂和人生觀不容許他失去生活的樂趣：“尚有此身付與造物者，聽其運轉流行坎止無不可者。故人知之，免憂熱。”他寫信給一位朋友說。
章惇和蘇東坡其他的敵人對他無可奈何，十分氣憤。元符元年（1098年）九月十二日他寫一則日記談到他的困境：
蘇東坡也許是倔強，也許是真的掌握了自己。至少他從未失去幽默感。參寥派了一個小和尚帶信帶禮物到海南島來看他，並說要親自來訪。蘇東坡回信說：“某到貶所半年，凡百粗遣，更不能細說。大略似靈隱天竺和尚退院後，卻在一個小村院子折足鐺中罨糙米飯吃，便過一生也得。其餘瘴癘病人，北方何嘗不病，是病皆死得人，何必瘴氣。但若無醫藥，京師國醫手裡，死漢尤多。參寥聞此一笑。當不復憂我也。相知者即以此語之。”
他貶居最後一年所寫的一則筆記也許最能表現他對島上生活的看法：
蘇東坡曾經對他弟弟說：“我上可以陪玉皇大帝，下可陪卑田院乞兒。在我眼中天下沒有一個不是好人。”現在他和默默無聞的窮學者、農夫農婦交往。他和這些純樸小民談話不必有戒心，自由自在，最能表現自己。家裡一天沒有客人他就不自在，別人不來他就出去拜訪鄰居。和黃州時期一樣，他與高官、平民、學者、農夫雜處。聊天總是他發言；他天生愛說話。但是他也希望別人開口。他帶著海南種的大犬“烏嘴”到處閒逛。他和村民坐在檳榔樹下，想暢談一番。無知的窮農夫能對他說什麼呢？農夫對這位大學者敬畏萬分，“我們不知道要談什麼。”蘇東坡說：“那就談鬼吧，說幾個鬼故事來聽聽。”對方會說他們沒聽過什麼好的鬼故事，他說：“沒關係，就談你們聽過的好了。”後來蘇過告訴朋友，他父親如果一天沒看到客人，就好像有什麼不對勁似的。
就是在這麼偏遠的地方他還不能安靜度日呢。元符元年（1098年）迫害元祐學者的行動達到最高峰。紹聖四年（1097年）除夕前幾天，兩位元祐大臣在一周內先後去世，死因可疑。新春兩位已故大臣的子女被捕入獄，太后的私人秘書被人處死。朝廷全面調動貶居的大臣。那年夏天子由、秦觀和鄭俠也奉命移居，我們記得鄭俠就是推翻王安石相位的小宮廷門吏。
三月間怪道士吳復古又在海南島出現，陪蘇東坡住了幾個月。他帶來一道消息，朝廷派董必來報導放逐大臣的一切，必要時甚至起訴他們。儋州當時屬於廣西省，起先朝廷派奸臣呂惠卿的兄弟呂升卿在該地，他是元祐大臣的死敵。這麼一來蘇家兄弟不死也要慘到極點，曾布等人警告皇帝，派升卿只會鼓勵私人報復，他不可能公平報導。那就表示政府有意走極端。由於他們干涉，升卿被派到廣東，董必派到廣西。董必當然找出了毛病；他說子由強佔民宅，雷州太守慷慨招待罪臣並加以照顧。太守遭到革職，子由被調到蘇東坡原貶居地惠州以東的一個地區。
董必像瘟疫由雷州半島降臨海南。但是他的助手彭子明對他說：“別忘了你自己也有兒女。”董必就不再前進，只派一個官員過海去探查蘇東坡的近況。那個官吏發現他住在官舍裡，張中對他不錯，彼此時相往來，於是張中就被免職了。
蘇東坡被逐出舊居，只好用餘錢立刻蓋一間陋室。新居位在城南的檳榔樹叢中。該區人民，尤其幾位窮學者的兒子紛紛來幫他蓋屋。這是一間五“室”的陋屋，不過可能只有三個房間。他把新居命名為“桄榔庵”。屋後是叢林，晚上蘇東坡躺在床上可以聽見土人獵鹿的聲音。本地產鹿。有時候獵人大清早會來敲門，送他一些鹿肉。五月他寫信給一位朋友說：“初至僦官屋數椽，近复遭迫逐。不免買地結茅，僅免露處。而囊為一空。困厄之中，何所不有。置之不足道，聊為一笑而已。”
他很少恨別人，但是他當然不喜歡董必。對這位趕他出門的大官他得開開玩笑。 “必”、“鱉”同音，他寫了一篇寓言，結尾提到鱉相公。有一次東坡喝醉了，故事由此開始，龍王命魚頭小鬼把他拖入海裡。他身穿道袍、草鞋、頭戴黃帽，不久就發現自己走在水中。突然雷聲大作，海洋翻轉，剎那間他已來到龍王的水晶宮內。龍宮照例鑲滿珍珠、珊瑚、瑪瑙和各種寶石。龍王盛裝出現，兩個女侍陪在一旁，蘇東坡問龍王要什麼。不久皇后走出簾幕，給他一塊十尺的名貴絲綢，要他題詩。題詩對蘇東坡是易如反掌。他畫了一張水底世界圖，水晶宮裡還射出異光，題好詩大家都圍過來看。蝦兵蟹將紛紛稱讚不已。鱉相公也在。他上前對龍王說，蘇東坡這首詩有一個字用了龍王的名諱。龍王聽了他的話，不禁對蘇東坡非常氣憤，“餘退而歎曰，到處被（鱉）相公廝壞”。
蘇東坡寫了三、四首寓言，但是中國文人寫虛構的作品直到十三世紀才真正蔚成風尚，蘇東坡的故事就像唐宋其它作家所寫的寓言一樣，只不過是明顯的教條加上一層薄薄的創造力罷了。
小屋完成後的兩年半期間，蘇東坡過著無憂無慮卻十分貧窮的生活。他有兩位妙友，一個是替他轉信的廣州道土何德順，另一位是四處遊蕩，送他食物、藥物、米、泡菜、書本的小學者。熱帶小島的夏天濕熱難當，蘇東坡常坐在檳榔樹下數日子，等候秋天來臨。秋天多雨，廣州和福建的大船因為氣候關係都不再南行，食物短缺，島上連米都買不到。蘇東坡真的一籌莫展。元符元年（1098年）冬天他寫信給朋友，說他們父子“相對如兩苦行僧爾”。整個冬天補給品不來，他們面臨挨餓的危險。他又恢復菜羹的食譜，還開始煮蒼耳來吃。
他曾寫一篇吃陽光充飢的文章，不知道是正經還是開玩笑。道士決心離開世間，通常都採取餓死的方法，有一段時間他們完全不吃穀物。蘇東坡在筆記“辟穀之法”中談到一個故事，洛陽有一個人跌落深坑，坑里有青蛙和蛇類，他發現這些動物凌晨把頭轉向洞隙滲進來的朝陽，拼命吞嚥陽光。他又餓又好奇。就模仿蛙蛇的動作，發現飢餓已止。後來他獲救，據說從此不知道飢餓的滋味。 “此法甚易知甚易行。然天下莫能知，知者莫能行者何。則虛一而靜者世無有也。元符二年儋耳米貴，吾方有絕糧之憂，欲與過行此法，故書以授。四月十九日記。”
事實上蘇東坡從來不必挨餓。他的好友鄰居也不容許他挨餓。他似乎過著無憂無慮的日子，有一天他頭上頂著大西瓜，一面唱歌一面穿過田野。一位七十多歲的老農婦對他說：“內翰昔日的富貴，有如一場春夢。”從此蘇東坡就叫她“春夢婆”。有時候他在朋友家中小坐，被雨困住了，他就借一頂笠帽、一襲蓑衣和木鞋，踩著泥路回家。群狗爭吠，鄰居尖聲大笑。有機會他就重溫月夜徘徊的習慣，他每到一地都是如此。有時候他和蘇過到六哩外的西南海岬，那兒有一個大石頭很像面海的和尚。許多船隻在該地遇難，當地人覺得那塊石頭具有神秘的魔力。峭壁底下長滿荔枝和桔子。誰都可以採水果吃，不過誰若貪心想多摘一點帶回去，馬上就會有暴風雨出現。
蘇東坡對和尚一向很好，但是他不喜歡儋州附近的和尚，他們都娶妻或者搞女人。他曾寫一篇尖刻的文章諷刺他們。題目是《記處子再生事》據說真有其人：
這幾年蘇過一直陪在父親身邊。照蘇東坡的說法，蘇過是父親各方面的良伴。他不但做一切雜事，而且擔任他的秘書。在名父教導下，蘇過很快成為詩人和畫家。蘇東坡的三個兒子中，只有蘇過成為重要的作家，他的文學作品留傳至今。他受過蘇東坡少年時所經歷的一切訓練。他曾抄錄整本《唐書》來增進記憶，後來又開始抄《漢書》。蘇東坡記憶力驚人，還記得這兩本書的一字一句，他躺在長椅上聽兒子背書，偶爾會指出某些古人生平中的類似細節，或者提出批判。
他們沒有好紙筆，但是蘇過用簡陋工具學會了竹石和冬景的繪畫。大約二十年後，蘇過進京遊訪，歇在一間寺廟內。宮中士兵突然抬著小轎子來，要他去見徽宗。蘇過莫名其妙，卻又不能抗命。他一入轎，四周就垂下簾子，他看不見行進的方向。轎子沒有頂，有人替他撐一把大傘。他似乎走了很遠，大約四、五哩才到達一處地方。他走出來，發現自己站在有頂的長廊中，有人領他進入一間華堂。他進屋看見皇帝坐在那兒，身穿黃衣，頭戴一頂鑲綠玉的帽子。皇帝身邊圍滿宮女，穿著都很華麗。蘇過只覺得人數不少，卻不敢抬頭望。六月時光，屋裡還冷得沁人。裡面放著大堆冰塊，滿室薰香。他知道自己身在某一座宮殿內。行禮之後，皇帝對他說：“聽說你是蘇軾的兒子，善於畫石。這裡是一個新殿，我要你在牆上作畫。所以派人找你來。”蘇過深深吸了一口氣，徽宗本人也是大畫家，有不少作品留存至今。蘇過鞠躬兩次，開始在牆上作畫，皇帝起身在旁邊看他，作品完成後，皇帝一再表示讚賞，叫宮女向他敬酒，又送了不少珍貴的禮物。蘇過告退，到走廊上轎，一路上簾幕再度垂下。到家一想，真像做了一場怪夢。
島上找不到好墨，蘇東坡就實驗制墨。後來蘇過曾說，他父親差一點把房子燒掉。這個故事牽涉到杭州一位制墨名家，他的產品比別人貴兩三倍，因為他自稱在海南島曾向蘇東坡本人學到秘方。有些學者問蘇過他父親有什麼制墨良方，蘇過笑著說：“家父沒有什麼秘方。我們在海南島無事可做，他就隨便試著玩。有一天潘衡（制墨名家）來了，家父和他在一個小房間燒松脂油製墨。半夜房間著火，差一點把房子燒掉。第二天我們由殘跡中找到幾兩油墨。但是我們沒有膠，家父用牛皮膏設法和油墨混合。很難固體化，所以只做出十幾條手指般大小的黑墨。家父大笑一場。不久潘衡就走了。”時人發現潘衡做的墨確實很好。顯然他制墨的秘方是向別人學來的，只不過借蘇東坡的盛名來銷售罷了。
蘇東坡閒來無事，習慣到鄉間四處採藥，分辨各種藥草。有一種藥古書曾經提起，只是名稱不同，沒有人找到過。他寫了不少有關藥草的筆記，我要特別談談蕁麻治風濕的辦法，蕁麻含有蕁麻素和黃體素，像毒藤似的，碰到皮膚就會腫痛。照他的說法，把蕁麻敷在風濕起始的腫痛關節上，全身各處的酸痛都會停止。他還熱烈信仰蒼耳。蒼耳到處都有，對人無害，不管吃多久怎麼吃都可以（含有脂肪，少量樹膠、維他命C1和耳醣）。他寫下蒼耳白粉碾制的辦法，把葉灰用溫火燒二十四小時就成了。白粉吃下去據說可以美化皮膚，“滿肌如玉”。有些筆記談到蔓菁、蘆菔和苦薺，蘇東坡稱為“葛天氏之遺民”的美食，價值高，味道又好吃。
除了這些工作，他在兒子協助下還收集各種雜記，編成《志林集》。當年兩兄弟分註五經，蘇東坡擔任兩種。謫居黃州期間他已完成《易傳》和《論語說》。如今在海南島他又完成了《書傳》。最傑出的成就是一百二十四首《和陶詩》。他在穎州就開始“和”這些詩，但是到惠州後，被迫閒居鄉下，他發現自己的生活幾乎和陶潛一模一樣，他十分景仰陶潛。等他離開惠州，已經完成一百零九首，最後十五首專“和”陶潛尚未被和過的詩篇，都在海南島完成。他請子由寫序，在一封信中說：“然吾於淵明，豈獨好其詩也哉。如其為人，實有感焉。”很多崇拜蘇東坡的人也會這樣說。