1958年10月，林語堂受學生馬星野之邀，到台灣進行了為期半個月的私人訪問。
他受到了極其熱烈的歡迎，黨政要員、社會名流、文化界人士等爭相拜訪，連蔣介石夫婦都設私宴款待，和他笑談的譯述問題。
最讓他開心的是，台灣的閩南僑胞對這位名滿世界的老鄉格外熱情，來探望的人如海如潮，險些踏破了門檻。林語堂講起了生疏已久的家鄉話，“鄉音不改鬢毛衰”，用閩南話，衰就念“cui”，特別中聽，鄉音難得，難得鄉音啊！他喃喃自語道：“回到台灣，就像回到了閩南漳州的老家！”
隨後，夫妻倆到中南美訪問了兩個月。
惟一掛心的還是如斯。
“爸爸媽媽要去中南美，你會好好的照顧自己嗎？”如斯前陣子剛進了醫院，廖翠鳳怎麼也不放心。
“當然會的，你們放心去好了。”如斯挽住父母的胳膊，裝出很開心的樣子。
“要是有什麼事，你去找妹妹好了。”
“可是妹妹在波士頓！”
“對啊，堂，要不然我不去了，你一個人去。”翠鳳轉過身對語堂說。
“爸，媽，你們儘管去好了。我不會有事的。”
“你一個人住要小心，不認得的人不要開門讓他進來。”
“我知道，我知道。”
“你錢夠不夠用？”
“夠了，夠了。”
“凡事要看得開，不要再傷心了。”
“我不會的。我自從出院之後好像變了一個人，好像從前的拼圖玩具少了一塊，現在拾到了，完整了。”
林語堂像撫小女孩一樣撫撫如斯的頭，“你要好好的工作，不要胡思亂想，知道嗎？你根本沒有什麼事，身體好，又聰明，年齡也不大，可以有很好的前途，只要你用頭腦想清楚。”
“我對不起你們，每家都有一本難唸的經。”
“快別那麼說，我們回來之後你搬回家住。”
“我又不是小孩子，我會照顧自己的。”
回到紐約，林語堂還是要賣文為生，出版了《輝煌北京》、《紅牡丹》、《賴柏英》等書。如斯時好時壞，好的時候能正常的上班，壞的時候就把自己封閉起來，誰的話也不聽。翠鳳傷透了心，林語堂讓如斯搬進住所的隔壁，打通牆，以便隨時照顧她。
在這期間，他還在台灣中央報開了《無所不談》專欄，每月4篇稿子。
像所有的老人一樣，林語堂年紀越大，越留念起童年、故鄉，落葉歸根的念頭一點一點鑽出來，在心裡頭蠕動。他一個人飛到香港找太乙。太乙帶他四處遊玩，他卻飄忽地四下里看，像在尋找什麼。 “阿爸，你看，香港有山有水，風景像瑞士一樣美。”太乙說。
“不夠好，這些山不如我坂仔的山，那才是秀美的山，我此生沒有機會再看到那些山陵了。”
“那坂仔的山是什麼樣子？”
“青山，有樹木的山，高山。香港的山好難看，許多都是光禿禿的。”
太乙看透了父親的心思，帶他到新界落馬洲。許多遊客、懷鄉客就是在這裡的山峰上，遠遠的看大陸那邊，看根本看不到的故鄉。林語堂也踮著腳，極力地往遠處望，看那片片的梯田和無盡的山巒之外，再之外，那青青翠翠、重重疊疊的坂仔是否還在那兒，還在等著遊子歸來？他回想起第一次和父親爬上坂仔的山，他也是這樣望著望著，望山外的世界，可他再也回不去了。
報紙上說有個女人生活艱苦，林語堂拉著太乙到警察都不敢去的貧民窟，給了那女人幾百塊錢。
太乙問起家里人，林語堂小聲地說：“我把媽媽照顧得快快樂樂。你的姊姊在慢慢摧毀她。”
1965年，林家人聚在一起，大擺筵席賀林語堂夫婦70大壽。夫婦倆看著一家人和和美美，兒孫滿堂，十分安慰。絕少喝酒的林語堂也興致勃勃地陪著客人飲了一大盅，他詩興大發，現場揮毫，填了一首《滿江紅》自壽：
七十古稀，只算得舊時佳話。須記取，岳軍曾說發軔初駕，冷眼數完中外帳，細心評定文明價。有什麼了不得留人，難分舍。
他還依原韻《臨江仙》，和台灣中央社同仁的賀壽詞以致謝：
三十年來如一夢，雞鳴而起營營，催人歲月去無聲，倦雲遊子意，萬里憶江城。
自是文章千古事，斬除鄙吝還興，亂雲卷盡紋平，當空月明在，吟詠寄餘生。
鄉愁鄉思最磨人。
次年，旅居美國30年之久的林語堂回台北定居了。
他說：“許多人勸我們入美國籍，我說這兒不是落根的地方；因此我們寧願年年月月付房租，不肯買下一幢房子。”
有人問他回來後的打算，他說：“從此是，無牽掛，不踰矩，文章瀉。是還鄉年紀應還鄉啊！”至於傳得沸沸揚揚的做官論，他幽默地說，要是讓他去當市長，“今天上台，必定也在今天下台。”“我不能忍受小政客的那副尊容，在一個機構裡，這種人，我是無法與他們鬥下去！我一定先開溜。”
台灣當局表示要為他建築一棟房子，林語堂考慮再三，接受了，但卻婉拒了考試院副院長的職位。
就在陽明山上中西結合的房子裡，林語堂走完了人生最後的日子。
房子的面積很大，有水池，有庭院，背靠著山，下了山坡就是大片的草地，可以種菜養雞。林語堂買了十幾尾魚，養在水池裡，平日里喂喂魚，和翠鳳聊聊過去、孩子們、親人們的現狀，簡樸得就像沒見過世面的山間老人。他心血來潮，還說要養一隻鶴，就像“梅妻鶴子”的那位杭州隱士，真正是心閒自在了。
日子安定下來，不安的廖翠鳳面色漸漸紅潤。趕個大早買兩斤剛剛砍下來的嫩得出水的竹筍，殺一隻老母雞燉湯，那是鼓浪嶼廖家的味道，多少年沒有聞到了？
吃罷飯，夫婦倆收拾停頓，手挽手到市裡游玩，鄰桌是說閩南語的彪形大漢，走到街上，穿著時尚白衣紅裙的妙齡女子，在用閩南話相互揶揄，到永和吃豬腳，老闆熱情地招呼：“戶林博士等哈久，真歹細，織蓋請你吃煙呷喫茶。”到五金店買東西，小老闆一口地道的西溪話，他們興奮地聊起故鄉的鹼水桃、鮮牛奶，又聊起江東大石橋，比什麼都親切。林語堂買了一堆沒有用的東西，他說：“誰無故鄉情，怎麼可以不買點東西空手走出去？於是我們和和氣氣做了一段小交易，拿了一大捆東西回家。”
林語堂越來越喜歡孩子，也越來越像孩子。逛街的時候他看見一個十二三歲的小孩子在看店，非得湊上去攀談。小孩子說錯了話，臉紅到耳朵根兒，林語堂覺得一定要買點東西，因為臉紅是作不得假的。他送林太乙到松山機場，在咖啡室裡閒坐。有飛機降落，一小隊士兵列隊歡迎。他興高采烈地喊：“快看啊，什麼大人物來了？”說完便跑窗戶邊看，翠鳳也跟著小跑過去。太乙好笑地想，他大概忘了，他自己也可以算是“大人物”。
林家有不少小輩也在台灣，有幾個還是初出茅廬的作家，林語堂得意地吸著煙斗說：“我們姓林的個個都聰明！”
有很多文學崇拜者給他寫信，林語堂每封必看，而且都批上評語。有位先生寫的是半文言半白話的夾生文章，他毫不客氣地批到：“不知所云。”又批到：“不通，不發？”末尾又加上：“還是好好寫通順白話為首要。”
有個高三的學生問他，讀哪所大學為好，他回答：“讀書在人不在學校。”
如斯的情況越來越壞。她患了功能性的腦損傷，時刻焦慮恐懼，好像與現實脫節，沉溺在個人幻想的世界裡。她不願意年邁的父母痛苦，一個人住在所在單位的宿舍裡。
夫妻倆常為這個憂心。
“我們生了三個女兒，同樣照顧，為什麼就是她有問題？是不是她小時候我做錯了什麼事，使她這樣？”翠鳳愁苦地問。
“不，鳳，你不能怪自己。”林語堂撫撫翠鳳的肩頭，極力地安慰。
“她是我頭一胎，我多麼疼她。她小時候真乖，多聽話，又聰明，像個大人一樣，幫助我做家務，照顧妹妹。多乖、多聽話。”
“她會好起來的。愛她，照顧她，不要批評她，她會好起來的。她根本沒有事。”
他又對如斯說：“你不要一直想自己，想想別的，培養個人興趣。人生快事莫如趣，那也就是好奇心。你對什麼最感興趣，就去研究，去做。興趣是有益身心的。”
“堂啊，你不要跟她講大道理了，她聽不進去。我的骨肉，我的心肝，你不要這樣子好不好？吃一片鎮定劑吧。吃了就會好一點。你知道你爸媽都是七十幾歲的人了。你要學會照顧自己，自食其力。我們是沒什麼積蓄的，你爸爸的工作是絞腦汁，那是非常辛苦的工作，會疲倦的，你不要使他煩惱。”
“鳳，你不要跟她講這些，我很好，一點也不疲倦。”
“不，我要她明白。我們上了人家的當，我們存在'互惠基金'的錢不值分文了。那互惠基金的主持人因為舞弊被抓起來了，成千上萬的人上了當，包括你爸媽。”
“喔？”如斯很驚訝，“互惠基金”的錢是這幾年父母從牙縫裡省出來的，準備留著養老，怎麼會不見了？
“這件事轟動全美，在報紙上已經登了許久……”翠鳳繼續念叨。
“鳳，你不要跟她講這些！”語堂生氣地吼道。
“我要講，我要她明白，你爸很辛苦絞腦汁賺來的錢不見了。賺錢是不容易的。你不要使他憂愁，聽見沒有？”
如斯振作不起來。她選擇了一個很極端的方式，在窗簾桿上上吊自殺了，清潔工人發現時，茶杯還是溫的。遺書上寫著：“對不起，我實在活不下去了，我的心力耗盡了。我非常愛你們。”
那時候，林語堂因為編漢英詞典，操勞過度，有“中風的初期症狀”，剛在醫院躺了兩個月出來。
他給太乙打電話，很鎮定。
“你姐姐今天早上自殺了。你不要擔心，我會照顧媽媽。”
“什麼?”太乙沒明白過來。
“你姐姐自殺了。”林語堂又說了一遍，沉穩得好像在說一件不關自己的事。
太乙和相如趕到醫院，他和翠鳳早已哭成了淚人，他們一人抱住一個孩子，聲嘶力竭地大哭。哭到沒有力氣了，眼淚還在往下掉，他們相互攙扶著，一邊抹眼淚一邊說：“我們不要再哭了。我們不哭了。”
可憐白髮人送黑髮人，一夜之間，兩人老了好幾十歲。
太乙悲傷地問父親：“人生是什麼意思？”
“活著要快樂。”他聲音低沉，沒有再說下去。
親戚們幫忙料理瞭如斯的後事，太乙姐妹倆接父母到香港小住散心。在淺水灣吃飯，林語堂杯子拿不穩，茶水濺出來，把上衣全打濕了。孩子們在沙灘上熱鬧地嬉戲，陽光明媚，林語堂看了一眼就晃過去，踉踉蹌蹌地回到了汽車裡。林太乙說：“（父親）變成了一個空殼子，姐姐掏去了他的心靈。”
廖翠鳳沒有眼淚，面色灰白，她睜大了眼睛，時時刻刻盯著丈夫和女兒，生怕災禍再發生。她不再說英語國語，只說廈門話，似乎只有躲在廈門廖家的世界裡才覺得安全。她失眠、恐懼，一直擔心家裡來了小偷，即使是送信的郵差也不讓進門。外孫來了，她也不笑。語堂說：“就在這裡吃午飯吧！”翠鳳說：“不要！家裡沒有東西給他們吃！”有個老朋友來看他們，廖翠鳳不見，“我們沒有錢，沒有面子見人！”
林語堂先恢復過來，他是一家之主，還有脆弱的妻子和孩子等著他去照顧。他開始繁重的字典校對工作。他的眼睛已經看不清楚了，太乙給他買了一個帶電燈的放大鏡，他一個字一個字地慢慢看。他對翠鳳說：“鳳啊，我每校完一面要蓋圖章，你來替我蓋吧！”翠鳳靜靜地蓋，一聲不響。兩人就這樣一坐一整天。
他寫了一首《念如斯》：
東方西子飲盡歐風美雨不忘故鄉情獨思歸去
關心桑梓莫說癡兒語改裝易服效力疆場三寒暑
塵緣誤惜花變作摧花人亂紅拋落飛泥絮
離人淚猶可拭心頭事忘不得
往事堪哀強歡笑彩筆新題斷腸句
林語堂大把大把地掉頭髮，乾瘦，老弱。女兒們領他們去吃香港有名的燒鵝，林語堂似乎恢復了些興致，和外孫玩得不亦樂乎。剛剛吃完，他就開始吐血，醫生說是由於身心疲勞引起十二指腸脫垂。養病期間，他態度很溫和，凡事都自己來，精神很好的樣子。有一次，太乙聽見他偷偷地對翠鳳說：“女兒各有自己的事要做，我們不要搞亂她們的生活。”太乙捂著嘴大哭不止。
1972年，按照“上下形檢字法”編排的《林語堂當代漢英詞典》由香港中文大學出版。他說，這是他寫作生涯的巔峰之作。李卓敏校長在序裡寫：“沒有一部詞典敢誇稱是十全十美的。這一部自不能例外，但人們深信它將是迄今為止最完善的漢英詞典。”林語堂喜形於色，興奮地嚷嚷：“我工作完畢了！從此我可以休息了！”
他已經77歲了，但還不肯罷手，他說還要再編一本國語詞典，家里人認為他的健康狀況不理想，不准他再工作，他很失望地張張嘴，終於沒有爭辯。
林語堂老得很快，記憶力衰退，走路要靠拐杖，瘦得皮包骨頭，青筋裂出來了。 1975年，他80歲，被世界國際筆會選為副會長，同時被大會推選為諾貝爾文學獎候選作品。
他給安德生編撰的《林語堂精摘》寫序言說：“我喜歡中國以前一位作家說過的話：'古人沒有被迫說話，但他們心血來潮時，要說什麼就說什麼；有時談論重大的事件，有時抒發自己的感想。說完話，就走。'我也是這樣，我的筆寫出我胸中的話。我的話說完了，我就要告辭。”
林太乙為了調解他的心情，對他說有中文印刷機的展覽，出了很多新花樣，他搖搖頭說不想動。他寫《八十自敘》，出了很多語法錯誤。以前在紐約，十來歲的太乙幫他打信，他說“Confucius”(孔子)，要拼寫出來。太乙搶著說：“不必！不必！我會拼的。”結果太乙打成了“Confucious”，他看了一眼說：“我早就料到你會多打一個'o'。”
生命在慢慢逝去，他捨不得，他更敏感、更銳利地感受到這個世界的美麗。風和日麗的氣候，他流淚；鳥兒啁啾地鳴叫，他流淚。聖誕節，林太乙帶他到百貨店買禮物，大人小孩笑逐顏開，歡樂的聖誕歌迴旋地播放，他努力睜大了渾濁的眼睛，不放過些微的快樂景象。他突然抓住櫃檯上的一串假珍珠鍊子，用乾癟的雙手摩挲，上下看，眼淚就嘩嘩地流下來，低低地抽泣。年輕的店員鄙夷地看著這位瘦小的老人。林太乙氣得胸膛快要爆炸，她想對無知的店員說，你要讀過他的書，知道他多麼熱愛生命，方才知道他為什麼在掉眼淚。讓他抓起一個個裝飾品，對著這些東西流淚吧。
聖誕節過後，他的情況越來越糟。每次感冒或患痛風，就要失去一部分身體機能。他不能走路，不得不坐上輪椅。 “我真羨慕你”，他對太乙說，“想去哪裡就去哪裡。”
後來，他不會打睡袍上的結，女兒教他，他像個孩子一樣耐心地學。半夜裡掉下床，他爬不起來，靜靜地睜眼到天亮。
“爸爸，你怎麼不喊我？”女兒心疼他。
“你白天要工作，我不想吵你。”
該來的總會來。 1976年3月23日，林語堂大量胃出血，被送進醫院急救，情況好轉。三天后，心髒病突發。女兒們趕來，他半抬起手，像要抓住什麼，用盡力氣地喊了一聲，再也發不出任何聲音。
醫生叫親人們不要離開。
——打強心劑；
——腎功能失靈；
——腦部已經死亡，但心臟仍然跳動；
——心臟停搏；
——心臟恢復跳動；
——心臟停搏；
——心臟恢復跳動；
……
一連9次，他盡了最後的努力，無可奈何地放棄了生命。他赤裸裸地平躺著，只蓋了一個單薄的被單，他赤裸裸地出生，又赤裸裸地去了。
這已經足夠，身後的繁華或是孤寂對這位相信善良、憐憫和熱情的老人來說，已經不重要。就如泰戈爾說：
你已經使我永生，這樣做是你的快樂。這脆薄的杯兒，你不斷地把它倒空，又不斷地以新生命來充滿。
這小小的蘆笛，你攜帶著它逾山越谷，從笛管裡吹出永新的音樂。
在你雙手的不朽的安撫下，我的小小的心，消融在無邊快樂之中，發出不可言說的詞調。
你的無窮的賜予只傾入我小小的手裡。時代過去了，你還在傾注，而我的手裡還有餘量有待充滿。
“文憑之程式，也由個人自定，印的也成，寫的也成，寫在連史紙上也成，寫在茅廁裡用的粗紙或信封上面也成。因為這文憑是最不要緊的事。”
—— 《誰最會享受人生》