為了盡快還清“明快打字機”欠下的債，不願受約束的林語堂居然接受了聯合國科教文組織美術與文學組主任之職。
離美赴法前，林語堂吩咐廖翠鳳賣掉了大部分家私，先還部分欠款。啟程前兩天，他突然收到美國稅務局的來信，說他必須繳清3萬多美元的個人所得稅才能離開美國。 “我的天啦！”林語堂頹然地坐下，雙手直拍額頭。他領了的部分版稅，又向盧芹齋借了錢，才得以啟程前往巴黎。
科教文組織的工作薪水高，可實在是累人。忙不完的會議、寫備忘錄、應付人事問題、準時上下班，林語堂已經50出頭，精力、體力上都吃不消，每日回家，靴子一脫躺在沙發椅子上，動也不肯動。短短兩年，心力交瘁的林語堂慢慢顯出老相來，頭髮脫落、禿頂，身體乾瘦得像縮了水的皺皮桔子。
1949年，林語堂不堪忍受，便辭去了科教文的工作，搬到法國南部坎城的一幢小別墅“養心閣”裡修養。那是盧芹齋的私產，本是設計給4個女兒住的，但是女兒女婿各自忙事業，誰也不來，房子空閒著，由一對園丁夫婦料理。
“養心閣”坐落在小山坡上，不遠處便是碧波粼粼的地中海，院子裡種滿了高大挺括的棕櫚樹和色彩艷麗的九葛丹，有胭脂紅、磚紅色、銅橙色等，蜜蜂在其間嗡嗡作響。 “久在樊籠裡，難得返自然”，林語堂喜歡上這裡的環境，恢復了寫作生涯。
傍晚時分，他到露天的咖啡館喝一壺濃郁的咖啡，或是在岸邊看漁人滿載而歸的喜悅，彷彿回到了年幼時的坂仔，日出而作，日落而息。這裡的生活花費低，又有新鮮的魚類、瓜果蔬菜，林語堂忘卻了巨額的欠款和外界的喧囂，很安靜，很閒適。
翠鳳經過這幾年的奔波，心灰意冷，躲進了自己的小世界，每天只是重複地念叨：“我們沒有錢了，我們欠人家錢。我們從這裡搬走之前，一定要把椅套洗乾淨還人家。”林語堂心疼地抓住她的手說，“鳳啊，我們從頭來過。你別擔心，我這枝邋遢講的筆還可以賺兩個錢。”
林太乙陪著父母在坎城住了一些日子。一天午後，兩人在花園裡曬太陽，林太乙突然問：“阿爸，人死後還有沒有生命？”
“沒有。”林語堂看看四周，堅決地說，“你看這花園里處處都是生命，大自然是大量生產的。有生必有死，那是自然的循環。人與蜂有什麼分別？”
他又引用了蘇東坡的一首詩：
人生到處知何似？
應似飛鴻踏雪泥。
泥上偶然留指爪，
鴻飛那復計東西。
林太乙望著父親鬢白的頭髮，炯炯有神的眼睛，心裡一陣淒涼，她想起父親寫過：“我愛春天，但它太嫩了。我愛夏天，但它太傲了。所以我最愛秋天，因為秋葉泛黃，氣度醇美，色彩富麗，還帶著一點悲哀的色調，以及死亡的預感。它金黃的豔色不道出春天的無邪，不道出夏天的權威，卻道出了晚年的成熟和溫靄智慧。”成熟是時光的消逝，過去了，就永不會再回來。
“人生既然這麼短暫，那麼，活在世界上有什麼意義呢？”太乙無可奈何地問。
“我向來認為生命的目的是要真正享受人生，”林語堂說，“我們知道終必一死，終於會像燭光一樣熄滅，這是件非常好的事情。這使我們冷靜，而又有點憂鬱；不少人並因之使生命富於詩意，但是最重要的是：我們雖然知道生命有限，仍能決心明智地、誠實地生活。”
他默然半晌，接著說：“蘇東坡逢到悲哀挫折，他總是微笑面對。”
林太乙不期然地對上父親的眼，她知道父親的所指，外在的困頓都不能叫這位老人低頭，微笑樂觀，一切終會雨過天晴。
在坎城，林語堂一連寫了《唐人街》、《老子的智慧》、《美國的智慧》等書。雖然銷量不太理想，但畢竟是賺了錢，慢慢把欠銀行和盧芹齋的錢還清了。
隨後，全家人又遷回了紐約。林語堂常常要到哥倫比亞圖書館查資料，不方便用自己的名字，太乙幫他辦了張借閱證，化名林語珠女士。
20世紀50年代初，林太乙和丈夫黎明從毛里求斯回美國，工作難找，就和林語堂商量辦本和《西風》類似的文藝類刊物，取名《天風》。紐約生活不易，林語堂的生活壓力也很大，欣然同意了。他們藉了《中央日報》在唐人街辦公室的一張寫字台作營業點，辦公基本上在林太乙的家裡。
林太乙的女兒還小，常常傷風，她忙完工作忙家裡，累得夠嗆。林語堂不忍心女兒吃苦，從編輯、校對到包裝、開車送到郵局去寄等粗重體力活都一手包辦。
1953年，他出版了長篇小說，寫“回漢衝突、腐敗政治，愛人的智慧”，因為和早前的、都表現了相同的人生理想和文化理想，所以被譽為“林語堂三部曲”。這本書的銷量很好。
同年，林語堂和賽珍珠夫婦絕交了。
20年前，是賽珍珠發現了林語堂，並幫助他走向了國際文壇。林語堂對這份人情常懷感恩，拒絕了其他出版商的高薪誘惑，把歷年來的著作一本不落地交給莊台公司出版，成了公司的台柱子。發明“明快打字機”那會兒，賽珍珠拒絕幫忙，林語堂雖然覺得自尊心極受打擊，但是轉念一想可能是美國人的思維在起作用，鬱結了一段時間也就忘卻了。一次偶然的機會，他發現賽珍珠夫婦在版稅上耍了很大的花招。按照當時的慣例，書的海外版和翻譯版，原出版公司抽10%，而莊台公司竟然抽達50%，有5倍之多。他的書被譯為十幾國文字，海外銷售量巨大，這許多年來，吃的版稅虧真不知有多少。而且，書的版權還屬於莊台公司。
簽約時，林語堂和賽珍珠的友誼正稠，對莊台根本不設防，連契約書都沒有細看就簽了合同。整整過了19年他才幡然醒悟，“朋友開書局也是為賺錢的。”正如鬱達夫所說：“林語堂生性憨直，渾樸天真……惟其憨直，惟其渾樸，所以容易上人家的當。”
林語堂最不堪朋友的欺瞞，不怒則已，一怒驚人。他委託律師向賽珍珠夫婦索要著作權，態度強硬，一點迴旋的餘地都沒有。華爾希又驚又怒，賽珍珠甚至打電話給林太乙，問“你父親是不是瘋了？”
幾個月之後，林語堂要到南洋大學當校長，打電報給賽珍珠辭行，賽珍珠沒有回复。林語堂痛心無比：“我看穿了一個美國人。”
20載的跨國友誼至此義斷情絕。
賽珍珠去世後，幾個養子為了爭奪她留下的700萬美元遺產，拿她不為人知的隱私說事，這大概是她做夢也沒有想到的吧！
如斯的婚姻是林語堂的另一件心病。
林如斯是廖翠鳳結婚4年才懷上的頭一胎，生產時難產，母女倆險些都丟了性命，所以夫妻兩人很寶貝這個來之不易的女兒。如斯從小就听話，成績好，又漂亮，像個小大人，處處能幫父母手，沒讓林語堂費半點心。
如斯從陶爾頓學校畢業後對父母說，她不願因為是林語堂的女兒而享受特殊待遇，她要回國，雖然沒有念過醫學，但還是可以盡一份力。林語堂嘉許女兒報效祖國的宏願，出面聯繫了昆明軍醫署，讓她在舊識林可勝醫生手下做事。不久，如斯認識了汪凱熙醫生，林語堂夫婦都很滿意這個年輕上進的小伙子，雙方家長商定好，讓他們回美國就結婚。
誰知就在大辦訂婚宴的前一天，文靜內斂的如斯突然和一個美國青年狄克私奔了。聽到這個消息，林家上下驚如晴天霹靂。請帖已經發出去，新朋舊知該來的也來得差不多了，一時間議論紛紛，說什麼的都有。夫妻倆只得裝出笑臉應付各種誹謗、猜測、嫉妒、流言。
狄克是個不務正業的小混混，仗著家裡有幾個錢，胡作非為，在中學時就被學校開除，靠父親養活。如斯去昆明前就認識他了，只是一般朋友，為什麼會和他私奔，林語堂想破了腦袋也想不通。
從此如斯居無定所，過的是窮困落魄的生活。她說狄克要寫作，要這樣要那樣，但沒有一件幹得好的。
林語堂不放心如斯和這樣不堪的人一起，可女兒喜歡，做父親的能有什麼辦法？他背地裡對翠鳳說：“憨囡囡，怎麼做出這樣的事來？我現在比以前更加疼她。我捨不得。”每次如斯和狄克回家，林語堂交代翠鳳什麼也不准說，還要格外整出一桌好菜，待女婿如上賓。 “吃，吃啊！”夫妻倆熱情地勸，裝出喜歡的樣子，生怕女兒心裡難受。
這樁不體面的婚事很快走到了盡頭。 1955年，如斯和狄克莫名其妙地離婚了。如斯生性敏感，有什麼事都悶在心裡，拋家棄父卻換來這麼個結局，她接受不了，從早到晚發呆，像沒有靈魂的木偶，扯一下動一下。狄克沒有付分文的贍養費，如斯不願意去要。林語堂勸她冷靜想想，和人爭錢固然討厭，但是人總要吃飯，總要活下去，沒有錢是不行的。如斯聽了這話，很激動地痛哭流涕，說她不要討價還價，不要和狄克有任何联系，她辦不到。林語堂別過身，眼淚往肚裡咽。
他剛從南洋大學回來，那也是段不愉快的經歷，廖翠鳳嚇得神經衰弱又發作了。林語堂對太乙說：“別擔心，媽媽要有個廚房可以燒飯就會好起來的。”
他是一個父親，一個丈夫。
林語堂在溫暖的坎城租了一套普通的公寓，帶著受傷的妻女療養生息。翠鳳稍微好些後，他買了一輛小汽車，全家人在歐洲遊歷。他對悲痛欲絕的如斯說：“這個世界假使樣樣照邏輯發展，生活就沒有趣味。人的心思不可理喻，有矛盾，所以可愛。人如果沒有弱點，沒有不可抗拒的情感，沒有不可逆料的意欲，便沒有文學。人容易犯錯，所以生命千態萬狀。如果我們都是理性的，則我們會淪為機械人。”
歐陸的風光夢幻一般美麗，他們不買明信片，不照相，像流浪漢一樣，漫無目的地遊蕩，走到哪兒算哪。如斯還是提不起勁來，林語堂見縫插針地勸導：“鳳如啊，你回美國後，找份工作，你不是喜歡詩嗎？可以試著翻譯唐詩。你還年輕，離婚不是天大的悲劇。”
遊玩了幾個星期，如斯的情況有了好轉，便回美國去了。相如也要到哈佛大學研究院攻讀生物化學。女兒們都走了，老倆口在坎城過著無拘無束的恬淡生活。他們穿著便衣，手牽著手到菜市場買菜。翠鳳的法語不靈光，林語堂就幫著壓價。做了一道好菜，兩人能像小孩子似的，樂上老半天。翠鳳還在陽台上種起了馬鈴薯。坎城人友好和善，誰也不知道這個每天提著菜籃子溜達的中國老頭就是大名鼎鼎的作家林語堂。
他已經60歲了，仍然精神矍鑠，有時走在大街上，他會突然興奮地大叫；坐在露天的咖啡館裡，毫無形像地大打哈欠，別人看他，他不理會，按心裡的想法來，彷彿是很有趣味的遊戲，樂此不疲。他樂觀地對老朋友說：“老婆對我不嫌老，既不傷春也不悲秋，俯仰風雲獨不愁。”
他又寫了一部小說《遠景》，描寫了世外桃源的烏托邦，人人過著平靜安定的生活，這是林語堂理想的社會，是古希臘田園風味和老莊“無為而治”的綜合體。他寫道：“哲學教授應該接受考驗，向他的女僕解釋他教的科目。假使女僕聽不懂，則大學必須開除那位教授。”
“兒童犯罪呢？”
“把他的父母關起來。”
“人口過於稠密呢？”
“納稅，家庭人口越多，納稅越多。”
因為翠鳳念女情切，兩人在坎城住了一年多，又搬回紐約去了。林語堂創作了《武則天傳》、《中國人的生活方式》等書。他還發表了《從異教徒到基督教徒》，宣布再度皈依基督教。他解釋說：
30多年來，我惟一的宗教乃是人文主義：相信人有了理性的督導已很夠了，而知識方面的進步必然改善世界。可是觀察20世紀物質上的進步，和那些不信神的國家所表現出來的行為，我現在深信人文主義是不夠的。人類為著自身的生存，需與一種外在的、比人本身偉大的力量相聯繫。這就是我回歸基督教的理由。我願意回到那由耶穌以簡明方法傳布出來的上帝之愛和對它的認識中去。