送走了泰戈爾，卻留下了牽掛。徐志摩因泰戈爾來華最興奮的時期也過去了。
百無聊賴中，失意的徐志摩和張歆海相約到了廬山。在這裡近一個半月，徐志摩有了和大自然傾訴的機會，同時也有了時間翻譯泰戈爾的講演稿和詩歌。
在一次散步中，張歆海又勸導起萬分落寞的徐志摩來了。徐志摩整天的樣子，讓張歆海也不能歡歡喜喜。張歆海就對他說：“你這傢伙，真是個情種，一刻也離不開女人的慰藉。一旦有了一個心目中理想的女人，馬上便才思泉湧，沒有了女人，便整天失魂落魄。”徐志摩認真地說：“沒有女人，哪有生活，沒有生活，到哪裡尋找詩、尋找美？我生來就愛美，美在哪裡，在自然，自然中最美的是什麼，是女人﹗女人是上帝最得意的作品。我不是神仙，對女人，我的愛慕有著情慾的成分，這個我承認，但更重要的是，那美麗女人的身上，寄託著我那'愛、自由、美'的理想。”
回到北京後，徐志摩就找到了凌叔華這個理想的“通信員”。凌叔華已經有了心上人陳西瀅，但浪漫的詩人徐志摩需要安慰、超越、傾訴。 8月，在失戀的痛苦中，徐志摩開始與凌叔華通信達兩個月，傾吐心中的悲傷和苦悶。
徐志摩在《致凌叔華》的信中提到，凌叔華說她生成就不配做大屋子裡的小姐，聽著人事就想掩耳朵，風聲、鳥鬧倒反而讓她高興，這也是一種說不出口的苦惱吧。像徐志摩這類常在外作客的，有時也想家。但等到回了家，就又想告假，他覺得那世界離他太遠，太沒有關係。就說他親愛的母親吧，她說話就是畫圓圈兒，開頭抱怨爸爸這樣那樣，接著就是本家長別家短，回頭又是爸爸。徐志摩認為母親的話當然不能不耐心聽，並且有時也很有意思、有獨到的見解。比如，他母親的比喻與“古老話”就不少，有時也挺鮮豔的，但徐志摩在心裡總盼望她那談天談人的範圍稍為放寬一些。但這只是消極的一面，他自己想開口說他自己的話時那才真痛苦呢。在父母等聽來他的話全是外國話，他們如果不稱徐志摩瘋癲，他會覺得他們很替他留面子了。結果徐志摩本來一肚子的話也就嚥下去了。比如在1923年八九月，徐志摩在家裡被父母硬拉住了不讓走。徐志摩只得懇請到山腳下鬼窩廬裡單獨過日子去。那一個來月，倒是挺有出息的，自己還享受，看羊吃草，看狗打架，看雨天露蒙裡的塔影，坐在“仙人石”上看月亮，到廟前聽夜鴞與夜僧合奏的妙樂，再不然就去戲台裡與寄宿的要飯大仙談天——什麼都是有趣，只要不接近人，尤其是體面的。說起這一時廬山才真美哪，滿山的紅葉，白雲，外加雪景，冰冷的明星夜，各種的鳥聲，也許還有福份聽著野朋友的吼聲。這真令人神往，至少他小部分的靈魂還留在五老峰下棲賢橋邊。那邊靠近三疊澗，有一家寒碧樓是一個徐志摩的同鄉，他忘了是誰的藏書處，有相當不俗的客時，主人也許下榻。假如他們能到那邊去過幾天生活——只要多帶詩箋書紙清茶香煙，拋開整個的紅塵不管不問，豈不是神仙都妒羨！
徐志摩承認，一對凌叔華，他的話就多了。他說：“說也怪，我的話匣子，對你是開定的了，管您有興致聽沒有，我從沒有說話像對你這樣流利，我不信口才會長進這麼快，這準是×教給我的，多謝你。”徐志摩也會給他人的寫長信，但總覺得不自然，筆下不順，心裡也不自由，不是怕形容詞太粗，就提防那話引人多心，這一來說話或寫信就不是純粹的快樂。對凌叔華就不同了，“我不怕你，因為你懂得，你懂得因為你目力能穿過字面，這一來我的舌頭就享受了真的解放，我有著那一點點小機靈就從心坎裡一直灌進血脈，從肺管輸到指尖，從指尖到筆尖，滴在白紙上就是黑字，頂自然，也頂自由，這真是幸福。”徐志摩認為寫家信最難，比寫考卷還難，提著筆就是不知寫什麼好——除了問候他媽媽便是問他爸要錢！
徐志摩把給凌叔華寫信當做一種情感的自由抒發，兩人在書信中也能心心相印，沉靜的凌叔華真是一個紅粉知己。
在給凌叔華的另一封信中，徐志摩非常感謝有著純粹的慈善心腸的凌叔華答應經常做他的“通信員”。他說：
你肯用你恬靜的諧趣或幽默來溫潤我居處的枯索，我唯有泥首！我單怕我是個粗人，說話不瞻前顧後的，容易不提防的得罪人；我又是個感情的人，有時碰著了棖觸，難保不盡情的吐洩，更不計算對方承受者的消化力如何！我的壞脾氣多得很，一時也說不盡。同時我卻要對你說一句老實話。 ××，你既然是這樣的誠懇，真摯而有俠性。我是一個悶著的人，你也許懂得我的意思。我一輩子只是想找一個理想的“通信員”，我曾經寫過日記，任性的氾濫著的來與外逼的情感。但每次都不能持久。人是社會性的動物，除是超人，那就是不近人情的，誰都不能把掙扎著的靈性悶死在硬性的軀殼裡。日記是一種無聊的極思（我所謂日記當然不是無顏色的起居注）。最滿意最理想的出路是有一個真能體會，真能容忍，而且真能融化的朋友。那朋友可是真不易得。單純的同情還容易，要能容忍而且融化卻是難。 ……我寫了一大堆，我自己也忘了我說的是什麼！總之我是最感激不過，最歡喜不過你這樣溫和的厚意，我只怕我自己沒出息，消受不得你為我消費的時光與心力！
徐志摩和好友的女友凌叔華的友誼到底如何，只能從信件中推測了。在茫茫人海中一生尋找知己的徐志摩說：“我不能不信人生的底質是善不是惡，是美不是醜，是愛不是恨；這也許是我理想的自騙，但即明知是自騙，這騙也得騙，除是到了真不容自騙的時候。要不然我喘著氣為什麼？”