面對徐志摩熱烈而率真的感情追求，林徽因不知所措了。
剛和徐志摩認識時，林徽因只是把他當做父親的朋友。張奚若當初是和徐志摩一同到林寓拜訪林長民的，他後來回憶說，林徽因當時梳著兩條小辮子，差一點把他和徐志摩叫做叔叔。後來隨著交往的深入，林徽因對徐志摩也產生了感情，儘管這種感情與徐志摩對她的感情並不完全相同。她愛徐志摩廣博的見識，獨立的見解，奔放的性情，坦蕩率真的為人。
儘管徐志摩長她８歲，在年齡上是她的兄長，可在內心裡她又視他為一個具有赤子之心的、孩子般的“真人”。她感激徐志摩為她打開了心靈的空間、生活的空間，她的精神在這種交流中得到了舒展和昇華。她承認，她喜歡和徐志摩在一起，除了父親之外，她從來沒有和任何異性說過這麼多話。
畢竟林徽因只有１６歲，所有的感情體驗，包括慌亂的眩暈、喜悅、害怕、羞澀、疑慮、擔憂，對她來說都是第一次。她還不太區分得清，在她對徐志摩的感情裡，有多少是友情，多少是異性間的傾慕。也許，本來這種種情感都是互相糾纏在一起的。用林徽因的終生好友費慰梅的話來說：“她是被徐志摩的性格、他的追求和他對她的熱烈感情所迷住了……對他打開她的眼界和喚起她新的嚮往充滿感激。”“在多年以後聽她談到徐志摩，我注意到她的記憶總是和文學大師們聯繫在一起———雪萊、濟慈、拜倫、曼斯菲爾德、弗吉尼亞·沃爾夫以及其他人。在我看來，在他的摯愛中他可能承擔了教師和指導者的角色，把她導入英國詩歌和戲劇的世界，以及那些把他自己也同時迷住的新的美、新的理想、新的感受。”
最初的慌亂過去後，林徽因沉靜了下來。面對自己的心靈、面對自己真實的嚮往，幻象消退了，願望清晰了，她沮喪地對自己說：這怎麼可能呢？
她難過地反省著自己：當初，正是清楚地知道徐志摩是有家室的人，才可能跟他無顧忌地交往，自己怎麼可能去做破壞別人家庭的事情。更何況，出身名門、從小跟著祖父母生活的徽因，是在傳統的倫理教育中長大的。儘管讀了許多西方文學作品，但她單純的生活閱歷、她高傲的性情以及她的理性都使她不會去做任何與傳統、與家庭的名望相悖的事情。
後來，她曾冷靜地說：“徐志摩當時愛的並不是真正的我，而是他用詩人的浪漫情緒想像出來的林徽因，可我其實並不是他心目中所想的那樣一個人。”
這樁事情傳到了國內，徽因的幾個姑姑，在這樁事關徽因的終身大事上空前地一致。她們無論如何也不能想像，林家的大小姐會嫁給一個有婦之夫。她們寫給林長民的信措辭激烈，傳達出了家族的意志和聲音。
多年以後，費慰梅在談到這樁往事時說：“徐志摩對她的熱情並沒有引起同等的反應。他闖進她的生活是一項重大的冒險。但這並沒有引得她脫離她家里為她選擇未來的道路。”
１９２１年秋，林長民出國考察的時間到期。 １０月，林徽因隨父親乘海輪歸國。