金岳霖被徽因的講述深深吸引，也被林徽因深深吸引。文弱秀麗的徽因具有獨特的精神氣質，那既是詩一般空靈飄逸的神采，又是具有忘我獻身熱情的科學精神。這兩種原本互相排斥、互相矛盾的精神氣質在林徽因身上體現得如此和諧。這種精神氣質對於長期從事德國古典哲學研究和抽象的邏輯學教學的金岳霖教授來說，具有照亮和點燃心靈的作用。
關於金岳霖和林徽因的關係，在有關林徽因的文字中多有涉及，種種臆測多不足信，最可信的應該是梁思成後來的妻子林洙的記述。
那是林徽因去世近十年後，林洙在與梁思成的交談中，談到了社會上流傳的關於金岳霖為了林徽因終生不娶的事情。她問梁思成，是不是真有這回事。
梁思成說：林徽因是個很特別的人，她的才華是多方面的。不管是文學、藝術、建築乃至哲學她都有很深的修養。她能作為一個嚴謹的科學工作者，和我一同到村野僻壤去調查古建築，又能和徐志摩一起，用英語探討英國古典文學和我國新詩創作。她具有哲學家的思維和高度概括事物的能力。
梁思成笑了笑詼諧地說：所以做她的丈夫很不容易。中國有句俗話，“文章是自己的好，老婆是人家的好。”可是對我來說老婆是自己的好，文章是老婆的好。我不否認和林徽因在一起有時很累，因為她的思想太活躍，和她在一起必須和她同樣地反應敏捷才行，不然就跟不上她。
我們住在北總布胡同時，老金就住在我們家的後院，但另有旁門出入。可能是在１９３１年，我從寶坻調查回來，徽因見到我時哭喪著臉說，她苦惱極了，因為她同時愛上了兩個人，不知怎麼辦才好。她和我談話時一點不像妻子和丈夫，卻像一個小妹妹在請哥哥拿主意。聽到這事，我半天說不出話，一種無法形容的痛楚緊緊地抓住了我，我感到血液凝固了，連呼吸都困難。但是我也感謝徽因對我的信任和坦白。她沒有把我當成一個傻丈夫。怎麼辦？我想了一夜，我問自己，林徽因到底和我生活幸福，還是和老金在一起幸福？
我把自己、老金、徽因三個人反复放在天平上衡量，我覺得自己儘管在文學藝術各方面都有一定的修養，但我缺少老金那哲學家的頭腦，我認為自己不如老金。於是第二天我把想了一夜的結論告訴徽因，我說，她是自由的，如果她選擇了老金，我祝愿他們永遠幸福。我們都哭了。
過幾天徽因告訴我說，她把我的話告訴了老金。老金的回答是：“看來思成是真正愛你的，我不能去傷害一個真正愛你的人，我應該退出。”
從那次談話以後，我再沒有和徽因談過這件事，因為我相信老金是個說到做到的人，徽因也是個誠實的人。後來的事實證明了這一點。所以我們三個人始終是好朋友。我自己在工作上遇到難題，也常常去請教老金，甚至我和徽因吵架也常要老金來“仲裁”，因為他總是那麼理性，把我們因為情緒激動而搞糊塗了的問題分析得清清楚楚。