然而，在如思成所描繪的“誰都難得來到的可詛咒的小鎮”李莊，生活永遠不會平靜。 1943年2月底，在逃難來的研究人員中間包括他們的妻子們在內，染上了一種最終導致爭吵、憤怒、謾罵和友誼破裂的煽動性流言蜚語。正像徽因在信中所說的，“這是一個思想偏狹的小城鎮居民群。最近，一些快樂的或者滑稽形式的爭吵已在受過高等教育的人群中發展到一種完全不相稱的程度。我很懷疑，是不是人們在一個孤島上靠十分菲薄的供應生活，最終就會以這種小孩子的方式相互打起來。”
雪上加霜的是，營造學社的中國建築歷史文獻研究負責人劉敦楨宣布他將離職。他已在營造學社乾了十年以上，現在和思成一道擔負著領導責任。
徽因說：“劉先生是一個非常能幹、非常負責任的人。全部帳目以及思成力不能及的複雜的管理工作都託付給他。現在這些將要全部落在思成肩上了！”
“這還不算。如你所知，自從我們南遷以來，營造學社幹活的人一共只有五個。現在劉先生一走，大家很可能作鳥獸散。”
從外邊來的一位顯要的來訪者，使得單調的生活得以被打破，並把注意力從日常的爭吵轉移開。英國生物化學家李約瑟教授作為英國駐重慶大使館的戰時科學參贊來華親自看到了中國的國土和人民。 （後來在他回到劍橋大學以後，他的多卷本中國科技史的出版給他帶來了世界聲譽。）儘管在他整個訪問期間徽因還在臥床休息，她還是寫信給費正清描述了這一事件：
“李約瑟教授來過這裡，受過煎鴨子的款待，已經離開。一開始人們喜歡彼此打賭，李教授在李莊逗留期間會不會笑一笑。我承認李莊不是一個特別使人興奮的地方，但是作為一個中國早期科學的愛好者，又不辭辛勞在這樣的戰時來到中國，我們也有理由期待他會淺淺一笑。最後，這位著名的教授在梁先生和梁夫人（她在床上坐起來）的陪同下談話時終於笑出了聲。他說他很高興，梁夫人說英語還帶有愛爾蘭口音。我從前真不知道英國人這麼喜歡愛爾蘭人。後來在他訪問的最後一天下午，在國立博物館的院子裡，當茶和小餅乾端上來的時候，據說李教授甚至顯得很活潑。這就是英國人愛好喝茶的證明。”
許多人指出，梁思成由於成功地把陶孟和博士（中國高級社會學家、中研院社會研究所所長）和傅斯年博士（活躍的人文主義者、顯赫的歷史語言研究所所長）拉到一起十分友好地握手，應當得到諾貝爾和平獎金。這件事由於是在大庭廣眾之間做成而更具戲劇性，它剛好是在李教授在中央研究院大禮堂作講演之前那一刻發生的。據報導，許多人暗自為這件事鼓了掌。李濟博士走上前去和梁思成握了手，並且私下說要授給思成諾貝爾和平獎金。後來梁夫人寫信給在重慶的費正清博士，叫他放心，人類總的來說還是大有希望。
“這次和解的準備工作還得歸功於這麼一點，有些人以深深捲入別人的每一樁個人事務的癖好而著稱。
“在讀過托爾斯泰關於1805～1812年在莫斯科和彼得堡之間的人類活動的浩繁記錄之後，我必須承認，在李莊或重慶，在昆明或北平（北京）或上海，從1922年到1943年期間的人類活動同中所描寫的一個世紀以前發生在陌生的俄羅斯的事情是何等驚人地相似。因此為什麼不干脆容忍這一切算了——我指的是一般意義上的生活和人。
“我所能做的最糟糕的事情莫過於讓自己陷入仇恨。我生來是個女人，而這又是戰時。我自己的母親碰巧是個極其無能又愛管閒事的女人，而且她還是天下最沒有耐性的人。剛才這又是為了女傭人。真正的問題在於我媽媽在不該和女傭人生氣的時候生氣，在不該慣著她的時候慣著她，還有就是過於沒有耐性，讓女傭人像鐘錶一樣地做好日常工作但又必須告誡她改變我的指令，如此等等——直到任何人都不能做任何事情。我經常和媽媽爭吵，但這完全是傻冒和自找苦吃。”
梁家越來越嚴重的困境使費正清只得寫信給在昆明的老金問計。老金回信一開頭就說“別為梁家的事煩心”，接著就敘述了他對他們面臨的問題的看法。
“我認為，相對於調整人際關係的困難來說，住房問題就是小事一樁。最難適應的是媽媽。她屬於完全不同的一代人，卻又生活在一個比較現代的家庭中，她在這個家庭中主意很多，也有些能量，可是完全沒有正經事可做，她做的只是偶爾落到她手中的事。她本人因為非常非常寂寞，迫切需要與人交流，她唯一能夠與之交流的人就是徽因，但徽因由於全然不了解她的一般觀念和感受，幾乎不能和她交流。其結果是她和自己的女兒之間除了爭吵以外別無接觸。她們彼此相愛，但又相互不喜歡。我曾經多次建議她們分開，但從未被接受，現在要分開已不大可能。”
也許是費正清的一封家書的複印件，促使徽因以一種更加開放的心情寫信給他：
“順便說說，我最近的閱讀範圍很廣，包括、《通往印度》、《狄斯累利傳》、《維多利亞女王傳》、《元朝宮殿》（中文）、《清宮秘史》、《宋代堤堰和墓室建築》、《洪氏年譜》、《安那托里·佛蘭西外史》、《卡薩諾瓦回憶錄》、《莎士比亞全集》、《安德烈·紀德全集》、塞纓爾·巴特勒的《品牌品牌品牌》、梁思成的手稿、小弟的作文和孩子們喜愛的《愛麗思漫遊記》中文譯本。”
孩子們，再冰（寶寶）和她的弟弟從誡——在家裡仍然叫他的小名“小弟”，儘管在梁氏夫婦的生活中佔有重要地位，但在她的書信中很少提到。有一封很生動的信簡短地寫到他們在十四歲和十一歲時的生活：
“再冰繼承了思成的溫和和我所具有的任何優點。她在學校裡學習和交友成績都非常出色。她容光煥發的笑容彌補了她承繼自父母的缺少活力……另一方面，從誡現在已成長為一個曬得黝黑的鄉村小伙子，腳上穿著草鞋。在和粗俗的本地同學打交道時口操地道的四川話。但他在家裡倒是一個十足的小紳士，非常關心我的健康，專心致志地製作各種小玩意兒。
“我在繼續扮演經濟絕招的'雜耍演員'，使得全家和一些親戚和同事多多少少受到一點好的照顧。我必須為思成和兩個孩子不斷地縫補那些幾乎補不了的小衣和襪子……當我們簡直就是乾不過來的時候，連小弟在星期天下午也得參加縫補。這比寫整整一章關於宋、遼、清的建築發展或者試圖描繪宋朝首都還要費勁得多。這兩件事我曾在思成忙著其他部分寫作的時候高興地和自願地替他幹過。寶寶的成績還是很好，但她要走這麼長的泥路去上學可真是難為她了，而且她中午老是吃不飽。”
思成曾把兒子帶到重慶，孩子在那裡考上了兩所中學，他在兩所當中選了他有朋友的南開中學。老金說，“他的智商很高，那個頑童已成長為一個勤奮的學生。”