思成和徽因為防不測，連日來忙著清點和收拾學社的研究資料。這些資料包括歷年來古建築考察的測繪圖稿、圖版、照片、底片、建築模型等等。因為怕這些資料落入日本人手中，他們決定將其中不便攜帶的存入天津租界英國銀行的保險庫。
８月的一天，思成忽然收到一封署名“東亞共榮協會”的請柬，邀請他參加日本人召集的一個會議。
對於以梁思成為代表的營造學社的研究工作，日本人注意已久，這封請柬表明，日本人開始打思成的主意了。思成、徽因當即決定，盡快離開北平，取道天津向南方遷移。
此時，沈從文和徽因、思成的許多朋友已經到了武昌。
徽因、思成開始收拾行裝。
連日的勞累，徽因咳嗽得厲害，思成也常常背痛。臨離開北京前，他們一同去協和醫院做了檢查。醫生警告說：徽因的肺部有空洞，任何一次感冒或別的什麼不慎，都將導致嚴重的後果，而思成則被診斷為脊椎軟組織硬化症，醫生為他設計了一副鐵架子“穿”在襯衣裡面以支撐脊椎。
“穿”上鐵架子，身上陡然增加了負重，思成對徽因笑著說：“剛開始抗戰，就穿上防彈背心了。”他很為徽因的身體擔心，提醒她不要忘了醫生的警告。徽因說：“警告也是白警告，生死由命吧!”
臨離開北京的前夜，他們一直忙到深夜三點半。孩子的東西，徽因娘的東西，徽因、思成的東西，正在寫作的論文，古建築研究資料……所有的東西精簡了又精簡，裝進了兩隻皮箱，再加上兩個鋪裝蓋卷，這是他們的全部行李。
清晨６點鐘，他們叫醒睡得迷迷糊糊的一雙兒女，挽著娘悄悄地起身出門。
臨上車的一瞬，徽因覺得自己的心“咯噔”響了一下，像是什麼地方斷了似的。她知道，自己被連血帶骨地從這裡拽出去了……北總布胡同３號籠罩在晨光熹微中，晨光熹微中，一家五口踏上了漫長的流亡路。
徽因、思成一家人從北京乘火車到天津，從天津新港起航往煙台，然後轉車到灘坊、青島，再乘火車前往濟南、鄭州，最後到了當時的“後方”———長沙。
徽因在給友人的信中說：“從盧溝橋事變到現在，我們把中國所有的鐵路都走了一段!……由天津到長沙共計上下舟車十六次，進出旅店十二次，為的是回到自己的後方。”
逃難的人群到處都一樣多，戰時的交通和別的任何部門一樣混亂無序。公路旁、車行道中，隨處可見裝備簡陋、衣衫襤褸的士兵，誰也不知道他們是在開赴前線還是在撤向後方。
９月初的陽光把甲板烤得燙人，擁擠的人叢散發著熱烘烘的臭氣。思成的嗓子嘶啞得幾乎說不出話來，寶寶、小弟又飢又渴像的打蔫兒的小苗。頭上，一架飛機盤旋著在輪船上做低空飛行，巨大的轟鳴聲擊打著心臟和耳膜。徽因摟著一雙兒女，覺得頭皮和脊椎一陣陣發麻。
昏暗的黑夜，他們在車站的鐵逢子下面等火車。天上落著雨，雨敲打著鐵皮，發出“嘭、嘭”的聲響。一盞黯白的煤氣燈從身後的什麼地方射過來，映著地上黑一塊亮一塊的泥水窪。一處處等待上車的人瑟縮著，如同在風雨中飄搖的衰草。