1926年10月，徐志摩和陸小曼奉徐申如之命南迴，因為在硤石徐申如給他們新婚造的房子還未最後竣工，徐志摩夫婦只能先在上海呆一個多月。在徐志摩給前妻張幼儀的信中說：“我們在上海一無事情，現在好了，房子總算完了工，定十月十二（陰曆）回家，從此我想隱居起來，硤石至少有蟹和紅葉，足以助詩興，更不慕人間矣！”
12月11日，徐志摩和陸小曼回到徐志摩的家鄉浙江硤石。陸小曼第一次進徐家，由於徐申如對陸小曼有很深的成見，對這個媳婦，徐申如並不喜歡。而且，在生活中，也流露出了對陸小曼生活習慣的不滿。因為陸小曼不僅一點事情也不會做，而且一副城市大小姐的派頭，什麼都要高檔的。更讓徐申如生氣的是，他想讓陸小曼管理徐家的生意，陸小曼竟然不會管錢！徐家是生意人家，媳婦的不問世事讓徐申如難以接受。一怒之下，徐申如夫婦離開硤石，起程去北京找張幼儀了。
公公婆婆的離開，無疑給陸小曼一個沉重的打擊。不久，就得了肺病，休養了一段時間後，身體才慢慢恢復。沒有了二老的束縛，徐志摩和陸小曼在硤石的生活反而過得輕鬆自在。
可惜好景不長，1927年2月，北伐軍東路軍發起江浙戰爭，3月，北伐軍佔領杭州，隨著戰事的臨近，徐志摩和陸小曼不得不中斷在硤石的如世外桃源般的生活。