胡適婚後有過幾次婚外情，但均被厲害的江冬秀所扼殺。趙元任與楊步偉結婚請胡適當證婚人，江冬秀就拒絕去喝喜酒，說是看不慣這種孟浪習氣，胡適只好自己去了。胡適的好友梁實秋想和老婆離婚，另娶新人，江冬秀就把梁實秋的老婆接到自己家裡，為她出謀劃策，鬧到法院裡打官司。結果堂堂北大教授梁實秋竟然敗訴，一時里傳聞沸沸揚揚，丟盡了大教授的臉面。這一切都等於是間接地向胡適做“河東獅吼”，敲山震虎，唬得胡適不得不做出種種妥協的舉動來。

江冬秀特別看不慣胡適交往圈子中的孟浪習氣，對所謂“浪漫機會”堅決不予遷就。有傳言說最初是胡適看上陸小曼，無法跟太太離婚，陸小曼才轉而許身徐志摩的，後來胡適又盡力促成其事，江冬秀怒不可遏，一天到晚罵胡適。有一天葉公超等人在胡家，胡太太又當著這些人的面罵胡適，罵他這批朋友：“你們都會寫文章，我要是會寫文章，有一天我要把你們這些人的真實面目寫出來，你們都是兩個面目的人。”剛說到這兒，胡適從樓上走下來，對太太說：“你又在亂說了。”胡太太說：“有人聽我亂說我就說。你還不是一天到晚亂說。大家看胡適之怎麼樣，我是看你一文不值。” 對於江冬秀，李敖曾有一段他個人的理解和評價：“你看到了江冬秀女士以後，你才知道胡適的偉大”，“像魯迅，從日本留學回來以後，把原來那個鄉下婆子，那個老婆丟掉了，像傅斯年把原來老婆都丟掉了，可是胡適沒有把他這個纏小腳的鄉下老婆丟掉，鄉下老婆就反客為主，就欺負起胡適來，欺負到什麼程度啊？胡適跟朋友們一起聊天的時候，這個老婆可以進來，當眾罵街，講髒話，講粗話，講撒潑的話”。

1961年5月，台灣一份報紙刊登一篇《胡適之偽裝懼內》的文章，其中有這樣的話：“留著冬秀（胡適的太太）作女皇，這是虛君，實權自在首相手中”。據說，胡適讀罷不禁哈哈大笑：“這個人好像知道我過去的事情，大體都不錯，但有些地方是胡鬧了。” 但無論如何，最後胡適和江冬秀攜手走完了一生，蔣介石評價他是“新文化中舊道德的楷模，舊倫理中新思想的師表”，和這個不無關係。 胡適一生中有好幾段戀情，其中最有名的是韋蓮司。韋蓮司是1914年胡適在美國時所識，但是隨著1917年胡適回國，兩個人被迫分離。二人再度見面是十餘年後的1927年，當再相見時，他們已經分別10年，都已人到中年，頭上長出了白髮。在這十年裡，胡適的人生髮生了翻天覆地的變化。他結了婚，有了孩子，事業上達到巔峰，成為中國新文化運動的領導人，中國現代自由主義的先驅，還有了曹佩聲。曹是胡適在杭州養病時，結下的情緣，當時兩人愛得死去活來，胡適稱那段日子為“煙霞山月的神仙生活”。據說，胡適的《嘗試集》中後面的情詩大多為曹佩聲所作。

韋蓮司愛的炙熱，週質平的《胡適的情緣與晚境》中，有韋蓮司寫給胡適的情書，情書寫得讓人看了心驚肉跳：“沒想到，我會如此愛你……胡適……我崇拜你超過所有的男人……”“我整好了我們那個小得可憐的床……我想念你的身體，更想念你在此的點點滴滴。我中有你，這個我，渴望你中有我……”但事實上他們只有精神之戀，沒有肌膚之親。 韋蓮司甚至在知道胡適和曹佩聲的戀情的情況下，還答應胡適照顧去康乃爾大學深造的曹佩聲。 1962年胡適去世後，韋蓮司竟和江冬秀成了朋友，整理胡適給她的書信，忙著為他成立出版基金。 9年之後，空候一生的韋蓮司在一個小島上孤獨地死去，遺物裡竟然完好無缺地保存了胡適的書信和稿件。 曹珮聲（曹誠英）是胡適三嫂同父異母的妹妹，以後是我國農學界第一位女教授。曹珮聲比胡適大約小10歲。二人第一次見面是在胡適與江冬秀的婚禮上。當時婚禮上的“小伴娘”曹珮聲就已經吸引了胡適的目光。曹佩聲喜歡種花草，胡適夫婦到北京後，常寫信給胡適，要他寄花籽給她，也不時作些小詩請胡適評閱，兩人通信往返，互有好感。

1918年的冬天，在家裡的安排下，曹珮聲嫁給了從小就已訂婚的同鄉胡冠英，1920年曹珮聲考入杭州第一女子師範學校，丈夫胡冠英進入浙江第一師範就讀，由於婚後四年，曹珮聲一直在外求學而沒有生育孩子，引起了婆婆的不滿，為此婆婆以曹珮聲四年不生孩子為由，給胡冠英在家鄉娶了一房小妾。此事惹惱了曹珮聲，已經開始接受五四新思想的曹珮聲決定與丈夫離婚。 1922年底，曹珮聲與丈夫胡冠英解除了婚姻關係。 1923年，胡適來到南方養病，經常棲息於滬杭兩地，再一次見到了曹珮聲。離婚後的曹珮聲繼續在杭州第一女子師範學校求學，這一變故讓受飽受辦婚姻之苦的胡適又看到了愛情的希望之火。曹珮聲離婚後第二年的4月29日，正是杭州城春光最明媚的時候，胡適出現在了西湖邊上。胡適的鄉鄰好友，曹珮聲的親戚，著名詩人汪靜之曾說：“胡適來杭州的目的是為探視獨居的'小伴娘'。”

再見時，曹珮聲已不是胡適印像中當年的小伴娘，而是一個亭亭玉立的女學生，雖然離婚後獨居，卻依舊開朗，且又帶幾分傷感。汪靜之曾這樣形容過曹珮聲：“她不算漂亮，但很迷人。先是令我著迷，後又使胡適著迷，她就是屬於那不很漂亮，但有迷人魅力的女人！” 略帶傷感的曹珮聲更讓胡適著迷。在杭州一同遊玩了4天后，5月3日，臨別之時，胡適為曹珮聲寫下了一首題為《西湖》的白話小詩：“十七年夢想的西湖，不能醫我的病，反使我病的更厲害了……這回來了，只覺得伊更可愛，因而捨不得匆匆就離別了。”1923年5月25日，胡適在這一天的日記上粘貼了曹珮聲隨信寄來的八張與西湖有關的照片，其中一張是曹珮聲自己的單身像。 到了1923年的5月底，胡適再一次坐上了開往杭州的火車，出現在了煙雨朦朦的西湖邊上。 6月下旬，各個學校放假後，胡適終於在杭州南山的煙霞洞邊等來了心中的愛人曹珮聲。

杭州西湖南山，有三處名洞，為水樂、石屋和煙霞，其中煙霞洞風景最佳，以朦朧中的煙霞為美，清修寺在煙霞洞的南邊，十分安靜，寺裡的僧人仰慕胡適大名，便把大殿東邊的兩間小齋房出租給了胡適。在這里胡適與曹珮聲開始了他們的同居生活。 在杭州煙霞洞，兩人安靜地享受著愛情所帶來的幸福，每日寄情於菸霞，或兩人對弈，或閒坐品茗，或遊山觀佛。杭州多雨，雨後的西湖和四周的山巒更是清秀可愛，胡適在日記中多處記錄了他和曹珮聲一同漫步於山水之間。今天晴了，天氣非常好。下午我同珮聲出門看桂花，過翁家山，山中桂樹盛開，香氣迎人。我們過葛洪井，翻山下去，到龍井寺……（《胡適日記》） 天氣不好的時候，兩人則在簷下同讀一卷書，胡適在日記中又曾這樣寫到：早晨與娟同看《續俠隱記》第二十二回《阿托士夜遇麗人》一段故事，我說這個故事可演一首記事詩……（《胡適日記》）

兩人同居時剛好是曹珮聲放暑假，但很快就到了開學的時候，曹珮聲又請了一個月的假，繼續陪伴胡適，此後胡適一直在南方逗留到1923年的12月中旬才回北京。 在煙霞洞與曹珮聲一起生活的時光讓胡適銘刻一生。胡適曾在1923年10月3日的日記中寫到：我這三個月中在月光之下過了我一生中最快活的日子——《胡適日記》。 兩人雖然同居，但這並不為太多的外人知曉，1923年的中秋節，胡適邀請好友徐志摩來杭州遊玩，自命為“寡人有疾，寡人好色”的徐志摩一眼就看出胡適與曹珮聲非同一般的關係。 胡適雖然是中國現代較早接觸西方文化的人，但他又深受中國傳統道德的影響，在面對自由的愛情和舊式的婚姻這個問題上，他始終表現出一種矛盾。

徐志摩看出好友在杭州有了情人，便鼓勵胡適要“革命”，但是與曹珮聲相愛的胡適想要衝破禮教的束縛，卻又缺乏勇氣。因此胡適曾自我安慰：“情願不自由，也是自由了”。 秋去冬來，離別的日子快到了，相見時難別亦難啊，天氣也漸漸轉涼，帶著一片淒涼之意，胡適在日記中寫到：睡醒時，殘月在天，正照著我頭上，時已三點了。這是在煙霞洞看月的末一次了……今當離別，月又來照我，自此一別，不知何日再繼續這三個月的煙霞洞山月的“神仙生活”了！枕上看月徐徐移過屋角去，不禁黯然神傷（《胡適日記》） 新歷的1923年即將結束時，胡適戀戀不捨地離開了人間天堂——杭州，離開了已經懷孕的曹珮聲，回到北京。 在微微的寒風吹拂下，胡適回到了北京。徐志摩已經把胡適與曹珮聲相愛的事情傳開了。回到家中，妻子江冬秀手持剪刀逼問胡適，胡適承認了自己與曹珮聲的戀情，由於此時母親馮順弟早已去世，不用再遵母命盡孝道的胡適終於向江冬秀提出了離婚。 江冬秀以殺死他們的兩個兒子相威脅，胡適只好作罷。但他心中依舊念念不忘曹珮聲。與妻子爭吵後，胡適離家出走，住在北京西山的朋友家中，心中的苦悶、感傷和淒涼無處排遣，在一個寒冷的夜晚，胡適寫道：“山風吹亂了窗紙上的松痕，吹不散我心頭上的人影。” 之後，曹佩聲由胡適推薦於1934年赴美國就讀於康奈爾大學農學院，1937年獲得碩士學位，回國後先後在安徽大學和復旦大學任教，是我國第一位農學界女教授。 1939年，曹佩聲結識了一位歸國留學生，倆人產生了戀情，豈料江冬秀在男方親戚中敗壞她的名聲，致使男方單獨解除婚約，直氣得曹佩聲要上峨嵋山當尼姑。後在其兄曹誠克力勸之下方改變了主意，又兼在美國做大使的胡適來信安慰，還捎來300美金資助生活，情緒才逐漸穩定下來。曹佩聲對胡適，一直是癡情不改，一往情深，鴻雁不斷，相互都品嚐著苦澀的婚外戀情。 1949年，胡適不聽曹佩聲的勸阻流亡到美國，從此兩人鴻雁斷絕，留下的是無盡的懷念。 1958年，她退休後於1969年落戶績溪山城，原想找一處房前屋後能夠耕作的住所，自籌資金建一個養豬場、氣象台，但這些設想都一一落空。生活上十分清苦孑寂，她寫有一首《臨江仙》：