溫州一別後，張愛玲還是給胡蘭成寄了錢，甚至給胡蘭成的友人帶回外國香煙和安全剃刀片，她心疼他在鄉下，在信中提起王寶釧，說破窯裡過的日子亦如寶石的川流。然而就在此時，胡蘭成卻正在寫他和小周的羅曼史——《武漢記》。
八個月後胡蘭成途經上海，在張愛玲那裡過了一晚，兩人從一見面起就不很融洽，胡蘭成有點借上次張愛玲去溫州之事而生氣，當晚他又把范秀美之事向張愛玲據實以告，張頓時說不出話來。胡又問張可曾看了《武漢記》的稿本，張回答說：“看不下去。”胡蘭成卻因為張愛玲的嫉妒而發火了，他在她的手背上打了一下，她吃了一驚，駭怒道：“啊！”此時此刻，兩人的感情已是千瘡百孔，難以為繼了。當晚他們分房而睡。
第二天天還未亮時，胡蘭成來到張愛玲的房中，在床前俯下身去親吻她，她從被窩裡伸手抱住他，忽然淚流滿面，只叫了一聲：“蘭成！”便再沒有別的話了。當天中午，胡蘭成離開上海，乘船前去溫州，他也許想不到，這竟會是他們此生的最後一別了。對於這段感情，胡蘭成在中可說是洋洋自得、誇誇其談。相對於胡蘭成的喋喋不休，張愛玲對於自己的感情始終未發一言。但學者陳輝揚、萬燕指出，不管或是後來據此而改寫的，都是張愛玲與胡蘭成戀情投影的寄存處。從的創作時間（張與胡正式分手的三年後），經十餘載修改的費心，都隱含著她的感情殘影，尤其像她那樣不喜歡被人關注隱私的個性，她是不會直接承認或表現她的感情得失的。
張愛玲似乎是把自己的靈魂借中假想的會面和回憶做最後一次的道別，從此永不再回頭了。她彷彿還記得多少年前那個夜晚，胡蘭成最後一次吻她，而她面對著無法挽回的事實，惟有淚流滿面，哽咽中卻叫得一聲“蘭成”！不是纏綿悱惻，而是清堅決絕。因此她在改寫的中，又添加了一筆：兩人此指小說中的世鈞和曼楨。是這麼站著，對看著。也許她也要他吻她。但是吻了又怎麼樣？前幾天想來想去還是不去找她，現在不也還是一樣的情形？所謂“鐵打的事實”，就像“鐵案如山”。他眼睛裡一陣刺痛，是有眼淚，喉嚨也堵住了。他不由自主地盯著她看。她的嘴唇在顫抖。學者金宏達在《論十八春》中指出：“中這種為張愛玲創作中少有的美好而明淨的戀愛描寫，也許還有一個作用，就是讓我們了解命運是在以何種力量以及何種方式整個地摧毀曼楨這個善良的女性。她在受害並被禁閉之後，竭力反抗，歷經艱難，直到逃脫，其力量主要來自對世鈞的愛情，來自對愛的信賴與期待，卻不曾想曼璐的安排、一系列的錯過，以及世鈞的易於消沉，已經斷絕了她的後路。世鈞和別人結婚了，聽了這消息時，'曼楨兩隻手撳在窗台上，只覺得那窗台一陣陣波動著，自己也不明白，那堅固的木頭怎麼會變成像波浪似的，捏都捏不牢。'的確，誠如一句旁白所道出的，'不管別人對她怎麼壞，就連她自己的姐姐、自己的母親，都還沒有世鈞這樣地使她傷心。'”而這不就是當時她的心情寫照嗎？ “不管別人對她怎麼壞，就連她自己的父親，自己的母親，都還沒有胡蘭成這樣地使她傷心。”中，她又加添了原本所沒有的句子：也許愛不是熱情，也不是懷念，不過是歲月，年深月久成了生活的一部分。
是她說的，他們回不去了。他現在才明白為什麼今天老是那麼迷惘，他是跟時間在掙扎。從前最後一次見面，至少是突如其來的，沒有訣別。今天從這裡走出去，卻是永別了，清清楚楚，就像跟死了的一樣。的完成是在張愛玲的第二任丈夫賴雅去世之後，張愛玲在人生又經歷一次孤身飄零，對於往事的最後回眸，她是那樣纏綿而百感交集！她寫著：“他在絕望中摟得她更緊，她也更百般依戀，一隻手不住地摸著他的臉。”是世鈞，還是蘭成？我們何曾看過張愛玲筆下有這樣動人而淒美地描寫，也惟有這一次了。 “此情可待成追憶，只是當時已惘然。”張愛玲以她半生情緣，成就一部“回不去了”的《惘然記》有段時期也叫《惘然記》，而後來張愛玲又有些短篇小說如《色，戒》、《浮花浪蕊》、《相見歡》等結集名為《惘然記》，張愛玲在書前寫有一序，亦引用李商隱的詩句，可見她對這份感情的陳跡殘影的珍惜。
一九四七年六月十日胡蘭成收到張愛玲簡短的決絕信，信中寫道：我已經不喜歡你了，你是早已不喜歡我了的。這次的決心，我是經過一年半的長時間考慮的，彼此惟以小吉故，不欲增加你的困難。你不要來尋我，即或寫信來，我亦是不看的了。信中的“小吉”，隱喻小劫。這表明張愛玲並沒有趁胡蘭成之危，來和他談分手之事，而是在知道胡蘭成經濟上可以自立之後，才向他宣布一年半前的決定，中止早已名存實亡的夫妻關係。
在經濟上一貫斤斤計較的張愛玲，在此之前定期給胡蘭成匯款，再加上最後隨決絕信附上她新寫的電影劇本《不了情》和《太太萬歲》的稿費三十萬元給胡蘭成，於情於理她都可以說是仁至義盡了。
此時我們看不到任何的得失算計和政治利用，有的只是不計後果、不圖回報的女子情深，實在令人不禁感喟、扼腕。張愛玲正如她弟弟所說的“為胡蘭成跌倒了”，就好像她在溫州看戲時的感覺——男男女女都好得非凡。每人都是幾何學上的一個“點”——只有地位，沒有長度，寬度與厚度。整個的集會全是一點一點，虛線構成的圖畫；而我，雖然也和別人一樣地在厚棉袍外面罩著藍布長衫，卻是沒有地位，只有長度、闊度與厚度的一大塊，所以我非常窘，一路跌跌沖沖，踉踉蹌蹌地走了出去。是的，在張愛玲感情的路上，她已是“一路跌跌沖沖，踉踉蹌蹌地走了出去”，曾經冀望的“華麗緣”，如今已落入虛空了。
胡、張之戀，可說是一個“傳奇”。兩個南轅北轍、各方面都迥然有別的人，“沒有早一步，也沒有晚一步，剛巧趕上了”。當然這其中主要的原因是胡蘭成不僅能讀懂張愛玲的人和文，而且能夠欣賞她的人和文。而張愛玲此時正懷著一顆“失父”、“戀父”的破碎之心，在無愛的人間找溫馨，而胡蘭成便做為她對父愛（恨與愛，是一體之兩面）的一種補償。
學者王巧鳳對此有極為精闢的分析，她指出胡蘭成扮演的是一個長者、父親、保護人的角色。他也許並非有意，但確是以“奇貨可居”、“不輕易出示”的心態來對待張愛玲的。他對張愛玲不介意他的家室，結不結婚無所謂，亦不在意他“才子風流”、“挾妓遊玩”的習性，而只沉浸在對他的喜愛情感裡的男子式慷慨之氣，頗為驚奇而感嘆，因此他願意和她結婚。因為張愛玲所表現的這一切，都符合傳統“菲勒斯中心主義強調父權制的正面價值是衡量一切的標準，從而維持其社會特權的一種態度。”既不影響他的生活、追求、習性，還有張愛玲的才氣名聲、家世背景為他增添榮耀，他自然是樂意的。
而張愛玲在婚前戀著胡蘭成，有如小時候依戀寂寞中的父親。她對胡蘭成的愛，其實是將小女孩般的玩物及其老年人樣的成熟全搬出來給胡蘭成看，如此幼稚又如此老道，如此瑣碎又如此莊嚴，他完全被惑於張愛玲的“奇”，於是當時間沖刷了陌生而神秘的“奇”之後，張愛玲就只有被丟開的命運；但張愛玲卻總是陷在“戀父”的陰影里而不自覺。因此一個是“奇貨囤之”式地把玩她，一個卻是朝朝暮暮地依戀著他。如果不是“戀父”，張愛玲不會如此執迷不悟；但也正是“戀父”，使她在痛定思痛後毅然決定離開他，不願再被傷害，正如她當年毅然地逃出“父親的家”，從此永不再回頭一樣。亂世情，難長久，原本既非同路人，何能攜手共日月？張愛玲此時有著清醒的領悟，於是她做出了分手的選擇。
傳記作家胡辛對胡、張之戀，曾說：“在張愛玲是純真的初戀絕唱，在胡蘭成不過是八次有名無名婚戀中的一支插曲。張愛玲是胡蘭成生命中唯一閃光的記憶，而胡蘭成是張愛玲生涯中，永遠無法抹去的黑點。”
“黑點”之說，是指當時張愛玲被輿論指為“文化漢奸”，甚至到了一九八年劉心皇的《中國抗戰時期淪陷區文學史》中，張愛玲還被列為“落水文人”。但這些指責與批判基本上都是謬誤的，正如學者張泉所指出：“胡蘭成是胡蘭成，張愛玲是張愛玲，不能因兩人曾有感情糾葛而在政治身分的界定上實行封建制的株連原則。”
而學者古遠清針對一九九六年陳遼先生再度提出張愛玲是“文化漢奸”之說，提出反駁：“像張愛玲這樣著名的作家，如果真是'文化漢奸'，解放後的上海軍管會一定不會放過她的，焉能讓其參加上海首屆文代會？夏衍是老布爾什維克，他也不會糊塗到把文化漢奸請進自己主持的上海電影劇本創作所當編劇（此事後來未成）。抗戰勝利後，張愛玲對漢奸胡蘭成依依不捨，多屬個人感情糾葛，與堅持日偽立場似乎扯不上。事實上，張愛玲在上海淪陷期間既不是漢奸政權骨幹分子，也不是上海偽文壇的當權派，也未拿過偽政權的津貼，她的作品也未有所謂'協力大東亞戰爭，驅逐英美以爭取大東亞民族解放'的主題。”
當然這些遲來的正義之聲，都是在距當時半個世紀之後，甚至是在張愛玲過世之後才發出的。從一九四五年八月到一九四六年十一月的一年多的時間裡面，張愛玲沒有發表任何一篇文章，事實上也沒有任何機會讓她發表文章。面對輿論排山倒海地指責她是“海上文妖”，而她原本筆下的遺少生活、洋場故事、男女情愛傳奇，在抗戰勝利後的國共鬥爭的新形勢中，顯得蒼白而冷寂；而更主要的是她的感情受到了猝不及防的重大打擊，她幾乎難以承受生命之重。因之她該有多少次靈魂的掙扎、內心的糾鬥，但終究無法擺脫，當然也就無力提筆為文了。
直到兩年後，她才以編寫電影劇本的方式再次登上文壇，她先後為文華影片公司寫了《不了情》和《太太萬歲》兩個劇本，都由桑弧導演，影片上映，佳評如潮。但就在此時社會上又突然出現一場對她的大規模“圍剿”。逼得原先為文讚賞張愛玲的戲劇家洪深，不得不發表檢討文章，全盤否定《太太萬歲》的成就，才得落幕。
而張愛玲一如從前地保持沉默，但卻因此造成她在這之後，直到离滬之前的五年內，沒有再用本名發表過任何一篇文章。一九五年三月二十五日起，她署名“梁京”在《亦報》連載她的第一部長篇小說，邊寫邊登，直到一九五一年二月十一日登完。而在八個月後的另一中篇小說則是她全部寫好，再逐日刊登在一九五一年十一月四日到次年一月二十四日的《亦報》上。
張愛玲在解放後的政治空氣中大約也有一種無處容身的感覺，而這種感覺該是她最終離開大陸的原因。弟弟張子靜晚年說他在一九五一年春曾問及她對未來有什麼打算。張愛玲默然良久，不做回答。張子靜在《我的姐姐張愛玲》中回憶說：她的眼睛望著我，又望望白色的牆壁。她的眼光不是淡漠，而是深沉的。我覺得她似乎看向一個很遙遠的地方，那地方是神秘而且秘密的，她只能以默然良久做為回答。
那年此指一九五二年。八月間，我好不容易回了一次市區，急急忙忙到卡爾登公寓找她。姑姑開了門，一見是我就說：“你姐姐已經走了。”然後就把門關上了。我走下樓，忍不住哭了起來。街上來來往往都是穿人民裝的人。我記起有一次她說這衣服太呆板，她是絕不穿的。或許因為這樣，她走了。走到一個她追尋的遠方，此生再沒回來。張愛玲在《浮花浪蕊》中，藉著主人公洛貞的回憶，寫出自己懷著戒慎恐懼離開故國的心情：羅湖的橋也有屋頂，粗糙的木板牆上，隔一截路挖出一隻小窗洞，開在一人高之上，使人看不見外面，因陋就簡現搭的。大概屋頂與地板是原有的，漆暗紅褐色。細窄橫條橋板，幾十年來會磨白了，溫潤的舊木略有彈性，她拎著兩隻笨重的皮箱，一步一磕一碰，心慌意亂中也像是踩著一軟一軟。橋身寬，屋頂又高，屋樑上隔老遠才安著個小電燈，又沒多少天光漏進來，暗昏昏地走著也沒數……她又再度“跌跌沖沖、踉踉蹌蹌地走了出去”，幾番風雨海上花，這次她再也沒有回頭了！她揮別她心系的上海，揮別她的親人，更揮別了她的愛情，讓它此情可待，讓它一切成惘然。