胡宗南化名秦東昌，去大陳島打游擊，掛了個虛有其名的浙江省政府主席。
（台北一大陳島，1952年9月以後）
在一九五零年春節前後，蔣介石喊過一陣子“政治台北，軍事西昌”，要將西昌作為在大陸的最後一塊基地，便於將來捲土重來，作軍事反攻。除了派飛機連連給胡宗南往西昌空運補充武器裝備，還特別委派蔣經國從台灣飛到西昌給部屬打氣。
西昌還是在三月下旬失守，作為西昌軍事長官公署代理長官的胡宗南，是四月四日乘飛機經海南島飛回台北的。大約連連丟城失地使這位有“西北王”稱號的一級上將也於心不安，胡宗南在台北辦完了公事之後，也告別家眷，跑到花蓮海濱租賃了一間屋子，居住休養，避開政事煩擾。
可是，監察院李夢彪等拉起一夥監察委員，說胡宗南作戰不力，提出彈劾。此宗彈劾案，被各大報得悉後悉將全文發表。行政院將此案發交國防部審辦。胡宗南當然在花蓮海濱休不了閒，只好趕回台北，住在家裡，閉門謝訪。幸好還有好些人幫他說話，遂使此案得一個“不予起訴處分”的結果，不了了之。
胡宗南賦閒在家，心卻沒有閒。
一九五零年六月下旬朝鮮戰爭爆發，美國藉口出兵台灣海峽，使在台灣的蔣介石政權幾乎是絕處逢生。由於有美國第七艦隊和第十三航空隊防衛寬達一百多公里的台灣海峽，中國人民解放軍無法像渡海攻占海南島一樣渡海攻台，只能選擇朝鮮的陸戰場來抗擊美國的軍隊進犯，原來部署在浙江準備渡海攻台的主力兵團也已因戰爭需要調往東北。在東南沿海的解放軍轉入防禦。
與此同時，台灣國民黨政權得到了美國軍隊協防，又重新得到了美國大量的軍事與經濟援助，剛從大陸逃台時那種風雨飄搖的局面得以改觀。蔣介石在採取一系列政治、經濟措施來穩定台灣局面的同時，對大陸進行長期的騷擾作戰。蔣介石以“一年準備、再年反攻、三年掃蕩、五年成功”為口號，在台灣島上進行動員。台灣當局還不斷訓練及派遣人員空投或潛渡到大陸，並且給在內地活躍起來的土匪空投武器、物資，企圖對沿海解放軍部隊形成內外夾攻之勢。蔣介石還專門成立了“敵後工作委員會”和“大陸游擊總指揮部”來具體負責向大陸的騷擾滲透活動。在海峽南邊主要依托金門、馬祖為基地，向福建和廣東進行登陸滲透；在海峽北面，依托浙東的大陳島為基地，向江蘇浙江乃至山東沿海進行滲透。
胡宗南在台北家居閒不住，又沒有兵可帶，在大陸時倚重西北擁兵五十萬，顯赫一時，那在漬敗中已成舊事，他逃到台灣後只能讓親信徐先麟、吳俊、戴濤等人在香港，搜羅接濟從大陸逃出來的胡部人員，安排交通，延引來台灣。在蔣介石需要人出來指揮向大陸“打游擊”時，他主動提出要承擔任務，“建立挺進部隊，加強大陸游擊作戰”。
胡宗南於一九五一年五月三十日，給行政院長陳誠上書：“請以現在台灣、香港之江蘇。浙江、安徽、山東等省的義民三萬人為基礎，成立三個野戰挺進縱隊，施以必要之軍事戰鬥技術，及實施游擊所需之技能……深入浙、閩、贛、蘇各省邊境，建立基地。”
陳誠收到胡宗南的上書，知道其閒不住。早在大陸的時候，陳誠與胡宗南都是蔣介石的左膀右臂，但相互間又有矛盾。胡宗南是黃埔軍校一期，是黃埔系中天宇第一號“天子門生”，而陳誠則是非黃埔系的主將。如今陳誠大權在握，而胡宗南賦閒在家，還經歷了一番彈劾風波，已經跟陳誠不能同日而語。胡宗南還在西昌時，陳誠夫婦曾登門探望胡宗南的眷屬。胡宗南半生戎馬生涯至五十二歲才結婚，妻子是留美歸國的女博士葉霞翟。陳誠親眼看見葉霞翟帶著三個尚幼的兒女，擠住在兩間簡陋的木板房裡，不像什麼將軍府第，只像平民居室；陳誠覺得過意不去，就將省政府在浦城街一所平房住宅借給胡的家眷住。
精於處事的陳誠，將胡宗南的報告拿給蔣介石看。本來蔣介石就覺得從大陸退過來的一大批高級將領，一下子擠在一個不大的台灣島上，哪有那麼多官可封？哪有那麼多兵可帶？這是個很棘手的問題；但是蔣介石對於自己過去的寵將胡宗南，還是有所偏向的。蔣介石對陳誠說：“宗南跟我那麼多年，忠誠可鑑。丟了西昌，也不能只怪他。他本人提出去打游擊，已是不計名位高低了，我看可以派他到大陳島去，管管浙江前線的事。他帶領舊部去那邊多組織幾個挺進部隊也好嘛。”
於是，當年八月某日夜晚，陳誠親往浦城街胡宗南住宅拜訪，奉蔣介石之命，徵求他對出任指揮沿海游擊隊的意見。胡宗南除了對陳誠談了游擊作戰的計劃與設想之外，只提他用一個化名來任職，並加以保密。陳誠欣然表示贊同。
九月九日，胡宗南化名“秦東昌”，以江蘇浙江反共救國軍總指揮兼浙江省政府主席的身分，率領幾個經他挑選的部屬，乘船前往大陳島赴任。
消息透露以後，新聞界人士覺得浙江省主席及游擊總指揮的職務亦不低，敏感的記者遍查了“國軍戰史軍史”，尋不到這位“秦東昌將軍”的資歷與身世。越是查不到，越有吸引力，越要刨根問底。記者要上島拜訪，卻被將軍婉拒。某記者乾脆捕風捉影地寫了一篇《神秘將軍秦東昌》。
其實，胡宗南在國民黨將軍中的確有點神秘，而且被人視作一種“怪癖”。據說，他從不願見記者，不喜歡採訪與拍照。有次在一個公眾場合被某報記者偷拍了照片，他當即派副官去找該記者商量花錢買下膠卷。還說他從來不做生日，追隨他二三十年的僚屬都不知道他什麼日子生日，乃至一九四七年五十二歲結婚而通知幾個熟人去吃飯，人家誤以為他過生日。他年屆五十歲還是獨身將軍而惹起不少軼聞，傳說他身有隱疾，是陰陽人。抗戰期間，曾有一段盛傳全國的婚事野史，至今無法確證真假。說抗戰期間他四十歲，風華正茂，又是春風得意的將軍，蔣介石想將孔家二小姐許給他，就讓宋美齡出面作媒。那孔二小姐當時在重慶是個風雲人物，特立奇行，以西方暴露衣著而駕車馳騁於山城街，十分惹人眼目。胡宗南對她的德行早有耳聞，所以當蔣夫人提及此事，他不說同意又不好說反對。宋美齡索性強行介紹，並強使其結伴出遊。不料胡將軍駕來一輛敞篷吉普，又開得飛快，震得車上的小姐前仰後合，腰酸骨痛。車子還沒開到南溫泉，就汽油用盡。棄車步行，將軍挽著小姐，頂著烈日跋涉。小姐穿高跟鞋，一步一瘸，實在走不動了，就歇在一間路邊餐館。胡宗南點菜上桌，小姐見到蒼蠅撲來，噁心不已。胡宗南卻大讚美味：“我們在行軍時，有此美味，已屬幸運。小姐不要錯過。”事後，孔二小姐在宋美齡面前哭訴了一番，婚事就告吹了。
胡宗南來到大陳後，在上大陳成立了“江浙反共游擊總指揮部”，在下大陳設立了“浙江省政府”。台灣當局的浙江省政府，哪有什麼像樣的屬地，不過是一個徒具虛名以作反攻號召的機構罷了。省府各委員，多數散居台北，遙領名義。胡宗南從台灣帶來了三個國防部軍官戰鬥團作為基本兵力。戰鬥團的成員，是國民黨軍各部隊退到台灣進行整編後的編餘軍官，他從中選出一些骨幹，分配去訓練游擊隊。同年五月，美國軍事顧問團到達台灣後，派了代表範爾遜，供給裝備，並協助訓練。其訓練的成員，大多是在大陸的土改反霸中受過共產黨打擊的逃台人員和收編的海匪。
胡宗南上任不久，就不斷派遣這些經過訓練的挺進隊，使用美國提供適合於別動隊和特務活動的裝備器材，通過小股登陸的方式進入內地，和當地土匪相結合，開展游擊作戰。胡宗南在大陳島，先後訓練了總人數約七千多人的挺進隊。胡宗南在大陳島就任兩年，派出游擊部隊襲擊大陸沿海數百次，當大規模進襲時，胡宗南親啟乘船指揮攻擊與撤退。
胡宗南率部對大陸沿海連續發起的游擊襲擊，得手的次數並不多。也曾有幾次獲得成功，使當地的少量解放軍駐軍和地方政權受損。其中最嚴重的一次是一九五二年“雙十節”後開始的對南日島的襲擊。胡宗南的游擊隊配合金門島出動的國民黨正規軍，接近上萬人，在飛機和艦艇掩護下猛襲南日島，島上解放軍守備部隊僅有一個連的兵力，經寡不敵眾的激戰後大部分犧牲，少部被俘後被送往高雄。島上的政權也被摧毀。當天晚間，大陸不明情況就倉促派出援兵約一千多人，到達後登島奮勇衝殺，殺傷國民黨軍數百人，亦因寡不敵眾，全部失利。當福建軍區再調部隊準備反擊時，十三日夜間，登島的國民黨軍已全部撤離。這次襲擊南日島，解放軍損失兵力一千三百人。胡宗南當然喜不自禁。
在國民黨軍襲擾下，解放軍在沿海加強了防備，並組織了軍民聯防，給國民黨軍還以顏色，給以懲罰。一九五三年，解放軍在年頭開始恢復了對金門等島的砲擊，還於五月下旬發起了奪取溫州灣出海口外島嶼的戰鬥。五月二十九日，剛由朝鮮戰場輪換返回的第二十軍第六十師，在溫台巡邏艇大隊配合下，向羊嶼、雞冠山和大、小鹿山這四個島嶼發起進攻，殲滅守島的國民黨軍二百三十人，俘獲了胡宗南手下乾將縱隊司令員何卓權。在大鹿山還剷除了一個特務巢穴，繳獲八部電台，捕獲一批准備潛入內陸的特務分子。何卓權是藏身洞穴中斷糧後，其侍從衛兵乘黑夜到登島部隊伙房偷冷飯被捉住，供出何卓權，才被俘獲。
羊嶼、雞冠山及大、小鹿山四島被解放軍攻占後，胡宗南遭到蔣介石的嚴厲申斥。胡宗南也覺得在大陸上成都、西昌敗退後，連如今在大陳島打游擊也連連失利，顏面上太過不去。他電複蔣介石決心奪回羊嶼等四島，將功贖罪。
六月十九日晚，胡宗南乘“陽”字號驅逐艦親自率野戰一、四、五大隊和軍官戰鬥團，加上海上突擊大隊等總計一千六百多人，分乘機帆船、帆船五十多艘進行反撲。在九艘海軍艦艇的掩護下，野戰一、五大隊等八百多人在羊嶼登陸，餘部八百人在小鹿山登陸。
守備羊嶼、小鹿山的解放軍各只有一個排的兵力，他們在敵我力量懸殊的情況下，大量殺傷敵人於灘頭之後，被迫退守島東北角之砲兵陣地待援。小鹿山的部隊也撤向大鹿山，固守待援，處境危急。
二十日夜間，大陸派出的增援部隊趕到。經過激戰，國民黨軍的艦艇及登島部隊，扔下一大批屍體，逃竄而去。胡宗南的部隊，被殲七百人，他本人雖然親自登艦督戰，仍然以失敗告終。
二十四日，解放軍又奇襲大陳港西口外的積穀山島，予以佔領，進而使大陳海面處於解放軍陸上大砲射程之內，大陳島局勢更為緊張。胡宗南與美軍派駐人員，對大陳島防衛部署，發生了歧見。國民黨當局覺得原來胡宗南的游擊軍政體制，已不適應大陳地區形勢，決定將胡宗南調回台灣，以爭取美方同意，派遣整編後擁有美式新裝備的陸軍部隊，駐防大陳。並委派剛從美國陸軍參謀大學學成歸國的劉廉一中將，接替胡宗南，擔任新設立的大陳防區司令官。胡宗南在交接卸任的自助餐宴席上，即席致歡迎詞：“大陳已經渡過了一段艱辛困苦時期，今後即將要進入一個新階段，開創新局面，所以需要有新的人物來擔當。”
這位曾在大陸叱吒風雲的“西北王”，如今已在話語中透露出內心的辛酸與感慨。
胡宗南迴台之後，又懸空了兩年才乾一九五五年九月始，擔任了四年的澎湖防衛司令官。一直在為蔣介石的軍事反攻大陸效勞。一九六二年二月十四日，在台北因心髒病去世。