洪武四年（1371年）正月，李善長告老還鄉。一時丞相一職沒有了合適人選。朱元璋現在最欣賞的人選是胡惟庸，可劉伯溫曾說過不可讓胡惟庸掌相權，若為相則必難駕馭。雖然答應了李善長以胡惟庸為相，朱元璋覺得還需先觀察一下再作決定。
思來想去，朱元璋決定把流放在外的汪廣洋召回應天，重新入主中書省，且命他為相。選擇汪廣洋，朱元璋出於兩點考慮：首先，汪廣洋被貶實屬被冤；其次，汪廣洋在中書省雖沒功勞可也沒犯錯，最難得是他很明白自己的心思，即便汪廣洋坐了丞相的位子，也會懂得把實權交給皇上心儀的人。於是朱元璋即命汪廣洋為右丞相，胡惟庸為左丞。
經過上次罷職流放的折騰，汪廣洋徹底看明白了：自己在朝中勢單力孤，皇上讓自己做丞相，那就是把自己拉出來當靶子給別人打。此時的汪廣洋，真的很羨慕李善長可以歸養田園，而自己在相位上，每天都得過著提心吊膽的日子。身陷囹圄的汪廣洋整天以酒為伴，以期能藉酒消愁。
“老爺，您不能再這樣了。您每天都喝成這樣，要是皇上知道了可不太好。”有一天，汪廣洋的管家對他說道。
“有什麼關係，他皇上還不是愛怎麼樣就怎麼樣，我算得了什麼！”汪廣洋醉醺醺地應了一句。
“你整天喝成這樣，中書省那邊怎麼辦啊？上次可就是因為你不聞不問，才讓楊憲得以做大，繼而咬了我們啊。”管家跟了汪廣洋多年，也是個明白人。
“誰愛怎樣就怎樣，我算是看透了，皇上讓誰死，他絕活不了。楊憲那小子當初多得意，還不是被皇上砍了。中書省就隨他去吧，反正皇上在那兒呢。”汪廣洋酒雖然喝多了，但人卻沒醉，他把這一切看得通透。
“那我們不如也學李相國告老還鄉啊。”管家很是為汪廣洋擔心。這麼多年，他們是主僕，但也是朋友。
“我們和李相國比不了啊。劉伯溫告老都不能回老家，何況我們呢。皇上對誰都不放心。他可以不用你，但他得盯著你，這樣他才能心安。”汪廣洋很是心酸，他沒想到自己竟會陷入如此境況之中。
汪廣洋在中書省的不作為，上次使楊憲做大。這次重回之後，卻剛好成全了胡惟庸。胡惟庸不同於汪廣洋。汪廣洋沒有靠山，可胡惟庸身後除了韓國公李善長這個靠山外，還有大批淮西勳貴做後盾。
汪廣洋的不作為，胡惟庸都一一看在眼裡。汪廣洋越是懦弱不爭，胡惟庸越是步步緊逼，又會逢迎皇帝，所以不多久他便在中書省大權獨攬了。
隨著權勢的增大，胡惟庸日益驕橫跋扈。仗著以淮西勳貴做後台，又憑藉皇帝的寵信，胡惟庸在中書省為所欲為。各部門的奏章，胡惟庸必先自己看過再交給皇上，對自己不利的，他就隱藏起來，不上報給皇上。一時胡惟庸權傾朝野，喜歡鑽營的就極力巴結他，看不慣的也是敢怒不敢言。
胡惟庸的膽子越來越大。雖然汪廣洋在他之上，但他明白，他的真正威脅不是汪廣洋，而是那個告老還鄉，但仍留在京城的劉伯溫。此人極得皇上賞識，又聰明過人，一日不除劉伯溫，自己做起事來就一日不安心。
劉伯溫說的沒錯，胡惟庸掌權後不僅難以駕馭，而且氣量狹小、睚眥必報。胡惟庸沒有忘記劉伯溫當年在皇上面前說自己的壞話。出於多方考慮，胡惟庸決心除掉劉伯溫。於是在劉伯溫生病期間，胡惟庸買通給劉伯溫看病的太醫，偷偷在劉伯溫藥裡下了毒。
這一天，胡惟庸裝作替皇上賜藥，隨同太醫來到劉府。
“劉大人，皇上今天派我來探望劉大人。皇上特賞你奇珍藥物一瓶，盼劉大人早日康復。”胡惟庸一反常態地客氣謙卑。
“謝謝胡大人，我想知道這藥是不是皇上給我的，你可以讓我明明白白地離開人世嗎？”劉伯溫氣喘吁籲地說道。
皇上的心思越來越難以把握，連劉伯溫這樣的老臣也不知這藥是皇上所賜還是胡惟庸的主意。
“哈哈，劉大人這又何必呢，你不是料事如神嗎？你就猜猜看。不過皇上說了，一定讓我看著你喝下去他才放心。”
是的，這藥是誰給的已經不重要了。劉伯溫知道這一天遲早會來的，他對於皇上來說已經沒有價值了。如今的皇上運籌帷幄，又何須他劉伯溫在耳旁嘮叨。胡惟庸更是對自己嫉恨交加，如今得勢，除掉自己也在所難免。
“父親，這藥你不能喝啊！”劉伯溫的長子劉璉懇求道。
“璉兒快住口，你要好好保重，記得把我送回青田老家啊。”劉伯溫豈不知這是毒藥，只是他不能不喝呀。
劉伯溫含淚苦笑著喝下毒藥，不幾日便去世了。
朱元璋得知劉伯溫的死很傷心，這種傷心是發自內心的悲哀，他知道自己的雙手已經沾滿了鮮血，劉伯溫可以說是死在他朱元璋的手上，他不放縱胡惟庸，胡惟庸何以猖獗至此。可是皇位在，他就必須狠心，是皇權逼他不得不如此，皇上若太過仁慈，必然被臣子左右。悲傷只不過片刻，很快朱元璋又回到皇上的位置來。他心裡清楚，從長遠來看，劉伯溫作為浙東派的代表也必須剷除，胡惟庸替他做了他不願公開做的事。
這一日，大將軍徐達的生日到了。皇上偷偷來到徐府找徐達喝酒。自從當上皇上，過去那種馳騁沙場，大碗喝酒、大塊吃肉的日子對朱元璋來說已經不會再有了。所以每當想起當年的開心事，他都要找這幾個哥們喝上幾杯。只有這時當皇上的他又彷佛回到了當年，難得的一身輕鬆。
酒過三巡，徐達斥退左右，對朱元璋說道：“皇上，如今這丞相胡惟庸實在是太過分了。比起當年的楊憲，他簡直有過之而無不及。”並把胡惟庸的劣行陳述了一番。
“徐達啊，你只管帶兵打仗就行了。不想打了就停下來，把兵交給你的侄子們。也該讓他們鍛煉一下了，你順便也好好歇歇。”皇上輕描淡寫地說道。
“皇上，臣有幸能活到今天已別無所求，只是怕胡惟庸這廝壞了我們辛苦得來的江山啊。”徐達哀求道。
“你就不要再說了，咱心裡有數。”說罷朱元璋悻悻而去。
其實朱元璋始終打著自己的算盤呢。胡惟庸雖然霸道，但他只不過是自己的工具而已。一方面胡惟庸上台極力打擊浙東派，另一方面，作為淮西人，胡惟庸拉攏自己的小圈子，也分裂了淮西派。他朱元璋不是不想殺胡惟庸，只是時機未到而已。
過了幾日，胡惟庸不知為何，得知徐達在皇上面前說了自己壞話，對徐達嫉恨在心，決定除掉徐達。胡惟庸以為自己一切都做得很好，皇上不會對自己怎樣。
此時大將軍徐達因進言之事不成，整天待在家裡悶悶不樂。胡惟庸本想趁徐達外出伺機殺了他，但一連幾天都沒有機會。
無奈，胡惟庸決定從徐府內部下手。
胡惟庸許諾給徐府看門人福壽以重金，希望福壽能替自己殺了徐達。這福壽雖然是個看門的，可他是徐達的舊部，戰爭年代親眼見過徐達浴血沙場，很是敬畏徐達。於是福壽決定先答應胡惟庸，同時把此事報告給徐達。
徐達正不知如何對付胡惟庸，忽然得此消息，真是喜出望外，便立馬帶著福壽來見皇上。
朱元璋在弄清事情原委後，一方面很是佩服胡惟庸，沒想到連徐帥他也敢殺，另一方面也必須給徐達一個交代，就答應徐達伺機除去胡惟庸。
朱元璋明白，打壓了浙東黨之後，胡惟庸又成功分裂了淮西派，胡惟庸的任務已經完成了。況且，他胡惟庸現在已經成為群僚公敵，不殺不足以平民憤，不殺有可能引起更大的亂子。
剛好此時有人來報告朱元璋，說在大街上發現了一批外國人，盤問之下得知他們竟是占城貢使。他們自稱已經來了好幾個月，竟然不能見皇上。
朱元璋聽了，很是納悶，自己怎麼不知道有占城貢使前來朝拜呢？於是召來禮部尚書盤問。
“皇上，禮部關於占城貢使前來朝拜一事的折子，兩月以前已經呈送中書省，可至今仍沒有得到批示啊。”禮部尚書答道。
皇上認為此事有損大明國威，一定得查清楚。於是召來胡惟庸對質。
“皇上，臣在兩個月前已經批示了這個奏摺。可此奏摺一直放在中書省，禮部並沒派人來取。”胡惟庸說道。
“皇上，按道理這種奏摺批示完，中書省應該派人直接送回禮部的。”禮部尚書辯解道。
“廢話，中書省每天日理萬機，說不定把這件事忘了。你們禮部就不會派人過來看看！”胡惟庸大聲說道。
朱元璋很是憤怒。這胡惟庸太放肆了，竟然當著皇上的面訓斥一個禮部尚書，私下不知道還有多猖狂！於是，他以玩忽職守、相互推諉等罪名把胡惟庸和禮部尚書一起打入大牢。
得到胡惟庸入獄的消息，曾經被迫害的和一些見風使舵的人立馬向皇上進言訴說胡惟庸的罪行。朱元璋很討厭這種牆倒眾人推的行為，於是下令，凡是在胡惟庸下獄後訴說其罪的，一律官降一級。
洪武十三年（1380年），胡惟庸被朱元璋處死。通過胡惟庸，朱元璋成功地打擊了浙東派，並分裂了淮西派。朱元璋邁出了清除淮西勳貴道路上的一大步。
胡惟庸雖然死了，但胡惟庸案並未沒有結束，其震蕩的餘波一直影響到若干年後。