在所有的開國功臣中，武將以徐達功勞最大，而文官則要數李善長最為有功。李善長在開國冊封時位居六公之首，又為中書省左丞相，統領中書省日常事務。雖然李善長已辭官多年，但他仍然是淮西勳貴的頂樑柱，朝中大臣有什麼疑難之事，也喜歡找李善長商量之後再作決定，比起徐達來，李善長對朝廷的威脅更大。
事實上，在成功除掉徐達的同時，朱元璋一直思考著如何除掉李善長。只是朱元璋明白，和徐達比起來，李善長這棵老樹的根更深、枝更茂，要想搬倒他，還需費一番工夫，仔細計劃。
洪武十八年，就在徐達死去的這一年，忽然有人報告朱元璋，說李善長的弟弟李存義父子曾經和胡惟庸相互勾結，準備謀反。
朱元璋聽到這件事後不禁喜出望外，認為搬倒李善長的機會來了，他決定親自提審李存義父子。
“說說看吧，你們是準備怎麼謀反的？”朱元璋對李存義說道。
“皇上，該說的我都已經說過了。”原來在此之前刑部已經審過了李存義。
“這事李善長知道嗎？”朱元璋繼續問道。
“皇上，這事家兄完全不知情，還望皇上明察。”李存義答道。
朱元璋豈肯就此罷手，他明白如果真有這樣的事情，他們不會不徵求李善長的意見。 “老實交代或許還有一條生路，要不然大刑之下，你也會什麼都交代的。”
李存義已經領教過刑部大刑的厲害，知道自己熬不過去。想想還不如現在就招了，說不定皇上開恩還真能免自己一死。
“皇上英明，家兄的確知道此事。”李存義說道。
“說說到底是怎麼回事吧。”朱元璋不緊不慢地說道。
“胡惟庸想造反，因為我和他是兒女親家，就讓我去說服家兄。家兄聽說後很是吃驚，說謀反可是滅九族的勾當，堅決不同意。過了一段時間，胡惟庸又派家兄的一個老朋友楊文裕去勸說，說事成之後定當封家兄為九千歲，與胡惟庸共同治理國家。家兄仍是不肯，但言語間頗有些動搖。”李存義說道。
“那後來呢？”朱元璋生氣地問道。他待李善長不薄，不敢想李善長真起反心。
“後來胡惟庸看勸不動家兄，便親自登門來求。家兄仍是不許。後來家兄提起此事曾對我說：'我老了，等我死後，就隨便你們折騰吧，反正我也看不到了。'”李存義繼續說道。
“李善長好大的膽子，立馬讓他來見我。”朱元璋憤怒地命令道。
等李善長帶到，他已是嚇得邁不開步子。剛一見到皇上，便癱倒在地：“皇上，那都是臣一時糊塗才會聽了胡惟庸那小人之言。請皇上恕罪。”
朱元璋雖是氣憤，但腦子很清醒。他明白，僅靠李存義的這幾句供詞是扳不倒李善長的。況且如今徐達剛死，如果再殺李善長，只怕會引起老臣們的猜疑。現在不如把他放回去，等掌握了足夠的證據再殺他不遲。
“咱知道你李善長對咱是忠心一片，李相國怎麼會和胡惟庸這種小人狼狽為奸呢！這次的事情咱就不再追究了，你還回你的杭州好好養老去吧。”朱元璋笑笑說道。
李善長如今早已習慣了安穩的日子，把握不了朝中的形勢，更揣摩不到皇上的心思，只以為皇上念其功高，不會拿自己開刀。聽皇上不治自己的罪，於是連忙俯身謝過皇上，便又高高興興地回杭州去了。
朱元璋的“不治罪”果然麻痺了李善長。他回到杭州後絲毫沒有收斂。洪武二十三年（1390年），七十七歲的李善長擴修宅院，因工匠不夠，竟向信國公湯和借兵勇三百。
湯和一向為人小心謹慎，早早便辭官回了鳳陽老家。徐達的死使湯和已隱約感到了山雨欲來，所以行事更加小心。他給李善長回信說，自己已經沒有了軍職，身邊只有幾個隨從，並沒有多餘的兵勇借給他。
回完信後，湯和心裡仍是不踏實。他明白現在皇上要是想殺人，那隻需要他說一句話，有沒有罪倒不重要。所以自己一定不能讓皇上抓到任何把柄，要讓皇上知道自己已是一個膽小怕事、安分守己的小民。於是連夜寫了份奏摺，把情況向皇上匯報了一遍。
皇上看完湯和的奏摺，哈哈大笑，對太子朱標說道：“你看看，我們當年英勇無比的湯大帥，現在竟然變得婆婆媽媽，這點小事還向咱呈個折子。不過，如果我們的開國功臣都像湯帥一樣安安穩穩地過日子該多好，那樣我就放心多了。”朱元璋很高興湯和已經變成了溫順的百姓，同時也對李善長的大興土木深惡痛絕。
不久，李善長小妾的哥哥丁斌因仗著李善長的勢力胡作非為，以致傷了別人性命，獲罪入獄。不知危險即將來臨的李善長在小妾的慫恿下，向官府施壓，命他們放了丁斌。恰好此事又被盯著李善長的錦衣衛報告給了朱元璋。
朱元璋聽說此事，萬分憤怒，罵道：“好你個李善長，你憑什麼讓我的官員放人？如不殺你，天理何存！”於是命人把丁斌押解進京，朱元璋準備親自審理他。
丁斌在朱元璋的暗示下，招出李善長與胡惟庸往來密切，並密謀造反。隨後，在暗示下，李善長的幾個家僕也紛紛告發李善長和胡惟庸的陰謀，並說李善長向湯和借兵三百是想試探湯和的態度如何，看有沒有可能拉攏湯和共舉大事。一時間，諸文武紛紛參奏李善長。
朱元璋眼看時機成熟，於是下旨把李善長打入大牢，聽候處置。
太子朱標求情道：“父皇，自古以來治天下者無不以德治國。請問父皇如今你殺罰如此重，今後還有誰肯出來做官呢？李相國為我大明開國第一賢才，如果你殺了他，只怕會令天下士子們心寒啊！”
“標兒，你怎麼就不明白呢？咱殺了這麼多人，無非是想交給你一個安穩的大明王朝。你性格軟弱，這滿朝的功勳們你如何駕馭得了？如今我把他們一個個都給你除掉，咱才放心把朱家的基業交給你啊。”朱元璋不是不知道殺罰太重群臣思變，只是面對這麼一個仁弱的太子，他也沒有更好的選擇。
這日早朝，御史進言道：“皇上，昨夜臣夜觀天象，發現西南有流星隕落。據史書記載，這預示著有大臣即將獲罪身亡。”
朱元璋立即起身道：“看來連天都難容下李善長。”群臣立即附和。
於是在洪武二十三年，朱元璋下旨，說李善長身為皇親國戚，明知胡惟庸想謀反，竟然不舉報，真乃罪大惡極，大逆不道，命將其兄弟二人兩家共七十餘人全部處死。
走在刑場的路上，七十七歲的李善長終於明白過來，皇上無論如何是不會放過自己的，他會找出各種理由置自己於死地。可惜，這些道理李善長在錦衣玉食的生活中是不能體會到的。同時，李善長也不禁佩服起朱元璋來。他心想如果自己當了皇帝，也難以容下一個像自己這樣的李善長的存在。
李善長雖被小心翼翼地處死，但它引起的餘震仍遠遠超出了朱元璋的想像。太子的話沒錯，李善長的死震動了滿朝的士子。一年後有人替李善長上書喊冤，其意大致為：李善長對皇上忠心耿耿，出生入死幫皇上得了天下，論功應排在首位。況且李善長又是皇親國戚，說他謀反，證據不足，說他要輔佐胡惟庸，則大錯特錯。李善長貴為開國第一功臣，即使助胡惟庸得了天下，胡惟庸又能給他什麼呢？說流星隕落要殺大臣以應天象，則更不可取。臣害怕天下人聽說此事，說李善長立下如此功勞卻落得如此下場，以致人心離散。現在李善長已經死了，說這些也沒什麼意義，只盼皇上您能引以為戒，以鑑將來。
朱元璋看完之後，覺得自己確實有負李善長，而且還把他的全家都殺了，自己的確無話可說，也就不再怪罪寫這篇文章的人。
徐達、李善長死後，朱元璋又殺了一批開國功臣，這些勳舊的威脅終於解除了。但朱元璋認為朝廷的問題並沒有解決，其中最突出的問題：一是官員玩忽職守、貪污腐化；二是軍官居功自傲、不聽調遣，它們一直都在大明王朝中存在著。