在東征南伐的時候，朱元璋就已經在部署下一個戰略方針——北伐。雖然劉伯溫分析北方元廷內鬥為南方作戰提供了時機，而朱元璋認為這其實也為北伐提供了戰機，因為那些元廷將領和領導者只顧爭鬥，無心顧全大局。所以在東征南伐的同時，朱元璋又緊鑼密鼓地進行北伐的備戰工作。
雖然元朝現在看似羸弱不堪，其實在北方還聚集著很強的實力，而直接對抗元朝也是朱元璋成就霸業的最後一步，所以北伐的備戰工作要比南伐更加嚴謹密切。朱元璋先和劉伯溫商量了大致的作戰方針，然後又和諸將在軍事會議上詳細商討。
猛將常遇春說：“末將以為，如今南方已定，只剩下北方一些軍事割據，那些勢力又互相爭鬥，應趁此機會，用攻堅戰術，重兵出擊，直接攻下大都，都城一旦被破，乘勝再攻擊北方的軍事勢力，即可大獲全勝。”
而朱元璋的思路剛好相反，當然他也知道常遇春提出的方案也是大多數將領的想法，但是卻有輕敵冒進的傾向。
朱元璋說：“大都是元朝經營了上百年的都城，防禦守護一定非常堅固。倘若集中兵力深入，久攻不下，而分散在山東等地的元兵再去大都援助，那麼咱們的軍隊到時可能糧餉不足，進退皆難。”
這個時候劉伯溫說：“直接進攻大都雖然是速戰的策略，但正如主公分析，看似存在優勢，仔細分析弊端更多，不如反其道而行。”
朱元璋看了一眼劉伯溫，又掃視諸將，決定選擇和常遇春相反的策略，他說：“剛才所說的劣勢，對我軍來說都是致命的威脅。咱以為，都到了這種地步了，攻大都是早晚之事，不過方式不同罷了。大都好比是一棵大樹的根，而山東、河南等地不過是其所剩無幾的枝葉，不如先去枝葉，取下山東，回師河南，砍其枝葉，去其羽翼，再進軍潼關，佔其門戶。這樣，東、南、西三面的軍事要地皆被我軍掌握，此時大都處於孤絕無援的境地，再發動總攻包圍大都，自然拔其根基。攻下大都，再乘勝向西，雲中、太原等地亦在掌控之中，元朝即可徹底滅除。”
諸將聽了，皆連連稱讚這是最穩重全面的策略。
這就是朱元璋在十多年的戰鬥生涯中培養出的軍事分析能力，既能把握全局，又能細心緊密地註意到局部，同時野心和魄力共存。
戰略既定，下一步就是具體的軍事部署。
這次真像李善長建議的那樣，用最精銳、最強的將領出擊。
朱元璋備戰工作的下一步就是組織挑選統帥部人員。
朱元璋知道，選拔人才得和李善長商量，李善長雖謀略策劃不如劉伯溫，但對人際關係的處理，對將領們的熟悉卻是最好的。
朱元璋說：“這次北伐，關係重大，咱覺得還是要任用老將擔任將帥。”
李善長說：“平陳友諒之前，主公親自指揮諸將，此次北伐，將領皆在遠處作戰，善長認為需要選出一個能在場指揮節制諸將的大將軍。”
朱元璋道：“這也是咱在考慮憂心的問題啊。像常遇春、藍玉這樣的猛將，雖驍勇善戰，但常常會意氣用事，必須有個大將軍來壓陣，你以為誰做這個大將軍最合適呢？”
朱元璋這樣問李善長，並不是說他自己心中就沒有人選，不過他更想听聽他人的意見。
李善長略有所思，沉默片刻即說：“善長以為，徐達可統帥全軍。徐達身經百戰，用兵持重，言行謹慎，不做無把握之事，也不打無把握之仗，又注重軍紀。在將士中又屬老字輩，能服眾。”
朱元璋點頭應允，其實他心中也選了徐達，徐達是他的結拜兄弟，一同打天下可謂是赴湯蹈火，性情穩重，靠得住，對朱元璋絕對服從和忠心。
經過嚴密的考慮，朱元璋在行軍前宣布了北伐的將帥部署：徐達為徵虜大將軍，管制諸將，有運籌決策之權。常遇春驍勇善戰，所向披靡，為副將軍，做先鋒。朱元璋知道，像常遇春這樣的驍將，必須要適當駕馭，他的位次僅在徐達之下，他就無話可說，畢竟徐達是老將，同時任命參將馮勝（原名馮德勝）配合常遇春，做左右翼。雪顯、傅友德各領一路大軍，獨當一面。
應該說，這支北伐軍配備了最優秀的將領，也使用了最精銳的兵士。
出發前，朱元璋特地和幾位主將談心，談心不過是為了讓他們更好地打仗，更好地為自己服務，這是朱元璋用人的聰明之處，他非常清楚將領的情緒和心理在作戰中的重要性，所以每次大戰，朱元璋都懇切關心地和將領談話。
先是徐達、常遇春、馮勝、傅友德等人。對徐達、湯和這兩個結拜兄弟，朱元璋在私下里都是以兄弟相稱，從不擺架子。而朱元璋跟老將在一起，最拿手的談心方式就是回憶，通過共同的往事記憶，喚起共同的情感共鳴，這樣情感拉近了，說什麼也都容易聽進去。
朱元璋說：“北伐的重任在你肩上擔著，這個責任很重，你作為大將軍，一定要嚴整軍隊，溝通上下，使將士們同心協力。大將軍的威嚴，你當用則用，有違紀犯規者，當嚴懲不誤，萬事慎重再慎重，當斷則斷，指揮百萬大軍當鎮定自若，統籌兼顧。”
一切都安排妥當，行軍前，朱元璋為約束鼓舞士氣，在應天北門外的七里山，設出師祭壇。
朱元璋先舉起酒盞，祭告天地，告諭將士們北伐的意義和重要性：“此次北伐，是奉行天命，為天下百姓而出征。咱們的目的並不是為了攻城略地，而是要平定中原，推翻腐朽的元朝，為天下百姓謀安居樂業之環境。咱仁義之師的稱號不能枉當，每次出征，咱都再三交代，不可亂殺無辜，不可搶人財物，不可強奪民女，此次依然如此，咱是討伐元朝的義軍，義軍'義'字當頭，望眾將和眾士切記心中。”
這一席話，對士兵們而言是感動和鼓舞，也是送行前的關切。
老將徐達為徵虜大將軍，率領二十五萬大軍，從淮河向北，直入中原。
在徐達率兵北上的同時，朱元璋還做了另外一件事，這件事對他平定北方、收攏人心起到了很關鍵的作用。
朱元璋在用武的同時，還用了文。所謂用了文，就是讓宋濂寫了一封敬告北方官吏和人民的檄文，到處散發張貼，以使北方人民明白此次北伐的因由，消除北方地主官僚對紅巾軍的疑懼心理，同時也用來瓦解元軍的士氣。宋濂的這篇檄文長達千字，言辭懇切，從漢族中原人的立場歷數蒙元統治的弊端和腐朽。
朱元璋真的重兵北上了，元朝的軍事將領們才突然慌了手腳，停止內鬥殘殺，決定對抗朱元璋。然而多年來的不合，使得元朝的將領們各自為戰，不願聽從他人，更不願委屈自己與別人合作，為朱元璋各個殲滅提供了良好的戰機。而宋濂的那篇檄文，對北方的漢族官僚、地主、知識階層起到了很好的安撫和拉攏作用，使得北伐軍所到之處並未受到百姓的反擊，還得到地方勢力的相助，且山東、河南的一些州縣不攻自破，紛紛投降。
在具體的戰略操作上，朱元璋讓北伐軍的主力徐達從淮河地區進入河南，同時讓鄧愈做偏師，由襄陽向北攻南陽以分散元兵軍力，三個多月的時間，山東即被平定。順利平定山東後，兵分兩路，一路攻陳橋，再攻汴梁；一路攻歸德（今河南商丘）、許州（今河南許昌）和鄧愈會師，從後路攻擊汴梁。這樣，兩兵夾擊，汴梁不戰而降。同時，馮勝也攻克了潼關，河南也被平定。
朱元璋的軍事計劃基本成功，下一步就是從三麵包圍元大都。這時已經到了明洪武元年（1368年）五月，朱元璋親自來到汴梁，召開軍事會議，商討攻占大都的軍事策略。雖然大都的羽翼被除，但朱元璋依然不敢輕敵，非常重視這次出擊，因為最後的勝利就要到來。
然而朱元璋的大軍剛到大都，卻發現大都的駐守力量非常薄弱，攻下大都才得知，皇帝早在大都被圍攻前就已經逃跑，大都不攻自破。
朱元璋以穩步推進、步步為營的方式，逐漸消滅元軍在大都附近的軍事割據，最後直取大都，元皇帝逃亡，元朝政府在形式上已經不復存在。在徐達他們北伐取得初步勝利的時候，朱元璋在應天稱了皇帝，定年號為洪武，國號為明。農民出身的朱元璋完成了他建功立業的步伐，而他又有了新的征程——如何整治國家，如何讓大明王朝延續下去。