在李世民的唐軍隊伍中，主要武將如單雄信、秦叔寶、徐世等大部分來自瓦崗集團，他們掌握著唐軍的行動。這一方面為李淵、李世民提供了大批非凡的軍事人才，帶領唐軍開始了所向披靡的征戰；但是另一方面，讓李世民心中不安的是這些人畢竟來自同一個隊伍，雖然已經投誠，但他們一旦同仇敵愾，勢必會形成不小的勢力。每每想到這些，李世民就更加覺得應該大力挑選軍事人才，在李唐建立後的第一年，有一員勇將就出現在李世民的眼前。
李淵在公元618年建唐之後，依靠著突厥的勢力而盤踞在山西的劉武周勢力便主動開始進攻大唐。劉武周先於李淵一年稱帝，本來是北方地區最大的割據勢力，因此李淵稱帝讓他不能安寢，便在得力助手宋金剛的建議下，派遣了大將呂崇茂率兵攻擊晉陽，打算向南發展，謀取天下。剛剛建唐還沉浸在稱帝喜悅中的李淵對於劉武周這次來犯勢在必勝，所以派出了大批軍隊，由李姓王族永安王李孝基帶著工部尚書獨孤懷恩以及內史侍郎唐儉，一起討伐呂崇茂。誰知呂崇茂不僅自己本身非常勇猛，而且其帳下還有一員偏將尉遲恭更是勇悍非常，數次擊敗唐軍，並俘虜了唐軍將領獨孤懷恩和唐儉等人。眼看敵軍步步逼近，李世民忙率軍迎敵。
李世民和呂崇茂的軍隊在絳州對峙，此時的呂崇茂看著浩浩蕩蕩的唐軍隊伍，對李世民的兵法謀略早有耳聞，不由得心頭髮慌。李淵一邊命李世民大軍壓境，一面對呂崇茂發出招安令，許之以高官厚祿，答應他一旦反叛劉武周而投奔到李淵帳下，便讓他做夏州刺史，也算一方封疆大吏。
在絳州剛剛駐紮好軍隊，李世民便接到了線報，說是呂崇茂已經答應投降了。李淵對此深感滿意，他對李世民說：“你看，天下熙熙皆為利來。呂崇茂在劉武周軍中不過是做個統帥，我現在許他一個夏州刺史，他馬上就投靠了我們，不費一兵一卒，我們就可以拿下這支隊伍。”
李世民對此卻不贊同，他說：“為人最重要的是一個氣節。劉武周對呂崇茂非常信任，將這麼重大的任務交給他，他卻因為一點利益的誘惑就投靠我們，我並不覺得這個人有什麼可取之處。”
李淵笑了笑說：“現在對我們來說，取得戰爭的勝利才是關鍵。”
李世民對此不好再發表什麼，卻聽到李淵對使者說：“你去告訴呂崇茂，他軍中有個人曾經捉拿了我軍不少頭領，他若要來投誠，先將那個人給我殺了，提著他的人頭來，方能解我心頭之恨！”
李世民忙問：“是誰？”
李淵說：“這人復姓尉遲，名恭，字敬德。他不僅捉拿了你叔叔永安王李孝基，還把唐儉和獨孤懷恩也捉去了，實在可惡。不殺他，我難出這口惡氣！”
使者領命而去，李世民卻對父親的做法不敢苟同。但也不能當堂爭論，只好黯然退下。然而，就如同命運在開玩笑一樣，第二天，呂崇茂的軍中便傳來了讓人驚訝的消息：呂崇茂殺尉遲恭不得，反而被他殺了！
李淵聞訊大吃一驚，忙問使者：“那唐儉和獨孤懷恩呢？”
使者說：“那尉遲恭發現呂崇茂將軍要殺他，竟然先下手，將呂將軍給殺了，現在他已經挾持著唐儉和獨孤懷恩去了澮州。”
李世民聽到這個消息，不由得心頭暗喜，讚歎尉遲恭果然勇猛，而且如此機警。他向李淵請命說：“臣願意率領軍隊前去澮州與他一戰，定能俘獲他。”
李淵被尉遲恭逃脫又驚又氣，見李世民請命，便讓他率領十萬大軍前去平定，並一再囑咐他，一定要提了尉遲恭的人頭來。
李世民率軍來到澮州，他乘尉遲恭倉皇出逃，還沒有來得及部署好陣營的機會，讓兵部尚書殷開山和秦叔寶迅速出擊，毫無準備的尉遲恭被打了個措手不及，急忙又逃離澮州朝蒲坂而去。李世民窮追不捨，從小路出擊，將他打了個落花流水。接連的敗仗讓尉遲恭一聽到李世民的名字就會驚醒，在不斷出逃的過程中，居然沒法顧及周全，讓俘虜獨孤懷恩逃脫了。
李淵聽到了李世民連連獲勝的消息，非常高興，又見到逃脫回來的獨孤懷恩，更覺開懷。他便讓獨孤懷恩帶領五萬兵馬前去接應李世民，力求在最短的時間內擊敗尉遲恭，一雪前恥。
正當獨孤懷恩就要領軍出發的時候，在前線統兵的李世民忽然回來了，李淵忙接見了他。李世民一見李淵，便掏出一封信。李淵疑惑地問：“這是什麼？”
李世民說：“您看過就知道了。”
李淵打開信一看，大吃一驚。原來這是被尉遲恭所俘虜的唐儉寫給李淵的信。在信中，唐儉告訴李淵，自己和獨孤懷恩被尉遲恭俘虜後，曾經親耳聽到獨孤懷恩說他日逃出去，便不願意再被唐王統治，意欲謀反。如今他果然逃脫，而李淵又給了他大量軍隊，恐怕他即將要謀逆，因此讓李淵倍加小心！
李淵折起這封來自敵營的信，對李世民說：“幸虧有唐儉這封信，不然明日獨孤懷恩一出發，恐怕我們就又要多一個敵人。”
李世民說：“對啊！但是父親不該只感謝唐侍郎一個人，還有一個人也要感謝。”
李淵疑惑地說：“通風報信的是唐儉，我不謝他還要謝誰？”
李世民說：“唐儉是被俘虜的，現在居然能這麼及時地發出信來，父親難道不覺得應該感謝那個放過他的人嗎？”
李淵說：“你是說尉遲恭？”
李世民說：“正是他！唐儉在俘虜營中懇求尉遲恭將這封信派人送給我，所以我才能及時給您送過來。所以，這次能拿住獨孤懷恩，尉遲恭也算是有功。”
李淵凝神想了想，說：“你這是笑話，他是我們的敵人，怎麼能謝他！”
李世民說：“我們和尉遲恭對峙這麼久了，一直不見劉武周和宋金剛來支援他。而且最近我又連續將他打得大敗，現在他已經逃往介休去了。這次他肯讓人送信給我，看來他其實已經有了投誠之心。”
李淵說：“他捉過我手下數員大將，我不會接受他的投誠。”
李世民說：“所謂各為其主，他本來就是劉武周的部將，將我將士捉去是應該的。要怪只能怪我們自己戰術不精。父親怎麼會認為這是他的錯呢？何況，您既然能招降一個沒有骨氣的呂崇茂，為什麼就不能招降一個勇猛善戰的悍將呢？”
李淵低頭想了想李世民的話，似乎正是這個道理。大唐目前剛剛建立，正是大量需求人才的時候，自己怎麼可以因為一時的意氣就放棄這員猛將呢？他為自己剛才的不理智有些慚愧，便對李世民說：“那你的意思是要招降他？”
李世民見李淵有所動搖，高興地說：“對！現在我們大軍壓境，尉遲恭反抗越來越弱，這一次又放過唐儉送信給我們，我有把握一定可以招降成功。”
此時，尉遲恭一方面抵抗著唐軍的步步逼近，一方面看到他的主公劉武周不僅不能救他，反而自身難保，與唐軍在并州交戰失利後，劉武周和宋金剛無處可去，便逃往一直支持他的突厥，誰知道被突厥可汗所殺。眼見自己大勢已去，他不由得頹然暗嘆：看來唐軍的勝利已經是注定的了。想到自己即將兵敗，他來到大牢，對唐儉說：“我們各為其主，現在劉武周已經被殺，我自己也即將戰敗。所以我不殺你，放你走吧。”
唐儉謝過尉遲恭，對他說：“將軍英勇舉世無敵，只不過所效忠的不是可信的君王而已。現在我家主公已經在長安稱帝，各地都聞風而敗，天下歸心。將軍不如棄暗投明，與我一起效忠唐王，豈不是好事？”
尉遲敬德說：“我曾數次擊敗唐軍，只怕他們不肯接受我。”
唐儉說：“我願意為將軍引薦。”他來到了唐營，大贊尉遲恭勇武仁義。此時，李淵已經不再因為兵敗而遷怒於他，又加上李世民的勸諫，終於答應招降尉遲恭。
公元620年，尉遲恭以所駐守的介休、永安二城降唐，成為李世民旗下的一員戰將。在李唐軍事集團中，他是極少數非瓦崗軍將領，再加上其本身極其善戰，因此獲得了李世民的信任，成為平衡軍事集團內部權力的重要一環，甚至因此引起了唐軍其他將領的妒忌。唐行軍元帥長史屈突通擔心過分的寵信會導致尉遲恭擁兵自重，出現反复的情形，因此向李世民建議削減他的兵權，但被李世民拒絕了。因為在李世民心中，尉遲恭出現擁兵自重的可能性遠遠低於瓦崗軍將領們。