雖然逃離了長安這個是非之地，但是隋煬帝楊廣的陰影卻隨時籠罩著遠在太原的李淵父子。隋朝的天下已經開始四分五裂，各地烽煙競起，其中已經發展成強大勢力的便有翟讓所率領的瓦崗軍，竇建德所率領的河北軍，以及杜伏威所率領的江淮軍，這三支隊伍不斷與隋軍作戰，並在戰鬥中發展壯大，從東、南、西三個方向對太原產生威脅。與此同時，遠在北方的突厥始畢可汗也是蠢蠢欲動，從北邊對太原虎視眈眈。這一切都讓李淵寢食不安。
而最讓他不安的，除了這些內憂外患之外，便是楊廣對他的不斷猜忌。自從李淵到了太原，他手握重兵，這把劍楊廣希望李淵揮向敵人和義軍，幫自己砍掉煩惱，但也擔心李淵會揮向自己，砍走自己的無限江山。在這種情況下，他對李淵愛恨交加，李淵也被楊廣的這種態度搞得苦惱不已。
一天，李淵在書房中來回踱步，思索著太原的安危和自己的去留。李世民忽然來到書房拜見父親，他看到李淵緊鎖的雙眉和斑白的頭髮，忍不住說：“父親，既然伴君如伴虎，我們為什麼還要伴下去？如今楊氏無道，天下英雄紛紛舉事，難道父親就沒有想過嗎？”
李淵說：“你不要將楊廣看得太無能了，現在雖然反對他的人很多，但當年他也是雄心勃勃的。想當初，他二十歲便帶領五十萬大軍南下進攻陳朝，部隊在他的指揮下英勇作戰，一舉就奪得了長江天塹，真可謂所向披靡，而且對百姓秋毫無犯，天下人沒有不稱讚他的。”
李世民說：“那他為什麼變成現在這樣殘暴無道，置天下百姓於水火之中呢？”
李淵嘆了一口氣，說：“這也是古往今來的帝王之病了，他通過殺死自己兄長與父親的方式奪得皇位，自然有點窮兵黷武。而且連續幾次征伐失敗之後，國力大損，再加上近年來戰亂不斷，連越國公楊素之子楊玄感都起兵反叛他，想要奪他的命，所以他才會這樣猜忌大臣。”
李世民說：“不管怎樣，一個有道的賢君怎麼能讓天下百姓受罪而置之不理呢？如今我們在太原，他還是不放心我們，上一次他召您進京，您託病沒有去，他居然對左右的人說讓您死了更好！這簡直太過分了。”
李淵看李世民那麼激動，卻只是笑而不語。李世民接著說：“現在您手上有軍隊，我們又據守太原重鎮，只要您一聲令下，我們兄弟一定跟著您推翻楊廣。”
李淵說：“你還是年輕氣盛，太過著急了。想要起兵，豈是那麼簡單的事。現在試問你的手下有幾員猛將？又有幾個謀臣？如果我們舉事一旦失敗，我們又有什麼退路可守？這些問題你是否想過呢？”
李世民聽了李淵的話，陷入了沉思，想一想自己的身邊，似乎只有長孫無忌、侯君集等幾個好友是一直追隨自己的人，要說有多少猛將、謀士，還真不多。
李淵又說：“現在各路義軍加起來有一百多支了，他們都打著反隋的旗號，看來隋朝的天下已經快到盡頭了。可是你有沒有想過，一旦我們推翻了隋朝，接下來該何去何從呢？”
李世民說：“這還用問，當然是取而代之，讓父親您稱帝啊！”
李淵微微一笑：“你覺得憑我們現在的力量，有能力將隋朝取而代之嗎？在目前發展起來的起義軍中，有一些已經發展壯大了，我們的力量在其中又能排到第幾呢？”
李世民聽到這些問題，又一次發蒙了，因為他確實沒有仔細思考過這些問題。李淵接著說：“目前，不管是河北軍、江淮軍還是瓦崗軍，他們其中任何一支，都有可能取代隋朝。但是我和他們相比，要想完全戰勝他們還是沒有把握。再加上突厥，始畢可汗依舊對隋的天下念念不忘，如果在這種情況下貿然舉事，我們所做的只是幫助義軍去將隋朝推倒，減少他們的阻力，讓他們更加強大，這有什麼意義呢？”
李世民說：“既然是這樣，看來我們就應該小心謹慎，不和任何人提起這件事，更不能讓皇上知道我們的野心。”
李淵點點頭說：“你說得對！人人都說伴君如伴虎，我現在手握重兵又被猜忌，隨時都可能被楊廣設計謀害。因此我們只有小心再小心，只有這樣，才能多一點時間來做好準備。”
李世民問父親：“既然這樣，父親覺得我們應該怎麼做呢？”
李淵看著眼前這個意氣風發，一心想要有所作為的兒子，似乎看到了當年的自己。隨著官場的磨礪，現在的李淵已經謹慎、穩重了不少，甚至會讓人覺得有點畏縮。而因為隋末亂世的影響，他看到了爾虞我詐，更難以對別人產生信任。但李世民的身上卻似乎帶著一股無法阻擋的銳氣，也許這是上蒼給自己最好的武器，讓自己可以在亂世中有值得依靠信任的人。想到這些，李淵對李世民說：“既然你有此大志，父親也備感欣慰，但不可莽撞。我要你從現在開始廣結英豪，要和真正有本事、有抱負的人結交朋友，讓他們為我們所用，等到真正舉事的那一天，我們才可以做到一呼百應。”
這一番教導在李世民的心中留下了深刻的印記，從此他不再焦躁激進，而是耐心地與各路英雄豪傑結交，通過觀察，看這個人是否有真本領，是否可以為我所用。在此期間，晉陽令劉文靜、晉陽宮監裴寂，以及負罪在逃的右勳衛長孫順德、右勳侍劉弘基、左親衛竇琮等人都投靠了李淵，大大壯大了李淵的勢力。
長孫順德在長安因得罪權貴而被捉拿，因其是李世民所娶的夫人長孫氏的叔叔，因此一路直奔太原而來。在路上，他心裡一直不夠安穩，心想：自己是戴罪之身，李淵又是當朝顯貴，會不會收留自己？但無處可去的他只好一邊想一邊直奔太原而來。
李淵聽家丁禀報，知道長孫順德來了，心裡稍一猶豫，便對李世民說：“你去接見，好好安頓他。”
李世民熱情地將長孫順德接到後院，安頓好房間。但長孫順德一直不見李淵出來相見，心裡不由得起了疑惑。他問李世民：“你父親為何不出來見我？莫非是嫌我戴罪？如果真的是這樣，你們也不必留我，我現在就走。”
李世民急忙拉住長孫順德說：“您多慮了，父親不能來見您是有他的原因的。現在皇上對父親一直猜忌，身旁又安排了不少眼線，為了避免不必要的麻煩，所以才避而不見，他已經命我好好招待叔父了。”
長孫順德一想，確實是自己莽撞了，於是對李世民說：“我遠道來投奔，其實也擔心你父親會不會收留。既然這樣，看來你們父子是赤誠相待。我還有兩個兄弟尚在城外，他們都是勇猛的將才，我去將他們接過來吧。”
李世民一聽大喜，李淵交代他結交英才，目的就是讓他收攏人才，如今長孫順德來投，雖然是戴罪之人，但他並不懼，大方地接待了他。尤其聽到長孫順德還帶了兩個幫手過來，他更加高興，於是急忙說：“叔父，就讓我和您一起出城去接他們吧，以表我的誠意。”
兩人騎馬來到城外，長孫順德為李世民引薦了殷開山與段志玄，此二人都是精明、勇猛、善辯的豪傑，言談之間充滿豪氣，讓李世民備感投緣。而他們果然不孚眾望，在太原休整一段時間之後，便各自前往山西、河北等地招募兵勇，不出一個月便募得上萬勇士，極大地充實了太原的兵力。
看著這支浩浩蕩蕩的隊伍，李世民喜不自禁，他對長孫順德說：“這些新兵可以讓段志玄和殷開山兩位帶去，在太原城外秘密訓練。一定要給他們最好的待遇和充足的衣物糧食，要讓他們成為我們自己的軍隊。”
長孫順德說：“公子，你就放心吧。你這麼禮賢下士，天下英雄又怎麼會不歸順？這些新兵必定可以訓練成戰場上最勇猛的戰士。”
至此，李淵在太原的勢力越來越龐大，關東的士族子弟也紛紛前來投奔。這些人李淵都讓李世民來接待安頓，一方面他是想要避嫌，畢竟自己身邊還有人在監視著，王威和高君雅等眼線可不是省油的燈，李淵在太原的一舉一動他們都在關注，一旦有什麼跡象就會立刻向長安匯報。而另一方面，李淵也希望通過這些行動來鍛煉經驗尚淺的李世民，讓他在實踐中和不同的人打交道，進一步發揮他的能力，幫助自己在真正舉事的那一天揮舞起大旗來。
和當時並起的幾支義軍相比，李淵在太原的實力確實不如瓦崗、江淮和河北任何一支，但是後來李淵卻將他們一一擊敗，並獲得最終的勝利。除了李淵的軍事才能以及諸多人才的輔助之外，他在太原的厚積薄發起到了一定的作用。正是這段時間的積累，李淵不管在軍事實力、戰將、謀臣等方面都得到了充足的發展，從而在舉事之後勢如破竹，長驅直入，將勝利的果實放進了自己的口袋，為中國歷史帶來了一個繁榮的朝代。