武德二年的冬天，李世勣終於深刻體驗了一種身在曹營心在漢的人生困境。
儘管李世勣一心想著再度歸唐，可父親在竇建德的手裡攥著，讓他投鼠忌器、一籌莫展。他的心腹郭孝恪建議說：“我們剛剛歸附竇建德，一舉一動都受到猜疑，最好是先建立一些戰功，得到他的信任後再採取行動。”
李世勣想想也只能如此，隨後主動出兵，攻克了王世充所屬的獲嘉（今河南獲嘉縣），俘獲大量的人員物資，呈獻給竇建德，從此獲取了竇建德的信任。
不久後，李世勣向竇建德獻上了一條經略中原之策。他說：“曹州（今山東定陶縣）和戴州（今山東成武縣）人口眾多，被孟海公佔據，他表面上歸附東都，實際上與王世充貌合神離，如果我們出動大軍，隨時可以將其攻占；一旦平定孟海公，繼而進逼徐州和兗州，河南之地便可不戰而平。”竇建德深以為然，遂命曹王后的兄長曹旦率領先遣部隊五萬人南渡黃河，與李世勣會師。
正當他本人準備親率大軍南下中原時，他妻子曹王后剛好生產，竇建德只好暫時擱置了南下的打算。
李世勣頓時大失所望。他本來的計劃是：一旦竇建德抵達河南，就發兵襲擊他的大營，然後救出父親，投奔長安。可現在計劃卻落空了。
自古忠孝難兩全啊！李世勣痛苦地想，看來歸唐是遙遙無期了。
就在李世勣徬徨無計的時候，一場突然在他身邊爆發的兵變卻迫使他不得不拋下父親，頭也不回地奔向了長安。
這場兵變是由一個叫李文相，外號李商胡的人發動的。李商胡是據守孟津（今河南孟津縣）的一個變民首領，擁有部眾五千餘人，表面上投靠竇建德，實則心懷異志。李商胡的母親霍氏也是一個江湖人物，精於騎射，自稱霍總管，和她的兒子皆有叛夏之心。母子倆與李世勣不謀而合，很快結成了同盟，李商胡甚至還和李世勣拜了把子。雙方原本約定在竇建德南下時一起動手，可如今計劃落空，霍氏大為不甘；加之曹旦的軍隊進駐河南後，在他們的地盤上肆意侵奪騷擾，令霍氏極為憤恨，於是催促李商胡提前發動兵變，誅殺曹旦和他的手下。
武德三年正月的一個晚上，李商胡設宴招待曹旦帳下的二十三名軍官，把他們灌醉之後全部砍殺，隨後又設計殺死了三百名曹旦的士兵。動手之後，李商胡才派人通知了李世勣。李世勣當時的大營跟曹旦相連，郭孝恪力勸他跟著襲擊曹旦。可與此同時，曹旦也獲知了兵變的消息，於是命令士兵高度戒備。李世勣知道先發製人的機會已經喪失，而且自己兵力薄弱，根本不是曹旦的對手，所以不得不和郭孝恪一起連夜逃離軍營，策馬向關中狂奔而去。
那一刻，李世勣料定自己的父親必定會死在竇建德的手上。
然而結果卻完全出乎他的意料。
竇建德雖然不久之後便親自率兵消滅了李商胡，但卻始終沒有殺李世勣的父親。當夏朝的文武百官紛紛請求誅殺李蓋時，竇建德說：“李世勣身為唐臣，為我所虜，不忘本朝，乃忠臣也，其父何罪？”
竇建德在此作出了一個讓人意外，卻又是最明智的選擇。誅殺李蓋固然可以發洩自己的憤怒，但絲毫改變不了李世勣复叛投唐的事實。
既然改變不了，何苦給自己加上一個濫殺無辜的惡名？失去李世勣已經是一種損失，何苦為了洩憤讓自己導致更大的損失？
竇建德強忍心頭的怒火，以一種常人少有的高姿態當眾宣布赦免了李蓋。在這一刻，仁者的非凡胸襟、智者的深謀遠慮以及王者的雍容氣度同時在他身上熠熠閃光。
這就叫人格魅力！
在這樣一個領袖的統治之下，無怪乎當時的河北呈現出了一派安居樂業的太平光景。史稱竇建德積極“勸課農桑”，發展生產，打造了一個繁榮安定的社會局面，致使“境內無盜，商旅野宿”。 （卷一八八）
從一個開國帝王所應具備的綜合素質來看，無論是執政能力、軍事能力還是個人品質，竇建德基本上都算是達標的。
但是最終他還是失敗了。
導致他失敗的主觀因素肯定是有的，但是最主要的其實還是客觀因素——他的對手李世民太強大了。
假如隋朝末年群雄逐鹿的舞台上沒有李世民，那麼最終君臨天下的人很可能就不是李淵，而是竇建德。
退一步說，即便竇建德最終不足以戰胜李淵入主長安，但是與四方群雄成鼎足而立之勢則肯定是綽綽有餘的。
武德三年的春天，河東的戰局仍然處於膠著狀態，唐軍絲毫沒有取勝的跡象。
唯一讓李淵感到欣慰的是，正月十四日，長期在蒲坂負隅頑抗的隋將王行本終於在內無糧草、外無援兵的情況下開門出降。正月十七，李淵親赴蒲州（蒲坂）受降。
就是這一次親赴前線，險些讓李淵丟了性命，因為有人精心策劃了一次謀殺，準備取代他的天子之位。
這個人是李淵的心腹重臣，也是他的表弟——時任工部尚書的獨孤懷恩。
獨孤懷恩為何會有這麼大的野心？
說來話長。獨孤懷恩是三朝外戚，他的三個姑媽分別是北周明帝宇文毓的皇后、隋文帝楊堅的皇后和唐高祖李淵的母親，所以楊廣和李淵都是獨孤懷恩的表兄。李淵曾經跟他開玩笑說：“你姑媽的兒子都當了皇帝，下次可能會輪到我舅舅的兒子！”
說者無心，聽者有意。李淵的一句玩笑話既深深刺傷了獨孤懷恩的自尊心，也煽起了他篡位稱帝、君臨天下的野心。獨孤懷恩時常為此扼腕長嘆：“難道我們獨孤家只有女兒的命尊貴？”
當時王行本據守蒲坂，獨孤懷恩多次奉命進攻，不但久攻不克，而且損兵折將，李淵屢屢下詔責備，獨孤懷恩大為怨恨，於是開始和他的部屬元君寶密謀叛變。可是兵變尚未發動，獨孤懷恩就和永安王李孝基、內史侍郎唐儉等人一起被派到了河東戰場，隨後又在夏縣遭遇慘敗，被尉遲敬德俘虜。口無遮攔的元君寶私下里經常憤憤不平地對唐儉說：“獨孤尚書近來正在謀劃一件大事，如果及早發動，豈有今天的奇恥大辱！”唐儉大吃一驚，他萬萬沒有料到位高權重的外戚獨孤懷恩居然有了謀反之心。
後來李世民在美良川伏擊尉遲敬德，獨孤懷恩趁亂逃回長安。一直對他深信不疑的李淵又交給了他一支軍隊，命他繼續攻擊蒲坂。就是在這個時候，元君寶再次對唐儉說：“獨孤尚書能逃出大難，再回蒲坂，真是命中註定要當帝王的人，可謂王者不死啊！”
唐儉聞言，意識到毫無防備的李淵隨時可能遭到獨孤懷恩的毒手，頓時心急如焚。不久，唐儉又聽到了王行本投降，李淵將親自前往蒲州受降的消息，他大為驚恐，料定獨孤懷恩肯定會趁此機會發動兵變，謀殺李淵。可其時唐儉仍然被困在戰俘營中，根本沒辦法把消息送出去。唐儉情急之下想到了一個辦法。他向尉遲敬德建議，請他釋放行軍總管劉世讓，讓劉世讓回朝勸說李淵放棄河東，與劉武周言和。尉遲敬德覺得這個建議不錯，隨即釋放了劉世讓。唐儉就把獨孤懷恩企圖謀反之事告訴了他，讓他火速面奏李淵。
與此同時，李淵已經離開長安，來到了黃河岸邊，準備渡河；而獨孤懷恩也已入據蒲坂，在城中布下了一個天羅地網，專等著李淵到來。
接下來發生的這一幕可謂驚心動魄。就在李淵剛剛登上渡船，準備前往獨孤懷恩大營的時候，劉世讓一路策馬狂奔，終於在這千鈞一發的時刻趕到了渡口。
聽完劉世讓氣喘吁籲的奏報後，李淵驚出了一身冷汗。他感慨萬千地說：“我能逃過這一劫，實在是天意啊！”李淵隨後派遣使者入城，命獨孤懷恩過河覲見。獨孤懷恩不知道計劃已經洩露，單獨乘坐一艘小船來到了李淵的大營。剛剛進入營門，連李淵的面都沒見著，獨孤懷恩就被禁軍逮捕了。
這一年二月二十日，李淵將獨孤懷恩及其一干黨羽全部誅殺。
武德三年初夏，河東戰場的形勢開始出現轉機。
劉武周在二月上旬接連攻下長子（今山西長子縣）和壺關（今山西壺關縣）後，其攻勢就成了強弩之末，在隨後圍攻潞州（今山西長治市）和浩州（今山西汾陽市）時一再受挫，多次被唐軍擊敗。
四月中旬，宋金剛軍中的糧草也全部告罄，不得不向北退卻。
一切都在李世民的意料之中。
唐軍發動總攻的時機終於到了。