在逆潮暗湧的政治鬥爭逐漸現出端倪的時候，久經沙場的秦王李世民對自己所處的危險環境並未覺察。他只是覺得李淵對自己的寵信似乎越來越少了，更多的時候，太子和齊王陪伴在李淵的身邊，除非有特別事務，李淵才會想起要召見一下李世民。對於這個局面的出現，李建成和李元吉非常滿意，他們感覺到了李淵對李世民的疏遠。
然而，僅僅這些還是不夠的。因為在李淵的心目中，李世民在諸子中是才華最為出眾的一個。所以，當趙弘智等人建議李建成要進一步疏離李淵和李世民的時候，太子便選擇了李淵身邊當時最為寵愛的兩個人作為自己的聯盟對象。
在李淵后宮，大多數嬪妃對於李世民是非常不滿意的，因為太子總是會時不時地帶一些禮物或者戰利品獻給后宮的嬪妃。而李世民卻是一個秉承原則的人，他從來不去拜會那些嬪妃，更不會為她們送去禮物。甚至有一次，當繳獲的夏王宮殿的珠寶被送到長安，嬪妃們一擁而上，想將其據為己有時，李世民硬生生從她們的手中繳回。其中，最為李淵所寵愛的尹德妃與張婕妤對於李世民的反感最甚。
張婕妤出身鐘鼎之家，精通詩文，因此深得李淵歡心。有一次，李世民出征歸來，認為部將李神通作戰驍勇，便將長安城外一片富饒之地賜予他。然而，李神通前腳剛到，那片地便被張婕妤的父親看中了，他暗中通知女兒，希望可以讓皇上下旨，將那塊兒地賜予他，好讓他修建花園。張婕妤一番撒嬌之後，李淵便下旨將那片地賜給了張父。可是張婕妤歡喜了不過半天，便又來找李淵，口稱秦王強奪封地。
李淵召見了李世民，詢問事情的始末。李世民說：“李神通隨軍遠征，為穩固大唐的江山出生入死，那塊地是他應得的。他現在已經在那裡修建了府邸。而張婕妤之父強奪，只是為了一己私慾，難道陛下要為了一個妃子而讓為國流血的勇士居無定所嗎？”
一句話噎得李淵無言以對，只能將他遣退，悄悄對裴寂說：“這個小兒帶兵打仗久了，連我的話都不聽了。他已經不是從前那個乖順的兒子了。”裴寂卻說：“秦王將地給了李神通，撫慰了將士，其實也是好事。”可李淵卻搖搖頭，說：“我的詔令都不如他的命令，我看這都是被他身邊那群儒生給灌輸的！”
在裴寂的安撫下，也因當時與劉武周戰況正緊，李淵並沒有因此過多地責怪李世民，對那塊地也就听之任之了。但是張婕妤卻從此對李世民添了恨意，覺得秦王是跟自己作對。
李淵的另一位寵妃尹德妃，其父是個投機取巧的小人，只因女兒得寵，便在長安城中招搖過市，甚為囂張。有一次杜如晦騎馬經過尹府，尹父覺得他態度倨傲，居然不下馬，便領著一眾惡僕一擁而上，將杜如晦一頓暴打，其中杜如晦一根指頭被打斷了。而尹父打完了才知道，這人是秦王府中最為得寵的幕僚。
尹父雖然囂張，但也懼怕秦王威名，於是便惡人先告狀，讓尹德妃向李淵哭訴，說是秦王府的杜如晦帶人將她父親打了。李淵一聽大怒，又緊急召見了李世民，責問他：“我的寵妃的父親，你也敢隨意動手便打，更何況是普通百姓！我看你就要橫行在長安城了！”李淵任憑李世民怎麼分辯也不聽。有了這個過節兒，尹德妃對於李世民也愈加敵視。
李建成眼看尹德妃和張婕妤都對李世民無好感，偏偏這兩人又是諸妃中最為得寵的，便讓人帶了珠寶珍玩，悄悄拜訪了兩人，對她們說：“今日兩位都是皇上的寵愛之人，我雖然是太子，但是也得二位在皇上面前為我美言，才能保得住這東宮之主的位子啊！”
一番恭維讓尹、張二妃得意非凡，尹德妃說：“太子過謙了，我等不過是服侍皇上的奴才，哪兒敢跟您比！倒是我們需要太子殿下多多提攜才是真的。”
李建成說：“二位深謀遠慮，恐怕早有打算。皇上年事已高，若有一天龍歸碧海，誰又能來庇護你們呢？不說這宮裡的養尊處優，還有你們娘家的富貴，恐怕就都危險了。”
張婕妤忙說：“太子殿下如此仁慈，臣妾等日後都得靠您庇佑。”
李建成笑著說：“這就好比是風火相依，風吹得火勢更加兇猛，火也會讓風力更加灼人。”
三個相視一笑，李建成又對尹德妃說：“他日我做了皇帝，一定會優待大家，至於我的兄弟姐妹，自然也不會虧待。”
尹德妃為李淵所生育的兒子李元亨，在諸皇子中碌碌無為，這才是她最為焦急的地方。李建成的許諾正中她下懷，於是便答應只要太子能保李元亨，自己一定會在李淵面前為建成美言。
在兩位寵妃的不斷遊說下，李淵對李世民的印象越來越差，甚至很久都不召見。李世民也在宇文士及的幫助下，通過宇文士及的妹妹宇文昭儀為自己美言，但收效甚微。李世民雖然惆悵，卻也無奈。
沒過多久，正好是李淵大壽。舉國大赦之後，群臣歡聚一堂，皇子們也都拿出渾身本事要討李淵的歡心。除了進獻各種奇珍異寶，還有滿嘴的甜言蜜語。正當大家其樂融融的時候，李建成忽然看到李世民坐在角落裡暗自垂淚，便故意大聲地問：“今天是父皇的壽辰，二弟何事如此悲傷？”
本來是暗暗抹淚的李世民發現，在太子一聲詢問下，大家都看著自己，不由得萬分尷尬。他忙端起酒杯說：“我看到現在大唐已經獲得天下，有此太平之世，心里高興。卻忽然想起我的母親，她自幼便教導我們。現在有了天下，母親卻早已不在了，不能和我們一起分享這美酒饗宴，因此落淚。”
李世民的話讓大家都開始沉默，蕭瑀等老臣紛紛說：“竇皇后賢德福蔭天下，秦王就不要太難過了！”
原本沉浸在歡樂中的李淵，因李世民忽然提起竇氏而心情變得低落，竇氏對自己的幫助非常大，但現在他做了皇帝卻不能和她分享，也是他的遺憾。李淵做了皇帝之後一直不立皇后，也正是為了緬懷她，所以他並沒有對李世民多加責怪。
可是酒宴結束後一回到后宮，尹德妃與張婕妤兩人便對李淵說：“在今天那樣歡樂的場合之中，秦王忽然垂淚，真是讓人敗興。”
李淵說：“秦王是個孝順的孩子，他思念自己的母親，也是情有可原的。”
張婕妤說：“秦王是孝順沒錯，但是今天是皇上的壽宴，在那樣的場合不僅流淚，還說出懷念已經去世的人的話，這恐怕不只是對他的母親孝順，而是沒把皇上放到心上吧？”
李淵聽了，不由得開始沉吟。
尹、張二妃看李淵態度似乎有轉變，互相使了一個得意的眼色。張婕妤接著說：“現在我大唐一片繁榮，四海昇平，陛下年事已高，正是需要享受歡樂的時候。那秦王動不動就哭哭啼啼懷念母親，恐怕是對我等嬪妃們不滿吧！”
尹德妃也嘆了一口氣說：“是啊，秦王一向就看我們這些人不順眼，總覺得我們服侍陛下不夠盡心。我真是怕哪一天秦王得勢了，我們恐怕就沒有好日子可以過了。”
李淵見二人悲悲戚戚，自憐自怨，便說：“你們放心，秦王是個賢德的人，怎麼會對你們不利呢？”
尹德妃見狀，便繼續說：“要說賢德，我看沒有人比得過東宮太子了。我聽說他時常為陛下的安康祈禱。而且我兒元亨也多次對我說：太子殿下對待兄弟們甚為寬和，有長者之風，在弟兄中威望很高，大家都尊崇他！”
張婕妤也不甘示弱：“朝堂之上，誰不誇太子是難得的英明儲君。大家都說太子殿下對皇上忠誠愛戴，對群臣寬厚仁慈，是大唐的福氣呢！”
一番大肆的讚譽溢美之詞，李淵也開始得意自己有這麼一個好兒子了。對比李世民的不懂事，李建成顯得不管是為人處世還是口碑上，似乎都勝出一籌。
自此之後，李世民雖然主動進宮拜謁，李淵也很少接見他，總是冷言冷語相對。而太子建成卻愈加受到寵信，李淵將更多的軍國大事都交給他處理，希望可以鍛煉他處理政事的能力。