在李淵起兵之後，因為經歷了長期而充分的準備工作，行軍迅速。一方面隋朝的軍力在與各地義軍的作戰中損耗巨大，另一方面義軍之間互相兼併，存強去弱，所以他需要面對的敵人雖然數量上較之前少了很多，但每一個都是巨頭。隨著戰爭的不斷推進，李淵和李世民越來越認識到人才的重要性，也深深為自己手中的人才不足而開始擔憂。他們在前來投奔的士族和被收編的義軍中廣泛選拔人才，為他們所用，這其中就包括曾經在隋朝做過滏陽尉的杜如晦。
杜如晦的家族在北周和隋初都身居高位，但後來因為政治傾軋等原因，等到他長大後只能做一個候補的官員，等待了多年才得了一個小官。李淵舉兵之後，杜如晦眼看朝中混亂，皇帝昏聵，便決意投奔李淵。他以其聰明和膽識很快便獲得了李世民的賞識，成為智囊集團中的核心人物。
李世民的隊伍從太原一路出發，平定了汾陽等地的義軍，又一路向北。雖然行軍順利，但李世民還是時時眉頭緊鎖。杜如晦見狀，便問：“現在我們的隊伍勢如破竹，將軍為何每天還愁眉不展呢？屬下願意為將軍分憂。”
李世民搖搖頭，笑著說：“我愁眉不展不是為了行軍，我們所過之處皆能迅速收復平定，這是好事。但我擔心這是因為起兵之初士氣強勁，這種氣勢延續不了多久。”
杜如晦說：“將軍深謀遠慮，屬下佩服。”
李世民接著說：“現在隊伍越來越龐大，而我們的將官謀臣卻不見增多。接下來還有幾個大的對手，我們都要一一對付，所以我才深感憂慮。”
杜如晦見他這麼說，便說：“我知道將軍求賢若渴，過兩天，我們就要行軍到隰縣了，在那裡，我有一個老朋友，希望可以為您引薦。”
李世民一聽，來了興趣，便問：“是個什麼樣的人呢？”
杜如晦說：“我這位朋友，十八歲的時候便中了進士，但是他說，如今皇上不思建立功德，只知道誑惑百姓。內政混亂又互相傾軋，雖然看上去國家太平，但是滅亡之日已翹首可待。所以，雖然獲封羽騎尉，但他以父親常年臥病在床為由，只是請命到隰縣做了一個隰城尉，每天侍奉湯藥，求得半生平安。如今，將軍義旗招展，禮賢下士，他一定願意來軍中為您效力。”
李世民聽了杜如晦的介紹，非常高興，便讓杜如晦帶了自己，策馬趕去隰縣見一見這位奇人。
在隰縣，人人都知道這位奇怪的房縣令，他無意於官場，只是一心侍奉著自己久病在床的父親。這一天，他還是像往常一樣，守在火爐旁親自給父親煎藥，卻聽到了一個熟悉的聲音說：“房兄，久違了！”他急忙回頭一看，原來是老友杜如晦，身後還跟著一位英姿勃發的小將軍。
房玄齡忙將二人請到大廳，杜如晦對身邊的小將軍說：“這位便是我對您說的老友，姓房名喬，字玄齡。”又對房玄齡說：“這便是我家主公，太原留守李淵的二公子李世民。”
房玄齡一聽，忙抱拳施禮道：“久聞李家二公子是一個難得的將才，年少有為，聞名疆場，如今一見，果然不同凡響！”李世民也忙還禮，兩個人互相打量，均生出相見恨晚之感。
李世民說：“如今天下大亂，先生在這小小的隰縣，難道不覺得委屈了自己滿腹才華嗎？不如從戎到我軍中，共舉大事。”
房玄齡慢慢地說：“我已過了不惑之年，虛度了四十寒暑，沒有任何作為。看起來，這輩子也不會有任何功業了，將軍怎麼會到這裡來找我呢？”
李世民說：“池中的蛟龍能夠騰雲駕霧，需要有云雨相助；被埋沒的英雄豪傑，要建立震古爍今的功業，也需要抓住機遇。此前主上昏聵，讓像您這樣有才華的人都埋沒了。但現在不同了，我和我父親立志要推翻暴政，給天下百姓一個太平世界，所以正需要您這樣的人才，我也相信您是不甘於只在這小小隰縣度過餘生的人。”
房玄齡依舊慢悠悠地說：“我來到這隰縣，就是因為想遠離官場的是非，盡心服侍自己的老父親，現在他還臥病在床，您又怎麼能勸我再投身到官場中去呢？”
李世民說：“房先生錯了，我不是勸您到官場，而是勸您到我軍中，為天下百姓謀福啊！先生胸中懷有上天賜予的無限才華，難道就忍心浪費了它嗎？”
這時，一直站在邊上不言語的杜如晦說：“房兄，你這麼多年在隰縣，我知道你是不甘心的。只因隋帝是個昏君，不能讓你一展抱負。現在，二公子禮賢下士，主動來邀請你，想要和你一起建立功業，這是難得的機會啊！你可要慎重考慮啊！”
房玄齡拿起扇子，又走到屋簷下那個藥罐子旁邊，一邊扇火一邊說：“我早已過了熱血報國的年齡了，現在你看我鬍子都這麼長了，所以只求能安心侍奉老父親，別的，我都不求了。”
杜如晦看他這麼固執，不由得搖搖頭。李世民卻一直面帶微笑，說：“先生純孝，侍奉令尊盡心，令人欽佩。這麼說來，我也不好強求了。不過先生以後要是有什麼需要，一定要告訴我，只要我李世民可以做到的，定全力以赴。”
房玄齡對李世民笑了笑，說：“如此，就多謝李將軍了！”
李世民拉著杜如晦道別，出了房家。杜如晦慚愧地說：“這個老頭兒，到現在還是這麼固執啊！實在拿他沒有辦法！”
李世民說：“沒關係，我看得出來房先生有滿腹經綸，只不過他更是一個以孝為先的人。一個這樣的人，將來必然是忠良。只不過我們現在不能強求他。日後有機會，一定可以請他到軍中來共事。”
房玄齡目送李、杜二人走遠，不由得感慨萬千，嘆服李世民雖然年輕，但是卻可以從舉止談吐中看出是個有雄才偉略的人，將來必成大事。想到自己生逢亂世，在這小小的地方度過了四十多年，到今天才得遇這樣的人才。正在出神，忽然聽到廂房裡父親的咳嗽聲，他忙收心，過去端了藥碗送進房去。
第二天，房玄齡剛剛打開院門，就看到門口立著一匹駿馬，牽著馬的赫然便是昨天剛剛來過的李世民。大清早看到李世民站在自己的門口，他還以為自己在做夢。李世民卻對他笑笑說：“昨天拜訪了先生之後，回去夜不能寐。雖然現在先生不能到我軍中，不過我還是有好多問題想向先生討教，所以今天又冒昧來訪了。”
房玄齡連忙請李世民進來，李世民進屋後，先向房玄齡的父親請安，問候他的身體，然後來到廳房，對房玄齡說：“現在我們的大軍面臨著很多問題，不僅要確立發展的方向，而且強敵環伺，要選擇先戰誰後戰誰。這些問題，希望先生不吝賜教。”說著，看到房玄齡手中拿著藥罐，便問：“您這是要去熬藥嗎？讓我來幫您吧！”不由分說，他便拿著藥罐放到火上，利索地將藥材倒進去，一邊拿著扇子扇火，一邊攪動著藥罐裡的藥材說：“我在家時，母親也時常身體不適，都是由我來為她煎藥的。”
房玄齡看著李世民為自己的父親煎藥，心裡不由得大受感動。他說：“將軍是千金之軀，又有軍機要事，怎麼能浪費時間在這裡幫我煎藥呢？”
李世民笑著說：“我聽說，你這個隰城尉不僅每天是親奉湯藥，而且三餐都是親歷親為，昨天回去報告給我的父親，他也大加讚賞。今天，就讓我來替你做這些吧，就當是先生為我獻策的報答！”
正說著，一股濃煙從火爐裡竄了出來，熏到李世民的面頰，頓時讓他又是咳嗽又是流淚。房玄齡看了，更加過意不去，忙奪過扇子說：“我來我來，將軍快歇息一下。”李世民固執地說：“不行，今天我一定要為先生做一些事。”
接連三四天，李世民每天早上便來到房玄齡家，不僅帶來了上好的藥材，更親自為房父煎藥侍奉，如同對待自己的父親一樣。直到傍晚，才急忙趕回軍中處理軍務。房玄齡看到他每天來回奔波，甚為疲憊，心裡覺得非常慚愧，又非常感動。看來自己沒有看錯人，李世民是真心誠意請他去效力的。
想清楚之後，房玄齡對李世民說：“將軍的一番苦心，房玄齡非常明白。只是現在家父病情還不是很穩，等到他身體好轉後，我一定趕到軍營去投奔將軍！”
李世民拉著他的手，誠懇地說：“我本來是想藉這個機會，多向先生討教一些問題。但是現在軍隊馬上就要出發，所以我也沒有時間了。您就盡心侍奉吧！只要有時間，我就會回來看您！”
李世民每日里躬親侍奉並沒有白費，感動了房玄齡。在唐軍行到渭北時，房玄齡的父親去世，他料理完後事就連夜策馬趕到了軍營求見李世民，從此追隨在他身邊，成為李世民最得力的幕僚。
房玄齡來到李世民的軍中，為他提供了有力的支持。每次平定一地，別人都爭求珠寶，但房玄齡卻首先收羅人才，為李世民建立了智囊集團。在決定李世民生死時刻的玄武門之變中，他參與策劃、實施，將李世民送上帝位。後來隨侍在身邊，制定典章制度，綜理朝政，李世民稱讚他“籌謀帷幄，定社稷之功”。房玄齡長於謀劃，而杜如晦長於決斷，二人一起成為良相典範，被世人稱為“房謀杜斷”。