在為起兵做準備的階段中，李淵交代李世民“密結英豪”，要求他不斷結交英雄豪傑，為舉事做準備工作。為了能夠盡快建立一支幫助他殺伐決斷的隊伍，李世民搜索著每一個可能的角落，甚至連獄中都不會放過。因為他知道，亂世中被投入獄中的，也許並不是違法的罪犯，而僅僅是當權者的反對派。既然是與自己的敵人為敵，那麼就可以成為自己的朋友。劉文靜正是這樣一個被李世民從獄中解救出來的人才，他被發現、解救，後來成為李淵智囊團中最重要的組成者之一，為李淵起兵提供了非常重要的謀劃。
李淵被任命為太原留守來到了山西，這裡的義軍力量並不強，所以暫時獲得了一個喘息的機會。李淵乘這個機會認真地思考著自己的未來，雖然被李世民、裴寂等人頻繁遊說，但他還是對於舉事有著一定的顧慮。他讓追隨自己來到太原的二兒子李世民統計了太原的軍庫、兵力、土地、賦稅等全面情況，還是覺得儲備不足，因此一直猶豫不決。
在李世民通查太原民情的時候，不可避免要查看牢獄中的情況。在這裡，他忽然發現之前的晉陽令居然也在獄中。按說晉陽令是一方之主，怎麼會被投進獄中呢？翻開卷宗一看，原來是李密起兵之時，隋帝楊廣曾經命令他去截殺，但是以晉陽的兵力並不是李密的對手。因此被皇上遷怒，投到了大獄中。
看到這些，李世民有點好奇，便對侯君集說：“瓦崗軍勢力強大，以晉陽令的兵力去阻止他們，無異於以卵擊石。但是皇上卻還要怪罪他，這件事看上去很奇怪啊！”
侯君集說：“看來，皇上本就是有意懲處他。至於罪責，只不過是亂加的吧？”
李世民想了想，問左右隨侍的獄官：“晉陽令是一個什麼樣的人？”
獄官答道：“大人平時待屬下都很寬和，而且與民為善，被城中人誇讚。”
李世民問：“既然是這樣的一個好官，為什麼還會被投進大獄呢？”
獄官回答說：“這件事，實在是怪不得大人的。只因那李密起兵造反，而大人卻和李密是兒女親家，因此皇上就怪罪下來了，讓大人領兵出擊，結果敗軍而回。皇上說大人不盡心，所以將他投到獄中。”
李世民點點頭，說：“原來是這麼回事，這麼看來，也算是冤枉了。我想去看看他。”
說著，讓獄官前面帶路，一行人來到了晉陽令的牢門前。李世民推門進去，只見簡陋的獄室內只鋪著一些茅草，有一個清瘦的中年人，正藉著一點微弱的光看書。
看到李世民進來，那個中年人抬起頭來，微微頷首，抱拳施禮：“罪人劉文靜見過將軍。”
李世民上下打量著他，發現他雖然身處獄室之中，卻依舊不卑不亢，一種高傲的態度讓他的眼神頗為平靜堅定。李世民問：“劉大人，你在這獄中覺得冤不冤？”
劉文靜淡然一笑，說：“亂世之中，不冤也是冤。待到清平世界，冤也是不冤。”
李世民疑惑地說：“你這是什麼意思？”
劉文靜說：“皇上責怪我辦事不力，這種事何從判斷冤不冤呢？作為臣子，我所能做的，只是聽從皇命，為皇上效力而已。”
李世民說：“如果皇上並不是為了百姓，你還會為他效力嗎？”
牢房里頓時安靜了下來，劉文靜意味深長地看著眼前這個年輕的將領，李世民也看著他，兩個人默不作聲。過了半晌，兩人忽然同時爆發出豪爽的笑聲。劉文靜說：“看來我所期待的日子已經快要到了。”
李世民問：“你在期待什麼？”
劉文靜說：“亂世之中，群雄並起，必然會有一位堯舜一樣的人振臂一呼，讓天下平定。我所期待的，正是這樣的一個人。”
李世民點點頭，說：“劉大人今天就早點休息吧。”說著帶著侯君集等人出了牢房，一路直奔李淵的留守府，他想把今天發現的這個人趕快告訴父親。
來到李淵的書房，李淵正在和裴寂下棋。李世民顧不上打擾，便詳細說了今天遇見劉文靜的全部過程。不等李淵開口，邊上的裴寂便說：“這個劉文靜，我也是知道的。”
李世民一聽，忙請他細說一下。裴寂抿了一口茶，說：“此人智慧過人，本來在京城為官。但是看不慣官場混濁，皇帝無道，便辭官來到了晉陽，希望可以避得一時的清淨。誰知道，李密隨楊玄感起兵反隋，皇上因為他和李密是親家一事，而對他心生疑慮，藉口出兵不力，把他投進了大牢。所幸，他為官清廉，頗得民心，在牢裡有人多加照顧，所以還算沒有受什麼罪。只是要等到什麼時候才能出來，就不知道了。”
李淵說：“這麼看來，他是被時局所誤啊！你以後要多去看望他，不要讓他在牢裡受委屈。”
李世民領命而去，以後，他不時就會去牢里和劉文靜一起飲酒，議論時政。每回帶去的美酒都在兩個人的高談闊論間，不知不覺就喝完了。劉文靜說：“我們兩個人一起喝酒，可能要喝上兩壇才夠！”
李世民說：“若能一朝遂我願，與先生對飲十壇酒都不多！”
劉文靜看著眼前這個朝氣蓬勃的年輕人，忍不住對他說：“公子絕非池中之物，我看得出來您是一個有鴻鵠之志的人。現在天下如此混亂，公子就沒有其他打算嗎？”
李世民機警地說：“現在雖然是亂了一些，但是只要我們一起努力輔佐，將來一定會太平安定的。”
劉文靜笑了笑，說：“天下是否太平安定，不在於你我的輔佐，而在於天子是否聖明。難道公子還覺得當今的天子足以聖明到讓天下重回盛世嗎？”
李世民聽了這話，放下酒杯，嘆口氣說：“但是我李家身受皇恩，我父親又忠君，怎麼能有別的想法呢。”
劉文靜說：“縱觀歷史，如果君王無道，臣子都可以取而代之。遠的不說，就拿最近的這位皇帝來說，他怎麼坐上皇位的，難道公子不知道嗎？弒父殺兄的罪名之下，他又怎麼能給我們一個太平世界呢！”
李世民點點頭，默不作聲。劉文靜接著說：“再朝前，他的父親隋文帝又是怎麼奪得天下的？還不是叛殺了北周，所取代之人正是您母親的舅舅啊！這一朝一代的更替，本來就沒有什麼規律可循。唯有德者，可以就其位。現在天子無道，正是需要一位有道的明君。如今天下英雄都紛紛舉事，要我看，能給百姓帶來福祉的，卻只有一個人。”
李世民問：“先生覺得，他們誰會奪得天下？”
劉文靜說：“遠在天邊，近在眼前，能得天下的，必然是你李氏。”
李世民大吃一驚，急忙制止他：“先生萬萬不可亂說。”
劉文靜說：“我不是憑空亂說，而是有根據的。你看如今的各路義軍，或者是草莽出身，或者是世家貴族，但哪一個能有如今太原的潛力大呢？不管是軍事實力還是地理位置，太原所佔據的條件都非常獨特。如果你父親願意舉事，只要義旗一展，肯定會有大批的人前來投奔。而洛陽、長安又近在眼前，只要部署得當，就能佔盡先機。”
對於劉文靜的一番分析，李世民的心裡其實已經想過很多次了，但是卻一直不敢說出來。只因李淵交代他一定要小心謹慎，不可隨便對他人言。但是眼前這位劉文靜，雖然身在獄中，對外面的態勢卻瞭如指掌，看來他早就有志於此，終於遇到了一個讓自己暢所欲言的對象，李世民不由得非常激動。他將自己的所願和盤托出，但是卻苦於父親並不支持，讓他非常煩悶。
劉文靜說：“這是驚天動地的大事，留守大人謹慎是必然的。現在雖然還不能立刻開展做大事，但公子還是可以做很多事的。廣招兵，深屯糧，這些都是事前的準備工作。有了充足的準備，我們才能一舉成功啊！”
劉文靜對於李世民的建議正中他所想，兩個人越談越投機。
雖然劉文靜身在獄中，而李世民暫時還不能營救他出去，但這一點並不妨礙他們之間的交流。根據劉文靜的建議，李世民不斷充實著自己的軍事實力。在李淵舉事的整個過程中，劉文靜都在關鍵的時刻提出了正確的建議。他成為繼裴寂之後，李氏父子又一位得力的助手。
在和李世民於獄中結識之後，劉文靜參與了李淵起兵的全過程，其間他還出使突厥，對唐的邊境安定作出了貢獻。唐建立之後，他不僅參與了律令的起草修改，還在平定薛舉的戰鬥中表現卓越。李世民不拘一格與他結交，並未因他身處牢獄而錯過這位英才，可以說為大唐從獄中挖出了寶貝。唐高祖李淵鑑於他的功勞，曾經給他和李世民、裴寂三人特別賜予免死的令牌，劉文靜之功勳卓著，可見一斑。