唐肅宗剛在靈武即位的時候，身邊的文武官員不滿三十人，那個臨時建立的朝廷，什麼都亂糟糟的。一些武將，也不大肯聽指揮。肅宗要想平定叛亂，多麼需要有個能人來幫助他啊。
這時候，他想起他當太子的時候的一個好朋友李泌（音ｂi）就派人把李泌從潁陽（在今河南省）接到靈武來。
李泌原是長安人，小時候很聰明，讀了不少書。當時的宰相張九齡看到他寫的詩文，十分器重他，稱讚他是個“神童”。肅宗當太子的時候，李泌已經長大了，他向玄宗上了奏章，對國家大事提了一些意見。唐玄宗看了很欣賞，召見他，想給他一個官職。他推說自己年輕，不願做官。玄宗就要他和太子交個朋友。以後，他經常到東宮去，太子也特別喜歡接近李泌，把他當作老師看待。
後來，李泌看不慣楊國忠掌權，曾經寫詩諷刺楊國忠。為了這個，他被楊國忠排擠出長安。他看到政局混亂，不願受這個氣，索性跑到潁陽隱居起來了。
這一回，唐肅宗來請他，他想到朝廷正遭到困難，就到了靈武。唐肅宗看見李泌，真像得到寶貝一樣高興。那時候的臨時朝廷，不那麼講究禮節。唐肅宗跟李泌就像年輕時候一樣，進進出出，都在一起，大小事情，全都跟他商量。李泌有什麼主意，唐肅宗沒有不聽從他的。
唐肅宗想封他當宰相，李泌可不願意。他說：“陛下待我像知心朋友一樣，這就比當宰相的地位還貴了，何必非要我掛個名不可呢？”
肅宗見不能勉強他，也就算了。李泌在鄉間隱居的時候穿的是布衣，到了靈武，還是那件舊的布褂子。
有一次，李泌陪唐肅宗一起騎著馬巡視軍隊，兵士們在後面，指指點點說：“那個穿黃袍的是皇上，穿白褂子的是山里來的隱士。”
唐肅宗聽到兵士們的議論，覺得這樣太顯眼了，就給李泌一件紫色的官服，硬要他穿上。李泌沒辦法，只好穿上。肅宗笑著說：“你既然穿上了官服，還能沒有個官銜？”說著，從袖裡拿出一份詔書，任命李泌為元帥府行軍長史（相當軍師）。
李泌還不肯答應，唐肅宗說：“現在國家困難，只好暫時委屈你一下，等平定叛亂之後，還是聽你自由。”
那時候，郭子儀也已經到了靈武。朝廷要指揮全國的戰事，軍務十分繁忙。四面八方送來的文書，從早到晚沒有間歇的時刻。唐肅宗命令把收到的文書，一律先送給李泌拆看，有特別緊要的，才送給肅宗。宮門的鑰匙，由太子李俶（音ｃｈu）和李泌兩人掌管。李泌忙得連飯也顧不上吃，覺也沒能好好睡。
唐肅宗一心想回長安，問李泌說：“敵人這樣強大，我們怎麼辦？”
李泌說：“安祿山發動叛亂，真心幫他出力的是少數，其餘都是被迫參加的。照我的估計，不出兩年，就可以把他們消滅。”接著，他又給肅宗定了一個軍事計劃，暫緩收復長安，派郭子儀、李光弼分兩路進軍河北，攻打叛軍老巢范陽，叫叛軍進退兩難，再發動各路官軍圍攻，把叛軍消滅。
第二年春天，叛軍發生內訌，安祿山的兒子安慶緒殺了安祿山，自己稱帝。要消滅叛軍，這本來是個好機會。但是肅宗急於回長安，不聽李泌的計劃，把郭子儀的人馬從河東調回，強攻長安，結果打了一個敗仗。後來，郭子儀借了回紇（我國古代北方民族之一，紇音ｈe）的精兵，集中了十五萬人馬，才把長安攻了下來。接著，又收復了洛陽，叛亂頭目安慶緒逃到河北，史思明也被迫投降。
唐軍收復了長安和洛陽，唐肅宗覺得心滿意足，用駿馬把李泌接到長安。
唐肅宗的寵妃張良娣和宦官李輔國，嫌李泌權大，早就互相勾結，想把李泌除掉。
太子李俶發現張良娣他們想害李泌，就告訴了李泌。李泌說：“不打緊。我和皇上有約在先，等收復京城，我就歸山，就沒有事了。”
這回，李泌見唐軍收復兩京，算是了卻一個心願，決心離開朝廷。
有一天晚上，唐肅宗請李泌喝酒，並且留他一起睡。李泌趁機會就對肅宗說：“我已經報答了陛下，請讓我回家再做個閒人吧！”
唐肅宗說：“哎，我和先生共了幾年患難，現在正想跟您一起享受安樂，怎麼您倒要走了呢？”
李泌懇切地說：“我和陛下結交太早；陛下太重用我，信任我。就是因為這些緣故，我不能不走。”
唐肅宗說：“今天先睡吧，隔天再說。”
李泌說：“今天我跟陛下坐在一個榻上談話，你不答應我。將來到了公堂上面，就沒有我說話的餘地了。如果你不讓走，那就等於殺我了。”
唐肅宗雖然不願讓李泌離開，但是經不住李泌一再請求，只好同意。
李泌到了衡山（在今湖南省），在山上造個屋子，重新過他的隱居生活。
李泌走了以後，唐肅宗身邊少了一個正直的大臣，李輔國等一批宦官的權力就大起來了。