到了六月底邊，三川水退。杜甫裝成一個窮苦百姓，穿著一身破爛衣服，往靈武趕去。路上受了許多辛苦艱難，眼看快到相隔靈武還有二百餘里的蘆子關，杜甫竟被安祿山的手下賊將擄去，將他上了刑具，押送洛陽。
安祿山對待俘虜非常殘酷，如肯降做偽官的還不怎樣，否則便受盡凌辱毒打。杜甫早已拿定主意，不肯降賊，後來實在禁受不住，覺得這樣徒死無益，除拿定主意不做偽官而外，也不像初被俘時那樣倔強，任性罵賊。這一來總算把命保住，可是要想脫身還是困難。每日苦盼官軍能夠奪還兩京，掃蕩敵寇。遇到機會便離開賊營，出來看望幾家相識朋友，並察看亂離時期官民身受之苦。這期間寫了不少詩。到了第二年的三月下旬，正想長期淪陷賊中，欲逃不得，心情苦痛，萬不料以前被官軍抓走的老長工項明竟會被賊擄去，並在賊中當了一名頭目。相見驚喜，互說各人經過。
杜甫見項明對他還是像先前那樣忠誠，便約他夜來密談，暗中告以心事，託他幫助自己脫身逃走。
項明說：“這個容易，看管主人的這一小隊賊兵為首頭目本來是我部下，交情甚厚。我只要把他說動，必能辦到。”
杜甫謝了。
第三日夜裡，項明來說：“事已辦妥。此去途中有好些地方都被賊兵佔領，沒有敵寇所發腰牌路引決過不去，還有危險。”那看守杜甫的小頭目名叫曾乙，業已說妥，他也有事要往靈武那一帶看望他的兄弟，非但答應幫助杜甫逃走，並且答應同項明保護杜甫上路，以免中途發生阻攔。跟著便把曾乙引來相見。
杜甫見那人是個壯漢，人雖粗野，卻不像別的賊黨那麼橫惡，和他談了一陣，彼此也頗投機。項明忽說有事，要往杜曲看個朋友，說罷辭去。曾乙跟在後面也托故起身，一同走出。
次日一早，項明背了一個鋪蓋卷，曾乙拿著全副雨具，還有半口袋乾糧趕來。項明說：“此去靈武還有不少的路，還要走幾天，中途要經過好些山野。現在是下雨的時候，非但鋪蓋行李不能缺少！雨具、乾糧也要準備好了才能上路。因此昨天趕回杜曲家中，越窗而入，見床上有現成的被褥，旁邊還有一包行李，內裡裹著雨具和半袋乾糧，正好曾乙尋去，便同取來。”說罷，三人隨便吃了點東西，便即起身。由金光門溜出，往鳳翔趕去。
杜甫一路察看形勢，並令曾乙向賊軍打聽軍情，得知好些虛實。這日行經青坂，忽聽曾乙說：“唐軍人馬甚多，和賊軍在陳陶對陣，唐軍大敗，統兵大將乃是新任宰相房琯。”杜甫自和房琯分手之後就未得著他的音訊。這次雖因唐軍打了個大敗仗，心中憤急，但想到房琯居然做了宰相，並且握有兵權，從此前途大有可為，也頗高興。再往前走便被賊兵攔住盤查，幾乎又被捉去，多虧曾乙隨行，帶有賊軍腰牌，才得無事。似這樣，連經好些險阻，才得趕到鳳翔。
這時，房琯因為打敗，業已關在牢內。杜甫一到行在便去請見。這時凡是由賊軍中逃出的朝臣肅宗都給官做，相待甚優。杜甫到後，又把賊中形勢當面奏報。肅宗頗喜，便授他為左拾遺，另外還給了一，些犒賞。杜甫去看房琯，沒有見到。聽說朝廷因他損兵折將大為憤怒，恐怕底下還要降罪。杜甫關心良友，先頗憂慮，後來想起後任宰相張鎬深受朝廷信任，又是太上皇特地派來的有名人物，何不先去找他試上一試？第二日整齊衣冠，前往相府求見。張鎬和杜甫談得雖頗投機，但知房琯這次出兵以前曾經誇口，不料連遭慘敗，被賊軍殺了個片甲不回。朝廷十分憤怒，非要嚴辦不可。自己代他求情，業已受了申斥，再說無效，便勸杜甫慎重，並說：“你人微言輕，最好少管閒事。我遇見機會，為他出一點力，免受重刑也就是了。”
杜甫知他這是實話，只得再三稱謝，拜辭出去。回到住處，偏是朋友情長，怎麼也放他不下。一時激動，寫了一篇保奏房琯的表文。大意是：“房琯文武全才，眾望所歸。這回兵敗，不能全都怪他。國家用人應當舍短取長，尤其陛下今當中興用人之際，更不應為此小罪輕意罷免大臣。”
肅宗見表大怒，下詔三司推問。杜甫本來還有危險，總算張鎬極力代他求情，並告肅宗說：“杜甫雖然說話激烈，實是一片好心。倘若因此致罪，以後沒入敢說話了。”肅宗這才消怒，收回前命。
杜甫得訊後往見肅宗拜謝，見面時又代房琯說話，說：“房琯這次得罪，主要是寵信門客董庭蘭，這是一個貧病無知的老琴工。雖然依仗和房琯相識，在外招搖，收入賄賂，房琯並不知道，實與房琯無關。望祈陛下推詳明鑑，赦其無罪，仍命在朝為官，將功折罪。國家之幸。”
肅宗聽了越發有氣。對於杜甫便厭煩起來。又聽人說，杜甫家在鹿阝州，因為太窮，最小的兒子竟至餓死，乃藉著這個緣故特許杜甫回到哪州家中看望，給了他一些假期。杜甫謝恩之後便即起身。
鳳翔離哪州本近，不過兩天便自趕到。相隔羌村還有三里來路，眼看離家不遠，忽見一個壯漢趕著一輛裝滿污泥糞土的牛車迎面趕來。近前一看，正是項明。問他怎會來此？項明說是想念主母和宗文、宗武兩個小棺值。先聽說在奉先，特地由鳳翔趕去。到後一問，才知楊氏母子三人前月業已移居羌村。項明問清路徑，立即趕往。因秋收之後田裡需要上肥，所以一大早到窪地裡掏些污泥運回，準備給地裡上肥，以便耕種。二人且說且行，順著土溝正往前走，走了不多一會，又遇到劉壯對面走來。見面便對枕甫說：“昨夜主母難產，經鄰婦相助，生了雙胞胎，孿生下一子一女。不料主人回來，正是雙喜臨門。”跟著又說：“前日來了一個遠客，乃是杜甫的表侄王冰，留居羌村已有兩日，準備明天到白水去見他舅父崔項。”杜甫和王冰從小一起長大，多年不見，本在想念，聞言甚喜。正走之間，一個佩刀騎馬的少年忽然馳來。近前一看，正是王冰。因楊氏產後腹痛，出來延醫，把馬讓與杜甫騎，自和劉壯去請醫生不提。
杜甫和項明一同趕了牛車前進，不多一會便到羌村。忽聽群雞飛鳴之聲，項明笑道：“小值又在打雞，我看看去！”說罷拔腿就跑。杜甫拉著牛車走到自家門首，隔著竹籬往裡一看，宗文、宗武兩個兒子手裡拿著竹竿正在追逐群雞。項明從側面翻越入內，正在急呼：“二娘！”杜甫把柴門拍了兩下，剛喊：“快開！”項明已將柴門拉開。宗武首先張著小手急呼：“爸爸！”撲上身來。杜甫一把接著抱在懷內。宗文已將大腿抱住摟緊，急呼：“媽媽，爸爸回來了！”
杜甫趕往內室，見楊氏形容消瘦，心裡一酸，忙走向床前。
夫妻二人互相把手拉緊，面面相覷，對看了一陣。楊氏問聲：“你好！”聲才出口，兩行痛淚已流了下來。杜甫忙道：“經此大亂，能夠重逢就是好事。你剛生小孩，身體虛弱，別後之情慢慢再敘，我看看那兩個小孩去！”
楊氏笑道：“這兩個小孽障長得好乖，就是生時艱難一些，差點沒有把我疼死！”話剛說完，王孫，劉壯已把醫生請來。杜甫把醫生讓到裡面就座，給楊氏看了脈，開了幾味藥，說：“藥已經帶來，另有產後調養的藥丸也在藥箱內，吃了就好！”隨將藥箱打開，將藥交給杜甫。杜甫叫項明取熱水，把藥與楊氏服了。杜甫因王冰新來，見家裡養得有雞，正好待客。方要開口，楊氏笑道：“你遠來不易，不用操心，還是讓項明他們給準備去，索性把左右鄰請上兩位，酬謝他們平日關照。”
杜甫抬頭一看，見竹籬外已有多人探頭張望，指點自己這面，交頭接耳，有的還在嘆息流淚，歔欷不止。再看楊氏已哭得淚人一樣，知她支持門戶不易，又關心丈夫安危，忽然相逢，驟出意外，喜極生悲之故，便忙以好言安慰說：“自己一直逢凶化吉，並且這次到鳳翔見天子，還封了左拾遺的官，不久便要隨同回京，將來前途頗有希望。”
楊氏知丈夫夫妻情長，不願自己傷心，只得強忍悲痛，破涕為笑，讓項明他們往廚下備辦酒食，與丈夫接風。
一會，鄰翁四人各侍酒食前來慰問。杜甫接到屋裡，再三稱謝。鄰翁都說：“今年酒味沒有上年好，因為黍地無人耕種，家中壯丁都應了軍役，有的前往戍邊，一去不回。加上連年水旱相繼，所以酒味差點。”
杜甫便告眾人說：“官軍常打勝仗，不久就要收復失地。”
鄰翁聞言甚喜，便要辭去。楊氏正留鄰翁同飲，孫宰忽然尋來，說：“方才途中遇到曾乙，才知杜甫新任左拾遺，奉旨回家看望，不久還回長安，因此拜訪。”
杜甫因移家羌村之後，許多事全仗孫宰照應，說了兩句感謝的話，便留他同飲。並說在家中再呆數日便要迴轉鳳翔，隨從天子車駕迴轉西京。問孫宰作何打算。
孫宰笑說：“小弟在此也難久居。過了今年也要搬回去了。”說罷又談了一陣，便起告辭。杜甫將他送走，回來和楊氏商量，打算先送家眷回去，把杜曲的家和那幾畝田整理一下，以便安居。楊氏一想，覺著此時回去人手較多，容易安排，便說：“我知你想家，我母子先回也好。不過，你剛入朝為官，得到天子看重，今後行止必須好好打點，以免耽誤前程。依我之見，你已為諫官，應該常在天子跟前才是道理。最好迴轉鳳翔，等車駕回京，先跟了去。把我母子和項明、劉壯留在這裡，作一退身之計，不也好麼？”
杜甫不聽，非要迴轉長安不可。談了一陣，最後商定，還要全家都回。鄉村房地交託孫宰代管。項明。曾乙留在當地耕種，只帶劉壯一人同回。
第三日，楊氏的堂兄楊衍來訪，大家重又商計前事。楊衍也力主杜甫全家回京，只把羌村的房子和田交託孫宰照看。夫妻二人最好全家住在一起，不要分散，並說：“胡賊雖退，還有不少賊黨散在四方。還有這次平寇曾用外力，聽說恢復東都時回紇曾經大掠，滿載而去。這也難保不是未來之害。把羌村的家留下，將來可以作一退步，豈不是好？你夫妻走後，我也還要常來照看，放心好了。”
杜甫夫妻覺著所說有理，便即應了。本想把項明，劉壯留在當地看家，楊衍笑說：“無須，你們回去需要用人，最好一路都走，不必零散。”
楊氏也覺杜曲的田還要準備春耕，人少無濟於事，這一來全家老少一齊同回。跟著便得到天子不久將要回京的消息。杜甫連忙趕往鳳翔，問明車駕十月起行，又趕回來。由項明、劉壯、曾乙、王砅四人護送楊氏母子先行，杜甫再趕到鳳翔去隨駕同行。一晃到了十月中旬，肅宗率領滿朝文武迴轉長安。杜甫當然也在其內，一路無事。到京之後，趕往杜曲家中一看，楊氏業已早到。因有項明、劉壯等相助，非但家務都佈置得井井有條，連春麥也全種上，心中高興，又到城內外訪看各家親友和同僚們。初意以為大亂已平，自己業已在朝為官，此後一定漸入佳境，哪知事情不能盡如人意。先聽人說當年苦旱，田裡收成不好，恐鬧春荒。跟著下起雨來，連下一個多月，連春耕都受了妨害。加上賊兵退後遺留下來的殘寇流賊，官軍方面潰敗逃亡的散兵游勇嘯聚山野之間，不時成群結夥打家劫舍，為害民間，天災人禍同時發生，造成了一片飢荒世界，關輔一帶米珠薪桂，民不聊生，比起天寶十三四載的災情還重得多。這大兵之後必有的凶年漸漸逼得這位詩人沒法再呆下去。
杜甫全家回京，原是李亨（肅宗）至德元載九月底邊的事。 ①到家不久，孫宰全家也搬了回來。跟著杜甫人朝任職。所任左拾遺又是朝廷清貴文學侍從之官，兩院（中書。門下二省）同事多是當時學士名流，大家都談得來，每日詩酒過從非常融洽。杜甫雖聽人說當年關輔春荒必重，因楊氏、項明已經有了一些打算，並未十分在意。加上僚友一多，每日詩酒往還，就此忽略過去。哪知當年災荒太重，加上盜賊作亂，物價日高，杜甫只有有限幾畝薄田，所種糧食還未成長。本來日子難過，勉強挨到至德二載的問八月，賊子安慶緒忽然召集乃父安祿山的舊部悍將史思明、張通儒、安守忠等分兵作亂。由史思明等往寇太原、河東等地，並命張通儒為賊帥，再犯西京。軍情日緊，鬧得長安官民人等又在心慌意亂，準備逃亡。杜甫漸漸也著起急來。勉強苦熬了兩月，實在風聲緊急，謀生不易，便把親友請在一起，互相商計。楊氏想起以前楊衍所說的話，好在鹿阝州羌村還有一個家和幾畝地，房子現成，正好回去暫避一時，便勸杜甫把家先搬回羌村去，孫宰首先讚好，力勸杜甫快走。跟著又奉到朝命，杜甫由左拾遺再任華州司功參軍，並且催他即速上任，杜甫實在無奈，只得領命上路，辭別家人親友，往華州趕去。先並未打算當時回來，後因軍情太急，實在放心不下，只得抄小路趕回杜曲，仍然預計把楊氏母子一齊送往哪州，仍由金光門繞道先往白水趕去，哪知剛走了不兩天，天便下起雨來。當年春寒又重，那雨偏是越下越大，接連十多天沒有停過。杜甫夫妻全家連項明共是老少八九人，只有兩把舊雨傘，實不夠用，晚來隨便找一個大樹底下，連老帶小圍傘而坐，腳底踏著水泥。最苦是帶的干糧不多，兒女飯量隨人同長，早在途中把糧吃光，鬧得大家都沒有吃的。飢寒交迫之下，冒著冷雨寒風，奔馳山野之間，真個苦到極點。似這樣又苦熬了十多天。好容易掙扎到了彭衙縣的邊境，走到白水山區裡面，計算途程再走二三日便可趕到同家窪孫宰家裡歇息。住一兩天再往羌村，便可減少許多苦難。哪知山路崎嶇，風狂雨大，甚是難行。最困難還是沒有吃的。杜甫無法，只得同了項明沿途採掘一些草根野果和橡栗苦李之類，勉強充飢度命。這些東西又苦又澀，有的辛辣非常，不能入口，大人還能勉強忍耐，幾個小孩吃得直哭。壯甫雖然看了傷心，只是無計可施，只得咬牙忍受，仍往前走。
『①杜甫攜家隨從肅宗還長安是至德二載十月之事，以下所述也有與史實相違之處，似為作者病重失記所致。 ——校者』
這日走到一個山凹裡面，全家聚坐在一塊大青石上，想起這一路顛連辛苦，正在難受，杜甫忽覺左手痛極，好像被什麼東西咬緊，痛不可當。反手一摸，摸到一把頭髮，十分柔軟。低頭細看，月光照處，那咬住手指不放的正是新生不久的愛女鳳子，身上衣服業已濕透，滿臉雨水淋漓，涼冰冰的，抱向懷中。笑問：“此娃子為何咬人？”
鳳子脫口便答：“我餓！”
杜甫再用溫言細問，才知愛女因為餓極又冷，無意中摸到杜甫的溫暖手指，誤以為是乾糧，咬了一口。杜甫這一間，鳳子不由害了怕，放聲大哭起來。杜甫剛把她抱起摟坐在席上，忽聽項明低聲喝道：“哭不得，你聽！”
跟著，便聽遠遠傳來野獸吼嘯之聲。杜甫知道這一路上時有虎狼等猛獸出沒，哭聲如被聽去，大是危險，忙把愛女一把摟緊，低聲喝道：“乖娃莫哭，老虎來了！”
鳳子哭喊：“我餓！”手腳不住亂掙。宗武在旁忙遞過一個苦李！笑道：“妹妹莫哭，你看我吃這個。”跟著，嚼了幾口嚥下，又向楊氏去要。
鳳子哭道：“我不吃這個，太苦！”
旁立項明看了可憐，忙把藏在身邊已有數日的一塊幹牛肉取出，撕了一點塞在風子口裡，又哄了她幾句，才將哭聲止住。
杜甫心方略定，那雨忽又大了起來。一會工夫全家老少都淋成了落湯雞一般。山風吹過，冷得直抖。最後無法，只好大家背抵背擠坐在冰涼的雨水石上，苦盼天明，好去趕路。那天偏是陰黑得可怕。坐了半夜，絲毫沒有明意。杜甫和楊氏也餓了起來。正在相對傷心，哭訴苦楚，項明忽然跑來，手裡還拿著兩個麥餅，笑呼：“主人不要著急，我們有救了！”
跟著，便見雨地里遠遠現出兩點燈光。進前一看，這來的兩人喜出望外，杜甫更是喜歡得要跳，連忙撲上前去，把前一人抱住，直喊幸會不置。
原來前頭一個正是好友孫宰，也因年荒歲歉，約了鄰友來採山糧，住在一個相識的山民家中。那是一個獵戶，因聽狼叫，約他相助打狼，在雨地裡巧遇項明，談了一陣，得知杜甫全家來此，正在受苦，特地趕來迎接，並說所居同家窪就在東北不遠，相隔不過三里來路，當時便可同去，以免在此忍受飢寒。杜甫、楊氏謝了又謝。正想再談幾句，孫宰忽說家中有事，匆匆作別，各自走去。
杜甫先還想天明再往孫家，後見楊氏母子飢寒難忍，項明又在一旁催勸起身，便同上路。順著山道才走了二里來路，算計快到，孫宰業已約了兩個鄰友，拿了火把雨具對面迎來，再順山路略微轉折，便到了同家窪，東方天邊也漸漸現出了曙色。等走到孫家門前一看，由里到外都有孫宰約來的鄰友相助，各持火把照亮，並照當時風氣在門上貼了招魂的紙條。孫妻張氏也由里面趕出，把杜甫全家接到裡面。杜甫夫妻見地上放著幾個木瓦盆，內裡業已裝滿熱水，主人便請盥漱洗腳，同時桌上也擺滿了茶飯酒菜，孫宰並將幾個已睡兒女喊起見客，同屹晚飯，安排來客臥處，當時全家便忙亂起來。
杜甫夫妻見主人盛意殷勤，因是至交好友，不便多說，稍微謝了兩句便同入座。孫宰又把項明和眾鄰友拉來同飲，賓主多入全都盡歡，談得非常高興。
次日一早，先是劉壯趕來看望，跟著楊衍也來看望妹子。說起賊兵勢盛，鳳翔已被包圍，幸而廣平王（李淑）坐鎮當地，手下崔光遠和行軍司馬王伯倫等都是勇將，還有番漢兵十餘萬，將敵兵抵住，鳳翔才未陷入賊手。並且官軍常打勝仗，俘獲甚多，百姓並未受到糜爛。可是西京長安日前卻被賊帥張通儒、安守忠等攻破。天子重又蒙塵西奔，往鳳翔趕來。杜甫全家來得正好，否則，白水、奉先等地早晚被賊兵攻陷，比在長安還要危險。杜甫一聽，四方多難，心中自是愁急。哪知好消息也跟著傳來，先是朔方軍節度使郭子儀等大敗賊兵於河東。緊跟著崔光遠、王伯倫又連打勝仗，逼得賊兵立腳不住，自動放火燒營，全軍潰逃。崔光遠乘勝追擊，斬殺甚眾。緊跟著廣平王又率領朔方幾個節度使，連同部下十五萬番漢人馬趕往西京殺敵。軍容甚盛，估計不久便可把長安收復回來。杜甫聽了這才高興。每日都盼望早傳捷報，收復失地，好把全家搬回長安，入朝供職。到了九月中旬，廣平王率領回紇西域的番兵，會合朔方諸節度使會師長安，與賊將安守忠在香積寺北大戰，大獲全勝，斬首六萬餘眾。賊帥張通儒由城內率眾出戰，又被工伯倫等殺得大敗，最後實在抵擋不住，便帶領殘賊往陝郡逃去。京城解圍，捷報傳來，杜甫當然高興，決計趕回長安，稍和崔頊、楊衍、孫宰等商計便自起身，往長安趕去。
這時賊兵雖退，路上還不大安靖，又吃了好些苦，才勉強回到杜曲家裡。因上朝時得知好友房琯宰相罷免，並且還要降罪，杜甫激動義憤，又去上書營救，說：“房琯有才，此時大亂剛半，正在用人之際，朝廷不應罷免大臣。”
杜甫上年便因為房琯說話，招得肅宗不快，這一來越發觸怒，幾乎把他下在牢裡，從此不再看重杜甫。房琯也被罷免，出為邠州太守而去。杜甫被人看成是房琯黨羽，由此便蹭蹬下來不提。
杜甫回京之後，仍任左拾遺，每日去往門下省承直，以前所交僚友知好重又歡聚在一起。最可喜是好友岑參新任右補悶，在中書省任職，日常相見，同在一起作那文酒之歡，所得官俸也頗夠用。按說日子過得滿好，偏偏遇上二次大亂之後關輔大鬧飢荒，比上次災情更重，又因房黨為時所嫉，在朝不久仍又出為華州司功。
杜甫在華州司功任上過了半年，漸覺無聊。這日忽起思鄉之念，想趁空閒回到洛陽探望一下他戰後的故鄉，一個人背著一個小行李卷，往東走去。行經潼關道上，見兩邊都是山崖石壁，十分高峻。登高一望，見來路是條山谷，前面不遠便是僮關。一路都是山崖峰巒，山上下到處都有黑自點閃動，耳聽喧嘩吶喊和開山擊石之聲隱隱傳來，空谷回音甚是震耳。等到下面，再往前走沒有幾步，便又聽後面車馬行人奔馳吆喝之聲接連不斷。停步一看，後面來了好些滿載石塊的騾馬牛車，還有好些人三五一夥，分抬著大小山石，負重吆喝而過。一個個累得氣喘吁籲，頭上汗珠直往下滴，好似吃力已極，不勝勞苦。最奇是還有幾個老年婦女也在其內。再往前走，見有好些人正在開山取石，地下搭著很簡單的草棚，老少都有，吃的東西粗糙非常。向人打聽，才知內中雜有草根樹皮，有的業已餓病，躺在棚裡，呻吟不已。一個為首的官吏正在往來查看，不時向眾喝罵。杜甫想起：“自從那年哥舒翰被安祿山賊兵打敗，潼關失陷以後，朝臣要上表章修建僮關，朝廷均未答應，此時忽然這樣大舉，又當年荒時節，豈不多累良民遭殃！”便把那官吏拉到一旁，問他何故？
那官吏說：“自從安陽一戰我軍大敗，郭節度決計築城防賊，因為年景不好，築城的十九都是兵將，徵用的民夫並不甚多。又因我軍糧食不足，這應役的丁壯必須自帶乾糧，由那捨不得親人的全家跟來，鬧得這些民夫除開山取石築城之外，還要到處挖掘草根樹皮，所以一個個都那麼苦弱不堪。”
杜甫聽了好生憤慨，先到關前仔細察看了一陣形勢，隨到前面人家借了紙筆，寫出了他的名作“三吏”的頭一篇——《潼關吏》。
杜甫因聽傳言，隴西一帶年景較好，容易求食，便和家人商計，帶了全家往西走去。本意只要找到一個稍微能夠不愁吃的所在，便安居下來。先到秦州，連找了幾處，想在西枝村建一草堂暫居，沒有如願。呆了些日，又往西走。一路登山越水，苦受顛連，勉強挨到同谷縣，才得把腳停住，歇息下來。可是全家衣食還是艱難，老想鬧兩畝薄田自己耕種，終未如願。迫於無奈，於乾元二年十二月一日又由隴右西行，想往成都逃荒。最後展轉跋涉，拖著一家人到了劍門，走上入川的棧道。又行了兩月，連經許多艱苦跋涉，才得到達成都。總算嚴武念舊情長，相待頗優。不久，仗著嚴武相助，在成都西門外浣花溪上經營了一所草堂，又置了幾畝田，這才安居下來。有時並往附近各縣走動一下。日常無事便和當地田夫野老交往，料量晴雨，共話桑麻，倒也安然自得。嚴武還特地到浣花溪看望他幾次。有時也把杜甫接到家中住上些日。本來相處甚善，只是這賓主二人一個氣度較小，不能容物，一個性情剛猛。表面上交深情厚，無異骨肉，因為杜甫過於簡略，不拘小節，說話又太直率，嚴武有時忍耐不下，便氣在心裡。二人還愛互相取笑，往往把話說僵，彼此都有些難堪，心中不無介介。只是二人都未發作出來。
代宗寶應元年，嚴武奉召還朝，杜甫送他到了綿州方始作別。杜甫道：“我依人作嫁，全靠老弟相助照應才得安居，季鷹一走，我又飄泊無依了。”
嚴武見他說時面有淚容，神情淒苦，心中老大不忍，便拉著杜甫的手笑道：“我真捨不得離開這天府之國，我今此去還要設法回來，不久當可重逢，何必難受呢？至於子美兄的今後生活，我已為你想好主意，給梓州刺史章彝寫了一信，託他照應。我走之後，你可到梓州去見他談談，看是如何，自作打算。我想是不會有錯的。”隨命人把信取來，交與杜甫。
杜甫見那信寫得十分誠懇，忙即謝了。回到成都住了幾天，便到梓州去見章彝。初意嚴武的信寫得十分有力，章彝不會不管，哪知章彝武人粗野，雙方氣味本不相投，又因嚴武禦下嚴厲，以前叱罵過他，心中不快，對於杜甫並不怎優待。杜甫不久又把家眷接去，因為互不投機，全家又遷往間州，住了半年，窮愁抑鬱，苦不得意。正在難受，忽然得報，嚴武再鎮西蜀，不久就要回任。當時高興已極，忙又遷回成都等候。到了廣德二年三月，嚴武果然回到成都，並且上表保奏杜甫為節度參謀、檢校工部員外郎。良友重逢，又得了新的官職，彼此都很欣慰。杜甫由此每日便在嚴武幕府裡任職，只把家眷遷回浣花溪草堂，自己有時也回家去住上些日，栽花種竹，料理耕稼，生活重又安定下來。
嚴武本就量小性暴，不能容物。先以為章彝有自己親筆的信，必能愛屋及烏，優待杜甫。回到成都，第一件事就是查問章彝對待杜甫如何。因聽人言章彝對杜甫很冷淡，一點沒照顧，不由有氣，恨在心裡。本來就有殺之之心，杜甫偏又心直計快，嚴武問時照實說出。當年天又大旱，杜甫寫了一篇文章，名為《說旱》。大意是，蜀中近年各州府縣囚人大多，難免沒有冤屈，應把輕罪的人釋放回家等語。
這篇文章語太切直，嚴武看了已不大高興。再把杜甫請去一談，竟是梓州囚人大多，內中有好些無辜，越發激怒，當時要殺章彝。杜甫勸他不聽。又道：“蜀中年年荒亂，徐知道剛剛平息，如何又殺部將？”
嚴武大怒，雙方對吵了一陣。杜甫恐怕惹出事來，便走上嚴武的床，瞪目怒道：“嚴挺之一生忠厚，從不輕易傷人，竟會有你這樣兒子！”
嚴武也氣道：“你這杜審言的孫子知道什麼？惹翻了我，連你也一齊殺！”
當時朋友相交，如提到對方祖父名諱最是無禮。這一來二人全部有氣。杜甫又說了幾句負氣的話，拂袖而去。
嚴武隨即下令，把章彝召來，想把他和杜甫一起殺死。正在怒火上，杜甫偏不知趣，上書辭職，並且不等答复，也未和嚴武見面，獨自回到草堂，來了個不辭而別。嚴武忍受不下，第二天便派人把杜甫抓來，準備連章彝一起殺死。軍校隸役均已召齊，眼看就要下手，嚴母忽然得信，把嚴武喊到裡面，說：“杜甫是你父親的好朋友，你們交情又厚，不應下此毒手。”
嚴武素孝，再想起杜甫的學問和雙方的交情，心便軟了下來，連章彝也未殺。對於杜甫反用好言安慰，並派車馬送回家去。杜甫越想越沒意思，便辭了嚴武的幕府，安心隱居烷花溪草堂，雙方也不再往來了。
當年春天，蜀中瘟疫流行，嚴武忽然染病頗重。杜甫重回幕府居住，日常陪他。可是嚴武的病始終沒有起色，勉強挨到當年四月，還是病死。杜甫心裡雖然悲痛，等嚴武安葬之後，又回草堂。那後任節度使郭英又武人粗暴，不喜文士，又認為杜甫是嚴武的人，心存歧視。杜甫當然不能再呆下去，只得回到草堂，還是種地，又過著窮困的日子。轉眼交秋，又遇霖雨，杜甫枯坐草堂，甚是煩悶。這日早起，天刮大風，把草堂房頂上面的茅棚揭去，忙到門外一看，南村幾個小孩正把茅棚捲起，往對面竹林中走去。杜甫急得跳腳大叫，直到聲嘶力竭，小孩們理都沒理，內中兩個頑童反朝杜甫扮了一個鬼臉，然後大笑走去，氣得杜甫直跳腳，回來拿著拐杖嘆了一陣氣，無法可想。晚來風吹雨打，越發淒冷，房頂又漏，床上本就不於，最愛的小兒子中午睡相不好，又把舊棉被踏碎了一大塊，一會被褥全濕，不能安睡，心裡有氣，起來寫了一首詩，便是那古今傳誦的《茅屋為秋風所破歌》。杜甫勉強在家中住了半年，光景越過越艱難。正打不起主意，忽聽人言，梓州太守章彝因感激他救命之恩，時常談起，意思很好。杜甫實在無法，只得往見章彝，打算試探一下。章彝果因人說嚴武去年雖要殺他，全仗杜甫力勸，耽擱了半日，被嚴母知道，才得無事。這次杜甫往投，雖不像上次那樣冷淡，也沒有十分優禮。又聽人說新節度使郭英又不喜杜甫，不敢親近，相待只是一些虛文虛節、毫無實惠，日子一久，杜甫呆不下去，只得回家。忽聽人言，好友高適新任西川節度，想起這是交情最深的好朋友，便帶了全家前往投奔。初意這個竟比嚴武還要厚待得多，這後半生全有依靠。哪知事情不如人意！高適對他也只初見面時彷彿情熱，日久還是冷淡下來。杜甫又呆不住，便把全家遷往雲安。到了大曆元年春天，又由雲安遷往菱州。大歷二年三月遷居赤甲，住了數月，勉強在朋友幫助下，在壤西和東屯各建了一所草堂，置了點田，親率家人躬耕，往來於瀼西、東屯之間。似這樣過了不久，便率全家出峽南下到江陵，跟著又由江陵移居公安，成了浮家泛宅，沒有一定住所。在公安還沒有過冬，便遷往岳州，住到第二年正月再遷往潭州。因慕衡州山水，便遷了去。住到夏天，實在熱得難受，又回潭州避暑。到了大歷五年四月臧玠作亂，杜甫想到郴州去投親，沒有走成，全家人在荊楚各地飄泊了一個時期，最後流寓到來陽縣。