扶眉戰役後，胡宗南主力被殲，國民黨反動集團更加寄希望於青、寧二馬同我較量。此時二馬集團仍未遭到殲滅性的打擊，處於絕望之中的國民黨反動集團竟又過高地估計了二馬的力量，妄圖依靠二馬扭轉西北戰局，於是積極策動二馬與我決戰於平涼地區。他們認為，平涼扼甘、寧之咽喉，為我進軍西北必爭之地。平涼一線多深壑峭壁，關山險要，青、寧二馬又有蘭州、銀川為後方，供應比較方便；而我軍遠離後方，供應必定十分困難。胡宗南乘機自秦嶺配合出擊，必將陷我於首尾難顧的困境。他們還妄圖在我進入少數民族地區後，煽動民族矛盾，使我無法立足，從而把我軍消滅於隴山之中。
一九四九年七月十九日，彭總在虢鎮附近的文廣村召開軍以上高級幹部會議，對扶眉戰役進行了總結。他把這次戰役稱為與胡馬集團決戰的第一個回合，並提出了第二個回合——平涼戰役的作戰計劃。
彭總在分析敵情的時候指出：胡宗南在扶眉戰役後雖然尚有十餘萬人的兵力，但分散在東起秦嶺之東江口、佛坪，西至徽縣、成縣、兩當、武都地區，南至安康、漢中及其以南地區，已成驚弓之鳥，時刻懼我進攻，短期內已無向我關中發動進攻的能力。青、寧二馬退守隴東地區後，如繼續後撤將失去甘肅、寧夏之咽喉——平涼，勢必造成我大軍直搗蘭州、銀川的形勢，估計青、寧二馬在尚未受我殲滅性打擊的情況下，是不會甘心的，必將憑藉平涼一帶天險進行抵抗。因此彭總決心以十八兵團之兩個軍箝制胡宗南，保障我後方的安全，集中我一、二、十九三個兵團及十八兵團之六十二軍共十個軍，追擊二馬，力爭殲其主力於平涼地區。以十九兵團附騎兵第二旅為右翼，沿西蘭公路及其兩側向平涼攻擊前進；以一、二兵團為左翼，分兩路平行北上，先取隴縣，直插平涼以西，斷敵退路，並打擊由蘭州、固原方向可能增援之敵。以十八兵團之六十二軍為總預備隊。彭總還指出：西北地區雨季逼近，隴縣南北山高路險，人煙稀少，戰役行動應盡量提前，推遲則困難更多。
毛主席完全同意彭總的作戰計劃，並高興地斷定：只要平涼戰役能殲兩馬主力，西北戰局即可基本上解決，往後佔領甘、寧、青、新，基本上只是走路和接管的問題。同時，毛主席一再指示我們：打馬是一個較為嚴重的戰役，要準備付出較大的代價，千萬不可麻痺輕敵，疏忽大意。
我軍經過幾天的短暫的休整，從上到下地進行了政治動員；在“三大紀律、八項注意”教育的基礎上，特別對團結回族同胞作出了具體規定：要求部隊充分發揮“是戰鬥隊又是工作隊”的作用，一面作戰，一面做好新解放區的群眾工作；針對二馬在馬家軍隊中的欺騙宣傳，制訂了《寬待回民俘虜守則》，並釋放了回民戰俘，每人發給三塊銀元的路費。為了保證部隊供應，彭總還親自籌劃車輛，組織後方交通運輸。各部隊又組織了籌糧工作隊，隨軍就地向人民群眾借用部分糧食，以補充後方供應之不足。
七月二十一日，我兵團自乾縣、禮泉一線出發，沿西蘭公路及其兩側追擊敵人。我們將幾十輛坦克和裝甲車組成的戰車隊放在前面，為部隊開路。這些坦克和裝甲車，都是我兵團在華北戰場作戰時從敵人手裡繳獲的，今天倒成了對付敵人騎兵和嚇唬敵人的有力武器。一、二兵團也按預定計劃，分別於七月二十三日、二十四日開始出動。
這時，倉惶撤退的青、寧二馬，處於戰、退難決的窘境。他們想戰又覺得難以抵擋我三十萬大軍，深恐被我包圍殲滅；想退，又怕失去甘、寧咽喉，造成我大軍直搗蘭州、銀川的不利形勢。因此，遲至七月二十四日，才在敵西北軍政長官公署副長官劉任的主持下，召開了師長以上指揮官參加的軍事會議，制定了所謂“關山會戰指導复案計劃”，作出了平涼決戰的部署：決定以寧馬之第一二八軍、第十一軍共六個師又一個騎兵團、兩個砲兵營，於平涼以東、以南進行防禦，由四十里鋪、安口窯、華亭地區，以平涼為中心，從東北到西南，形成一個弧形防禦地帶，企圖以積極抗擊消耗我軍主力。青馬由安口窯地區西移六盤山，以便待機實施迂迴，從其弧形防禦地帶之右側——華亭、安口窯方向反突擊，攻我右翼，並依靠胡宗南從秦嶺向我後方出擊，“協力而各個擊破之”。
在青馬主持下制定的這個所謂“關山會戰指導复案計劃”一拋出，對青馬早有戒心的寧馬，立刻察覺青馬企圖在平涼決戰中保存自己的實力，而讓寧馬打頭陣。按照這個計劃，即使決戰獲勝，寧馬也將耗損主力，而青馬則可坐享其成；一旦決戰失利，西撤六盤山待機迂迴的青馬必定乘機逃走，而犧牲寧馬。尤其是寧馬見我軍置重兵於其右翼，更惶惶然深感難逃被殲的厄運。早就對馬步芳心懷不滿的馬鴻逵，因國民黨中央許諾的甘肅省政府主席被馬步芳企圖奪取，更加懷恨在心，一見青馬如此部署平涼決戰，立即電令寧馬臨時總指揮盧忠良：保存實力，退守寧夏。於是，敵人的平涼決戰計劃未及實施，就嬰死母胎了。
我各路大軍長驅直入隴東，跟踪追擊青寧二馬，至七月二十七日，寧馬已向平涼以西撤退，青馬主力也撤至靜寧地區。根據這一情況，彭總斷定敵人已放棄在平涼與我決戰的企圖，而改為各保其家，節節抗擊，遲滯我軍前進的戰法，逐於二十七日發出命令，修訂原定之作戰計劃，十九兵團繼續追擊寧馬，一、二兵團則分兩路追擊青馬，殲滅一切被抓住的敵人。七月二十八日，一兵團抓住了扼守隴山要隘——固關、掩護青馬主力退卻之敵騎兵第十四旅。我第一軍經一小時戰鬥，迅速攻占其附近據點並搶占其兩側高地，敵不支，慌忙向固關以西潰逃，第七軍之二十師早已繞固關以南迂迴過來，斷敵退路，逃敵被我殲滅，僅有旅長馬成賢帶傷逃走。這是青馬第一次整旅被我全殲，對青馬震動極大，更加速向蘭州逃竄。寧馬跑得更快，我們十九兵團猛追十余天，到八月一日始得一戰於固原以南之任山河，六十四軍經六小時激戰，殲敵五千餘人。
同時寧馬以一二八軍扼守六盤山東側之三關口，企圖依托公路兩側之懸崖絕壁阻止我軍前進。我六十五軍之一九三師勇猛地向敵人發起強攻，很快佔領了敵人陣地，奪取了三關口，打開了通路。八月二日，六十五軍之一九五師攻占戰略要地六盤山。至此，我各路大軍已直入甘肅腹地，雖然未能殲滅青、寧二馬主力於平涼地區，但卻達到了分割二馬的目的，為以後各個殲滅敵人創造了更為有利的條件。敵人失去了平涼地區這一有利的決戰陣地，使蘭州、銀川暴露於我軍的攻擊之下，陷於空前不利的困境。
青、寧二馬被我分割，蘭州、銀川告急，引起逃往廣州的國民黨反動政府的極度恐慌，這對其妄圖保守西北與西南為其最後反革命基地的夢想，是又一次沉重的打擊。當時國民黨政府的行政院長閻錫山急忙在廠州召集馬步萬、馬鴻逢、胡宗南參加的“西北聯防會議”，策劃了蘭州決戰計劃：以青馬節節抵抗後退守蘭州，吸引我軍主力於蘭州城下，牽住我軍主力；然後寧馬退出固原後轉向蘭州，胡宗南則進擊隴南，以包圍合擊我軍，並答應派空軍大力支援。敵人認為，蘭州有堅固工事和天險黃河為依托，兵力集中，彈藥充足，而我軍經長途跋涉，部隊疲勞，再用堅壁清野、斷我後路等手段，造成我軍供應困難，然後殲滅我軍於蘭州外圍。
會上，閻錫山極力調解馬步芳和馬鴻逵的矛盾，任命馬鴻逵為甘肅省政府主席。會後，馬步芳一再拉馬鴻逵即赴蘭州到任，實際是想以馬鴻逵為人質取得寧馬的支援。兩個人多次抱頭痛哭，發誓要同生死共患難，並商定一同坐飛機回蘭州。不料飛機將要起飛時，馬鴻逵突然變卦，以回寧親自部署出兵援蘭為藉口，決定先回銀川，於是兩馬分道飛回西北。
早在一九四九年七月六日，即扶眉戰役以前，毛主席在《解決西北敵軍的方針》的指示中，就曾指出對青、寧二馬應予區別對待：首先打擊馬步芳，馬鴻逵是傅作義將軍的拜把兄弟，曾派人向傅作義將軍錶示有向我求和之意。毛主席設想在殲滅馬步芳後，對馬鴻逵可在軍事打擊下盡量爭取用政治方式加以解決。同時，鑑於青馬在政治上佔統治地位，在軍事上也比寧馬大，殲滅了青馬，即可基本上解決西北問題。因此，彭總決定首先集中力量殲滅青馬。當時，縱觀青馬動向有兩種可能：一是在蘭州同我決戰，二是退守青海老窩。如敵逃回青海，將造成我進軍作戰之嚴重困難，勢必延長西北全部解放的時間；而蘭州是甘肅、寧夏、青海、新疆四省之樞紐，雖然攻打蘭州將是一場艱鉅的攻堅戰，但作戰條件遠比青海有利。所以我軍的作戰方針是力爭同青馬決戰於蘭州，而嚴防敵人逃回青海。
八月四日，彭總發布進軍蘭州殲滅青馬的作戰命令，確定如下之部署：
以二兵團之三個軍和十九兵團之兩個軍分兩路包圍進攻蘭州；由一兵團附六十二軍突破敵右翼向其青海老窩迂迴，以動搖其軍心，並攔阻和殲滅從蘭州逃竄之敵，爾後西渡黃河，直取西寧。另以十九兵團的六十四軍在固原一帶向寧馬佯動，並準備阻擊來援之寧馬；以十八兵團主力（欠六十二軍）及第七軍等三個軍沿川陝公路前進，以箝制胡宗南。這樣，就給青馬布下了天羅地網，使其無法逃脫被殲的命運。
八月八日，我兵團主力向西直指蘭州。我們沿著彎彎曲曲的盤山公路，登上巍峨的六盤山，遙望祖國的蒼茫大地，浩浩蕩蕩的解放大軍象洶湧的鐵流滾滾西去，回想起十四年前工農紅軍長征途中經過六盤山時毛主席寫下的壯麗詩句：“六盤山上高峰，紅旗漫捲西風。今日長纓在手，何時縛住蒼龍？”真是感慨萬千！我們循著當年工農紅軍走過的腳印，懷念被馬步芳屠殺的革命戰友的音容笑貌，不禁潸然淚下。那時候，紅軍戰士們曾發誓要打回來的，如今我們終於回來了。我們不但要向馬步芳討還血債，而且打倒蔣介石、解放全中國也已為期不遠，革命烈士的忠魂即可含笑於九泉了。
我軍在追擊途中，敵人怕遭圍殲，只以騎兵分散與我接觸，一經接觸，立即逃走，其逃竄的步兵則離我軍一至兩天的路程。我軍所到之處，敵人的地方武裝紛紛起義投誠，有的則隨敵正規軍遠逃，有的潰散回家。從馬步芳反動統治下解放出來的廣大地區，迅速建立了人民政權，安定了社會秩序。慘遭馬步芳蹂躪的災難深重的回、漢同胞，忿怒控訴馬步芳的種種罪行，許多回、漢青年紛紛要求參加解放軍去消滅馬步芳。我軍紀律嚴明，秋毫無犯，並利用行軍作戰的空隙，做群眾工作，幫助群眾生產勞動。廣大回、漢群眾像對待自己的親人一樣，給部隊騰房子，燒開水，送柴送米，幫助作飯，主動要求給部隊帶路，積極熱情地支援我軍作戰。還有來自新、老解放區的十五萬民工和數千輛汽車、大車，跟隨野戰軍行動，幫助救護傷員和運送各種作戰物資。我軍指戰員親眼看到馬步芳的暴虐統治，更加激起了對敵人的無比仇恨，廣大回、漢群眾的全力支援，又使我軍上下受到極大的鼓舞。
大兵團持續地長途進軍，給我軍帶來了許多嚴重的困難。沿途地廣人稀，交通不便，進入雨季後路途泥濘難行，糧食、鞋子、彈藥、經費接濟不上。繳獲的糧食和從民間借來的糧食沒有時間磨粉，常常煮麥粒為食。西出固關、平涼後，氣候由炎熱而驟然變冷，加上村落稀疏，民房很少，部隊往往露宿街頭或曠野。不少人不適應西北高原的氣候，患了感冒、痢疾、瘧疾等疾病。在重重困難面前，我軍依靠黨的堅強領導，充分發揮了政治工作的威力，又有全國勝利形勢的巨大鼓舞，部隊始終保持了高昂的士氣。廣大指戰員團結一致，互相幫助，克服萬難，以堅韌頑強的戰鬥意志向蘭州追擊前進。