綏遠是當時華北敵軍傅作義集團防禦體系中薄弱的一環。一九四八年三月以來，華北我軍配合全國各個戰場的反攻，在察哈爾、綏遠、山西、河北數省向敵軍展開了強大攻勢，收復了察南、晉西和冀東大片土地，殲滅敵軍十七萬餘人，使華北敵軍陷入了被動局面。傅作義被迫將主力集中於平承、北寧鐵路和平綏鐵路東段，以確保平津；綏遠僅留四萬餘人分散守備，相對顯得空虛。黨中央、毛主席洞察全局，深謀遠慮，早在一九四八年七月華北我軍進行保北戰役時，就已開始部署西進綏遠之戰。七月三十日，奉軍委命令，我第二縱隊和第一、第六等三個縱隊組成第三兵團，準備擔負進軍綏遠、經營綏遠的任務。八月三日，毛主席在河北省平山縣西柏坡中央駐地親自召見了華北軍區司令員聶榮臻和三兵團司令員楊成武，當面授予了進軍綏遠的光榮任務，並對進軍的有關問題作了詳盡的指示和安排。
八月九月，三兵團在易縣地區召開團以上乾部會，聶榮臻司令員親臨會議作了動員報告，傳達了毛主席的指示，對國內外形勢、華北戰場敵我態勢和毛主席親自決定我軍向綏遠進軍的重大戰略意義作了詳細的分析，對部隊提出了要求。聶司令員風趣地對乾部們說：“我們要使傅作義成為我軍意志的'調兵司令'，能不能達到這一點，就看你們三兵團在綏遠打得他疼不疼了”。聶司令員的報告使大家受到了極大的鼓舞，同志們磨拳擦掌，鬥志十分高昂。接著，楊成武司令員具體部署作戰任務，分析了這次遠征的有利條件和可能遇到的困難。他特別強調指出，這次行動，遠離根據地，深入敵軍窠穴，敵情、道路不熟，綏遠又地處高寒山區，山多水少，地曠人稀，冬季氣候寒冷，當地群眾在國民黨反動統治下，生活十分貧困，戰區物資匱乏，特別是糧食更加緊張，我軍長途跋涉，千里進軍，在物資供應、行軍作戰、群眾工作等方面都會遇到許多在內線作戰時遇不到的問題和困難。我軍到綏遠要站住腳，就得準備餓三天肚子，吃兩天草。楊司令員號召全體團以上乾部發揚我軍艱苦奮鬥的光榮傳統，學習紅軍爬雪山、過草地的革命精神，克服一切艱難困苦，堅決完成毛主席賦予的進軍的任務。毛主席的指示和兩位司令員的講話，使大家有了克服困難的充分思想準備和決心。
會議一結束，我和第二縱隊的領導同志立即趕回駐地，著手進軍的各項準備工作。保北戰役後，縱隊司令員陳正湘因病休養，不能隨軍出征，參謀長趙冠英奉命率領兵團先遣隊已先期出發，縱隊領導只剩下我和副司令員韓偉、政治部主任劉國樑三個同志。遵照兵團易縣會議精神，我們三人研究了西進的各項具體準備工作，作了大體分工，便分頭下到了部隊。全縱隊（欠第四旅）上下迅速展開了戰前準備。旅、團分別召開了誓師會，動員會，進行了形勢教育和訴苦、“挖苦根”教育，在部隊中確立“全國勝利在望”的堅定信念和為人民利益而戰，不怕艱苦，不怕犧牲，勇於打向敵占區的思想；軍事上根據綏遠敵軍的特點和地理條件，進行了運動戰、攻堅戰和打騎兵等戰術技術訓練；根據作戰地域物資匾乏的情況，在物資上也作了相應的準備。黨中央、毛主席對我西進部隊十分關心，特地撥了大量的銀元、布匹，並由晉綏區派出大批幹部，解決進軍中的後勤供應問題。黨中央、毛主席的關懷對部隊鼓舞極大，使廣大干部戰士更增強了進軍勝利的信心。
九月五日，艱苦的綏遠進軍開始了。我第二縱隊由冀西滿城地區出發，向雁北的繁峙、代縣一帶開進集結。部隊為了多帶糧彈，每個戰士負重都達七八十斤，其中適逢雨季，秋風苦雨連綿不斷，道路泥濘難行，不少同志肩上磨出了血，腳上大泡套小泡，有的腫得穿不上鞋，仍然堅持趕隊。各級幹部發揮模範帶頭作用，和戰士一樣負重行軍，領導幹部把坐騎讓給病號，自己和部隊一起步行。旅長馬龍等親自挑著伙房的油挑子和戰友們進行爬山比賽，與戰士們同甘共苦，使大家深受感動。幹部戰士互相激勵，這種群眾性的思想政治工作，發揮了很大的作用，大大加快了行軍步伐。部隊到達集結地域後，三兵團與李井泉政委率領的晉綏軍區部隊會合一起，在朔縣米昔馬莊召開了前委會議，聽取了先遣隊和晉綏區工作團關於綏遠敵情、民情、地形等情況的匯報，並就沙盤具體研究了強攻歸綏城的作戰方案。各部隊在朔縣城周圍日夜不停地進行實彈射擊、攻城戰鬥動作和作戰指揮等訓練。其時，綏遠境內守敵有三個步兵師、一個騎兵旅和獨立騎兵團及地方保安部隊共四萬餘人，重點分佈於豐鎮、集寧、歸綏一線，依託其控制的鐵路、公路線進行機動防禦。據此，楊司令員、李政委決心首先以奔襲手段，堅決勇猛地奪取豐鎮、集寧、歸綏等要點，以達到控制豐鎮至察素齊段之平綏鐵路，爾後向綏南、綏北發展。具體部署是：以姚喆率領的晉綏第八縱隊並指揮一縱第二旅攻殲集寧之敵；以北岳軍區司令員王平率領的北岳部隊攻殲豐鎮之敵，爾後該兩部於集寧、豐鎮以東佔領有利地形，準備抗擊由北平方向來援之敵。第一縱隊（欠第二旅）、第六縱隊和我第二縱隊直逼歸綏，準備攻城。
會議以後，我縱向所屬部隊發布了《攻打歸綏緊急動員令》，在部隊中明確了進軍方向。指戰員們個個情緒高昂，決心書、請戰書紛紛呈遞到各級領導機關，爭擔主攻任務和登城先鋒。行軍隊伍中不時響起“快走啊，同志們跟上！快追呀，同志們跟上！勝利就在咱們腳上，要咬緊牙關，戰勝困難，我們才能打勝仗”的戰歌聲和簡短有力的口號聲。行軍間隙，部隊不顧疲勞，見縫插針，學習黨的城市政策、民族政策、宗教政策和我軍紀律，熟悉綏遠少數民族的風俗習慣。九月十二日，部隊越過雁門關，進入塞外雁北山區，山勢更加險峻陡峭，道路更加崎嶇；接著，穿過金沙灘、東西武城，又進入泥濘陷灘地區，更增加了行軍的困難。隊伍中不時有人滑倒，許多同志摔得渾身泥水、滿臉泥漿，但誰都沒有怨言。縱隊上下只有一個心願：按照毛主席的部署，排除萬難，勇猛進軍，打到歸綏去，解放全綏遠。