陝甘紅軍初建時，沒有武器，軍事活動全靠打入軍閥內部做士兵和下級軍官工作，發展地下黨組織，學習軍事，培養幹部，伺機舉行兵暴，奪取武器，建立自己的武裝。
1929年春，在南昌和秋收起義並在井岡山建立根據地的影響下，陝北特委在榆林城北雄山寺翠然閣(即紅石峽)召開特委擴大會議，決定發動武裝起義。會議批判了特委負責人楊國棟的右傾、消極錯誤。會議決定今後黨的工作，重點由農運、學運轉移到兵運上來，集中力量抓武裝鬥爭，劉志丹擔任軍委書記。會後，劉志丹到延安視察，在延安黨組織的秘密機關——劉希向家裡召集匯報會。高崗、李馥華向劉志丹匯報了情況，馮世光、劉希向、吳鴻濱、杜守智、高鵬飛等參加會議。劉志丹在會上傳達了紅石峽會議“黨員到軍隊去，在西北培植革命的軍事基礎”的精神，主要講了趁著救災抓緊建立游擊隊，開展陝北游擊戰爭。他說，毛澤東、朱德在井岡山創建工農紅軍，開闢根據地，就是中國革命的道路，也是陝北人民鬧革命的道路；把農運、學運轉移到兵運工作上來，要求黨員同志們，奪取反動派的武裝以建立地下游擊隊，想辦法籌款，抓豪紳索款。劉志丹傳達的精神正中高崗的心意，如同久旱逢甘霖。高崗在會上說：革命非抓槍桿子不行，打進敵營拉來槍，槍桿子和農民結合，掌握武裝，打擊敵人，否則沒有出路。我們打進敵人內部的方針是“鑽進去，站住腳、爬上去，拉出來”。他還說：“咱陝西地區和毛澤東講的情況一樣，打倒帝國主義，打倒軍閥，打倒劣紳，是國民革命的主要任務”。會議對延安地區工作進行研究部署，決定延安地區總負責人李馥華並兼管延安縣工作；延長縣由馮世光負責；洛川縣王世泰負責；保安縣曹初本負責；黃龍縣李象九負責；甘泉縣薛太來負責。高雙成部負責兵運的有高崗、李含芳、高鵬飛等，亦稱軍事組。會議之後，在國民黨延安高雙成部負責兵運工作的高崗、李含芳等，在高崇義的小店里和劉志丹一起研究了兵運工作，決定在高雙成部搞一次兵變，暴動勝利後，將部隊拉到保安縣二將川地區打游擊。
高崗是高雙成部地下軍事組負責人，他利用擔任旅部的司書為掩護，領導軍事組和部隊地下黨員一起，積極發動兵變。高崗為給地下游擊隊送武器，取得高雙成同意派兵出去“巢匪”的隊伍以失利為名給地下武裝隊送了武器彈藥，並以“被俘”而拉走了部隊，準備配合、接應延安兵變，少數人逃回延安報信，高崗又假意向高雙成做安慰工作。同時，他以旅部司書(團附)的身份，廣泛接觸了國民黨八十六師來往的上層人物，拉扯關係，開展統戰工作，為後來抗戰時期延安同榆林國民黨二十二軍實行抗日統一戰線打下基礎。
其時，橫山反動鄉紳，勾結政府和軍隊，到處捕捉高崗未獲，使盡卑劣之手段，以捏造高崗當“土匪”，在家裡私藏槍支為罪名，逮捕了高崗的叔父高仲魁、高仲發作人質，押送橫山公安局下獄。公安局令其找回高崗，並誘囑高崗回來可以委以重任，否則嚴懲他二人。他叔父將情況寫信託人轉告高崗。高崗接到信，未看完就勃然大怒，將信扯的粉碎，並連聲說：“難道我革命了幾年，再去當反革命？辦不到！”“革命就不能纏綿留戀了。”表現出了堅定的革命情操和共產黨員的氣節。
高崗打入高雙成部期間，除和李含芳(時任營長)、李妙齋(即王之憲）、劉景明等地下黨員，秘密組織發動兵變外，他還到延安四中搞學運，利用到學校打籃球，踢足球等活動，廣泛交朋友。他通過工友姚安吉(共產黨員)在學校發展黨員，策劃學潮，宣傳革命，以策應兵變，結識一些學校知識分子朋友，利用學校油印設備，親自刻臘板，印發上級來文來信，宣傳資料，和各縣支部聯繫，供給地下游擊隊宣傳資料。他和姚安吉建立了深厚的革命友誼，他們倆經常在一起交談工作，搞宣傳，姚叫高崗回老家時，到鎮川買點幹爐嚐嚐，“聽說你們那里幹爐好吃”。
這年冬季，高崗在高雙成部發動組織兵變，已經有把握了，還聯繫安塞地區西河口、高橋、鐮刀灣地下游擊隊和哥老會配合拉出隊伍，奪取武器。在關鍵時刻，被叛徒出賣，說出高崗是共產黨，策劃部隊譁變……破壞了延安兵變計劃。高雙成下令逮捕高崗等共產黨員和進步人士。高崗即找本城人姚安吉，他說：“黨內出了叛徒，我已被出賣，部隊決定抓我。”姚安吉及時把高崗藏在城北角王台子農民劉勝華(共產黨員)家裡，白天不敢出門。三個城門關閉，城牆戒備森嚴，出入行人辨認，盤查極嚴，“抓捕高麻子”，城內捉拿高崗的風聲越傳越大。姚安吉以炊事員不打眼的身份，假借買菜、買柴的機會，觀察哨位和城牆的高低，選擇在清涼山對面延河畔的一座祠堂跟前城牆底有個污水洞，跟底堆積很多垃圾，洞口安幾根鐵柱，石頭多年腐蝕，鐵柱子夾的不緊。一天晚上夜深人睡後，姚安吉拿火柱將石縫挖寬，把鐵柱板斜，高崗從污水洞爬出去。這是高崗五次大難不死、死裡逃生的第二次。延安區委被叛徒出賣，慘遭破壞，大部分黨員逃跑，有的被捕，有的自首，有的被殺，全城一片白色恐怖。共產黨員王志環(時任高雙成部連長)和他的妻子王彩雲(時任地下黨聯絡員)因給地下黨通信慘遭殺害。區委遭破壞，兵變失敗，各縣支部都處於癱瘓狀態。
楊芝芳逃荒到延安後，高崗安排住在一家姓史的大戶院，她從橫山帶下去的兒子不服水土而夭折。高崗逃出城，托武善揚(橫山武鎮人)連夜把楊悄悄帶走，連房東也沒告訴。楊芝芳是小腳女人走長路困難，高崗用身帶的錢買了一匹馬，將楊芝芳送往安定縣。由於不敢走大路，繞山路走，馬在路上打滑掉入泥灘溺死。他們徒步到新窯灣週生華家住兩天，楊芝芳由武善揚送到武家坡的楊家峁娘家住。高崗路過安塞和胡立亭、薛應昌(後叛變)等將地下游擊隊(時誣為土匪)帶往保安二將川找到劉志丹，一起開展革命活動，策動兵變，抓槍桿子，發展武裝。敵人得悉新窯灣住高崗親戚，連續兩次到週生華家裡捉拿，周家人到山里躲藏，家裡被洗劫一空。
共產黨人劉志丹、謝子長、高崗等學習了南方毛澤東、朱德領導的游擊戰爭的經驗，總結了清澗、渭華、旬邑、延安等地多次武裝兵變失敗的教訓，堅持正確的方向和道路，在陝甘邊交界地區，全力發展共產黨自己掌握的武裝。
1929年秋至1930年春，馮玉祥同閻錫山結為反蔣聯盟，爆發了蔣馮閻中原大戰，馮玉祥將他的嫡係部隊調去參戰。期間，西北各省軍閥都為自己擴充勢力奔波。國民黨甘肅軍閥蘇雨生騎兵四師為擴充勢力，新編了兩個旅即八旅、九旅，到處招兵買馬。陝北特委趁蘇雨生擴軍的機會，先後派高崗、張東皎、賀晉年、張秀山、高崑山、曹華山、白天齊、曹炳奎、史法直、常煥章等50多名共產黨員和革命青年，前往寧夏平羅縣的李崗堡、姚福堡谷連舫、石子俊部當兵，開展黨的地下活動和兵運工作，準備奪取槍桿子，拉走隊伍，到橋山山區打游擊戰爭。謝子長、劉志丹先行前去並擔任九旅副旅長和八旅十六團副職。接著，張東皎等返回陝北與井岳秀為聯繫擴軍問題，又帶去吳世才、李友竹、李貴春、魏長春、魏長城等黨團員、青年到八旅十五團，該團轄四個連隊都有黨團員，全是陝北來的。高崗、張東皎被派到石子俊旅較同情共產黨的王子元十五團，建立了一個學兵大隊(即教導隊)，十五團副團長張東皎兼任大隊長，高崗任副大隊長兼分隊長，李友竹任司務長、黃育華任秘書，盧子元、常柴良、牛化東等講軍事課。他們在學兵隊建立了秘密中共地下黨的特別支部(亦稱軍委)，張東皎、高崗任正副書記，受陝北特委領導。不久，劉、謝離開蘇雨生部。張東皎、高崗領導下，在蘇雨生部開展革命活動，巧妙地運用了統一戰線的策略，利用親友、社會和軍隊中的關係，和其他國民黨軍隊活動，進行爭取、改造和分化工作，建立秘密組織，發展楊林，曹勝榮、李向明、李仲英等為黨員，靈活的利用軍閥軍隊中及社會各階級矛盾來為革命服務，更重要的是學兵隊員通過活動和聯繫，學會了做統戰工作的方法，結識各方面的人士，培養和鍛煉了一批幹部。他們組織黨員和青年，聯合和支持比較進步的以及危害較小的勢力來打擊最反動的力量。比如利用當時較開明的陳圭璋的力量，反對陝甘邊最反動的惡霸張廷芝團(是石子俊旅的十六團)。在張東皎、高崗的領導下，學兵隊政治文化生活很活躍，經常舉辦學習會，討論會，講政治課，討論共產主義，唱革命歌曲，組織秧歌隊，還寫詩作畫，頌揚勞動人民，揭露反動派剝削百姓，壓制士兵的罪惡行徑。學兵隊官兵平等，互敬互愛，同軍閥剋扣軍餉打罵士兵的狀況形成鮮明對照。
1930年夏，蘇部奉馮玉祥令移防平涼，走到半路上，平涼已被陳圭璋部佔領，蘇部的八、九旅返回寧夏時，又受馬鴻賓部打擊，該部南下無路，北上受打，感到跟蘇雨生已無前途，在寧安堡宣布脫離蘇部，並收繳了蘇部的軍械處的一些破爛武器，上了羅山。大家說：“我們也是逼上樑山的英雄好漢”。到羅山部隊生活極度困難，學兵隊本來就沒好武器，吃穿也無著落，司務長李樹林(即友竹)成天奔波後勤供應，把半成熟的大麥割來搓下炒著吃，一天吃半肚飯，衣服、鞋子都沒得穿，高崗赤著腳在熱燙的石頭上和帶荊刺的草地上一拐一拐艱難地走路，李樹林將他帶的一雙鞋送給高崗穿，使高崗感動地說：“這是熱里送鞋”。全隊戰士都感動地讚揚李樹林在極度困難時將一雙新鞋送給隊長，既帶感情又富有紀念意義。正是“餓時吃一口，強出飽時吃一斗”。直到全國解放後，高崗和李樹林等學兵隊員在北京會面時，還談及這件送鞋的事。六、七月，九旅和八旅的十五團(當時每旅兩個團，八旅的十六團已被張廷芝拉走陝北)被甘肅省代主席王禎收編為雷中田八師，改編為三旅，移防到靜遠，後又開拔到定西。石子俊任三旅旅長，王子元仍任團長，王團實際只有3個連和學兵隊，王子元本來就不滿反動的石子俊，而石子俊想搞掉王子元，下令將王子元團實力較強的學兵隊解散，將隊員分配到各連隊，一些人被驅出部隊。高崗對石子俊的這種飛揚跋扈反對王子元，排擠共產黨員和進步青年的作風，極為憤恨，在石子俊斷絕王子元部供養的情況下，高崗和戰士們連單衣沒辦法換，他組織了“擁王反石”鬥爭，發揚了艱苦、勇敢奮鬥精神和鬥爭藝術。經過鬥爭，石子俊無奈，又答應成立學兵連，任命高崗為連長，只給個空牌子，沒有兵，沒有槍，讓高崗自己到陝北招人。
其間，高崗多次找旅部參謀長曹又參(曹是高在榆中的老師)談話，研究對策。並請曹設法給予留隊的人以保護、支持，消除危機。曹答應想辦法，並說：“你們有什麼大的行動，要告訴我”。還提出要高崗確定專人經常同他聯繫。
高崗離開部隊前，利用晚間兩次在曹又參家中商量研究問題，指定李樹林為中共組織同曹又參聯繫。曹又參根據高崗的建議，辭去旅參謀長的職務，組建了一個新兵獨立營，自任營長，連、排幹部有高鵬飛、曹勝榮、李仲英等共產黨員為核心，掌握了一些要害崗位的實力，為後來起義打下底。安排牛化東、李樹林等黨的骨幹長期潛伏在後來的國民黨十一旅(前身三旅)開展統戰工作，使紅軍以及後來陝甘寧邊區同十一旅一直保持較好關係，高崗和曹又參保持經常通信來往。 1943年秋，由於十一旅不聽調遣，和八路軍“磨擦”不力，國民黨剋扣糧餉，冬季連棉衣也無法更換，經濟極度困難。邊區政府財政在極度困難的情況下，經高崗批准拿出30萬法幣給十一旅，以示關懷。曹又參在官兵會上講述了這件事，廣大官兵倍受鼓舞，加強了統戰工作。十一旅於1945年冬起義，西北地區以旅為單位起義的是第一次，抗戰勝利後，全國以旅規模起義的也是第一次。毛澤東稱此次起義是“火車頭”。這次起義，震驚了胡宗南集團，沉重打擊了國民黨反動派在西北的統治。
1930年秋，高崗和陳國賓離甘回陝北，積極招兵買馬，擴充隊伍，並派張志明等打入榆林井岳秀部搞兵運，準備從敵部拉出人槍。他又秘密潛入神木高石秀部和地下黨研究策動手槍隊起義，擴充學兵連。手槍隊拉出後西進中至安邊地區失敗。不久，陝西省委調高崗回陝西省委軍委負責兵運工作和省委交通工作。他先後到西安地區楊虎城部和漢中、甘肅胡宗南部，陝北井岳秀部做兵運工作，發展地下黨組織。在陝甘邊和劉志丹、謝子長、習仲勳等聯繫發動兵變，奪取武器，建立共產黨領導的獨立武裝。
1931年農曆正月，部隊改編後向南梁開拔，行軍至寧縣張皮原同陳圭璋部戰鬥受挫，部隊被打散。劉志丹帶部分黨員和戰士，至小石崖與團總、哥老會大爺羅連城搞統戰關係，羅連城收留了傷病員，並支援志丹一些武器。劉志丹又派馬錫伍和陳鴻濱，谷連舫等與蘇雨生拉關係，將劉志丹的少部分游擊隊暫編蘇雨生部的補充團，劉任團長，駐旬邑縣職田鎮。補充團初建基本上是空架子。高崗到織田積極協助志丹在職田休整部隊，籌措糧款，集合了張皮原被打散的人員，擴大隊伍，伺機將隊伍拉走。經努力在短期內，補充團發展到200多人，內有30多名共產黨員。 1931年4月，高崗參加陝西省委召開的全體會議，對張文華、張資平進行鬥爭，進一步討論確定了建立自己的武裝，開展游擊戰爭的方針。會議決定高崗在軍委工作，負責兵運和省委交通，開展陝甘游擊戰爭。會後派高崗以巡視員身份來到職田鎮，和劉志丹聯繫陝甘游擊戰爭的事，並傳達省委指示：“利用補充團的名義，盡快擴大隊伍，積極準備打出紅旗。”省委的指示是裝在點心裡帶出來的。劉志丹、高崗召開支部會進行研究，決定盡快擴大力量，做好士兵思想工作，培養積極分子，發展黨員，壯大組織力量，準備起義，打出紅旗。對如何擴大力量的問題上，他們研究採取對小股土匪、民團、哥老會進行分化與爭取的政策，指派一些幹部、黨員到土匪、民團、哥老會裡邊活動，爭取他們轉變乃至走向革命。當時稱之為“三色”兵運(即建立紅軍稱紅色，白軍裡搞兵運叫白色，土匪裡搞分化為灰色)，奪取武器，孤立和打擊反動的傢伙，以至消滅之。高崗負責恢復了劉志丹的黨籍(此前陝北特委因劉堅持在軍閥、土匪裡搞軍事拉武裝而被開除黨籍)。 (見《劉志丹和高崗的革命軍事活動》存省檔案館)。
他以省委代表的身份先後到甘肅和陝北領導開展兵運工作。一次在安邊被胡景通部屬逮捕，後經保安民團負責人曹力如(共產黨員)交涉取保釋放。這是高崗第三次死裡逃生。他對曹力如風趣地說：“有貴人扶持，一路逢凶化吉。”
1929年到1931年間，我黨在艱苦、複雜的工作環境中，運用統一戰線政策，聯合、支持比較進步的，打擊群眾憤恨的反動勢力，爭取了一些民團、土匪和哥老會的力量，有的接收過來改編為革命的隊伍。在當時敵強我弱的形勢下，實行這種政策是可行的，和毛澤東在井岡山時期發展壯大紅軍的觀點一致。毛澤東曾說過一句意味深長的話：“楊虎城也是黃龍山畢業的。”不少土匪、民團，處於中立、同情，並給游擊隊借槍、借糧、借路、借錢，向游擊隊通風報訊，接收療養傷病員。
30年代，陝甘邊地區哥老會組織很多，活動範圍很廣，是一支很大的潛在力量，多為保護生命財產而入夥，占山為匪的“山大王”也不少。劉志丹經碼頭山龍頭大爺馬海旺介紹加入哥老會，號稱西北堂劉大爺。劉、高利用哥老會成員身份，對這類“龍頭”、“大爺”和“山大王”採取聯合、爭取工作和宣傳教育他們走革命道路，利用他們的地盤作聯絡站或隱蔽所，奪取武器、擴大力量，龍頭大爺馬錫五經過宣傳教育，1930年春帶百餘名成員參加革命。安定縣龍頭大爺李仲英率部參加革命，1936年擔任紅二十九軍軍長，馬錫五當了陝甘邊蘇維埃政府主席、陝甘寧邊區法院院長。在開創時期，哥老會成員為革命做了大量有益的工作，鬥土豪，分田地，獻槍支，捐糧食，參軍參戰，外出買武器，給紅軍通風報訊，當偵察員。海旺家成了紅軍的兵站，後來成了陝甘寧邊區的勞動模範，全國進步哥老會組織的副主任，陝甘寧邊區中華救國會副主任。毛澤東在1936年7月15日向全國哥老會發出的《宣言》中高度讚揚說：“劉志丹、謝子長、高崗等諸同志，他們不獨是紅軍的領袖，並且是哥老會中的模範。”
1931年5月，劉志丹在職田鎮期間，為了發動群眾，擴大隊伍，組織貧苦農民打富濟貧，吃大戶糧，派補充團團副陳鴻濱向當地大豪紳劉日新要20石糧，限期送來，劉日新頂碰陳部時被戰士踢打後而上吊自殺。這一帶地主、豪紳藉此大作文章，聯名向國民黨陝西省政府、省黨部(劉日新的兒子在省黨部幹事)告劉志丹是共產黨，準備搞兵變。於是蘇雨生根據省黨部指示誘騙劉志丹到彬縣逮捕下獄，並派兵繳了補充團的槍，將人員編為蘇部的一個運輸隊，魏佑民、劉約山任正副隊長。共產黨員師智才奔赴西安和劉映勝向中共陝西省委匯報情況，省委即指示當時任國民黨省政府秘書長的南漢宸(中共黨員)和軍委高崗活動楊虎城的高級參議杜斌丞營救劉志丹。高崗、馬志貞先至彬縣積極採取措施營救，通過關係在監獄探望志丹，並觀察地形，命劉景範等組織力量，準備劫獄。同時指示蘇雨生部的地下黨員和通過蘇部進步勢力的活動，給蘇施加壓力，使蘇雨生部下埋怨蘇不該把劉抓起，拖延時間。省黨部連續兩次急令蘇雨生，將劉押送省上處治。蘇正準備押送，省黨部又來緊急命令，要蘇就地處決劉志丹。志丹得息毫不畏懼，並對來探望的同志說：“你告訴高崗……我遭毒手，要死就死，絕不會連累任何同志，叫他自己小心。”處決劉志丹的命令難住了蘇雨生，既不敢放，又來不及送，也不忍殺在他手裡。正在左右為難時，杜斌丞奉楊虎城命到彬縣視察，令蘇釋放了劉志丹，使劉志丹撿的一條命。
高崗、志丹等住在彬縣一小店裡，杜斌丞去看望並面授機宜，說：“你們應站在前線上，不要站在後線上；要站在長線上，不要站在短線上(後、短線指國民黨)。”高崗向劉志丹等傳達了省委指示，計劃在甘肅策動五個旅的兵變計劃，劉、高等研究了貫徹省委的指示，決定到平涼和甘肅警備司令陳圭璋談判，準備收編在寧縣李培霄的饑民武裝近千人，改編一個旅，暫歸陳部，待後拉出來，打出紅旗。陳圭璋的副官李勤甫(志丹的老鄉)到天津為陳購買武器回來，路過彬縣也被蘇雨生扣押下獄，恰好和劉志丹關在一起，經谷連舫(蘇部副旅長)周旋放出來。高崗、劉志丹和李勤甫交談，李約請高崗、劉志丹到平涼陳部共事，這樣兩方不謀而合。杜斌丞的秘書姬伯雄將他們倆安排到李勤甫運武器的車上一起到平涼。蘇部地下黨員白冠伍相送到彬縣大佛寺。劉志丹臨別贈白冠伍一首詩：“丹心綿綿欲訴君，五中耿耿千秋明，西出陽關擊螃蟹，旭日東昇遍地紅。”高崗改了兩個字，遞給白冠伍。他們到平涼經陳圭璋的警備團長劉保堂(保安人)積極推薦，李勤甫鼎力相助，陳圭璋也對劉志丹很敬重，任命劉志丹為十一旅旅長，劉保堂的警備團撥歸十一旅並任劉保堂為副旅長，駐防甘肅正寧、寧縣一帶，高崗積極幫助劉志丹招兵買馬，擴建武裝，部隊很快發展到300多人。高崗在平涼地區繼續搞兵運，貫徹省委5個旅的兵變指示。
其間，杜斌丞向楊虎城、鄧寶珊建議：要搞西北大聯合，否則鬥不過蔣介石。楊、鄧有同感，構成爭取陝、甘、寧、青、新雜牌軍隊和中共武裝聯合，力爭實現“回漢一家，陝甘一體，打通新疆，結好蘇聯”的意圖。杜斌丞為實現這一意圖，曾幾次奔走甘肅、青海，和軍政要人及各方實力派磋商、溝通。 1931年秋，杜斌丞兩次到甘肅，打算利用楊、鄧的實力，首先實現“陝甘一體”，然後再向青、寧擴展。他首先到平涼與各自為政且和共產黨游擊隊有聯繫的駐平涼新編十三師陳圭璋部聯繫。高崗等到杜參議住所拜訪、交談。杜向他們透露了西北大聯合信息“打開後門，關住前門”。杜斌丞的韜略恢弘政治家的風度，對高崗擴寬視野，受益匪淺。他表示但願如此。可他認為西北的軍閥頭子，沒有愛國的思想觀念，畫地為牢，各霸一方，派系紛爭，各懷異心，都是想當土皇帝，非槍桿子，很難統一起來。經過交談他們之間友誼更加深厚。
不久，高崗回陝北搞軍事活動，在安定被捕處以死刑，幸得同志的設法營救出來，化妝成腳戶逃回西安。
高崗在搞兵運和交通工作期間，憑他的機警、膽略、沉著、洞察和能言善辯的特點，奔走陝甘邊，出入敵人營壘，策動兵變；爭取哥老會，瓦解民團，深入農村組織發動群眾；傳遞情報，在敵人嚴密監視下，經過一道道關卡，避開多處暗礁，在“來無形，去無踪”的戰線上，沒出任何差錯，保證了省委和下邊這條“血脈通道”的聯繫，同時，使自己在對敵鬥爭中受到鍛煉。
杜斌丞被國民黨殺害後，1948年10月，陝甘寧邊區各界舉行杜斌丞先生追悼會，高崗從東北發來弔唁挽詞：
“悼斌丞先生：杜斌丞先生，是我黨的忠實朋友，為人民民主事業堅貞奮鬥，貢獻頗多，因此贏得西北人民的同情和愛戴，但也因而遭遇到蔣胡匪幫姤忌以至最後殺害。杜先生為真理正義奮鬥的意志，實是全國一切民主人士的榜樣。杜斌丞的死是今天中國新民主主義事業的損失。我們將繼續努力，爭取全國的勝利，懲辦兇手，告慰英靈。”
中共陝西省委決定在陝甘邊依托橋山山脈建立工農武裝，發展游擊戰爭。同時決定原來埋伏在陝甘軍閥隊伍中的共產黨員，都準備譁變，拖出幾個旅的部隊到橋山建立根據地。高崗在42年高干會上總結農運和兵運經驗教訓時說，雖然取得一些暫時勝利，取得一些經驗，鍛煉了一批幹部，最終多數失敗。當時省委的兵變計劃受左傾路線的影響，帶有很大的盲目性，多數是單打一，從單純農運轉入單純軍事的傾向，農民沒有充分發動起來，兵變和農民運動結合不起來，又沒有游擊隊援應，打游擊戰爭的經驗不足，“只會擊，不會遊”，沒有很好地依靠農村。
當時，對槍桿子與農民結合的重要性認識不足，措施不得法，成立什麼“行動委員會”，要在陝北、關中、甘肅建立三個軍的兵力，片面強調赤色恐怖對抗白色恐怖，“反對書生姑娘習氣，提倡暴徒潑婦精神”。沒有發動農民土地鬥爭等，使旬邑、橫山、綏德和禮泉、扶風、兩當、靖遠等地的農民、士兵暴動，沒有很好結合起來。
高崗按省委的兵變計劃在隴東地區白軍中發動兵變，雖然作了極大努力，費盡心血，起義都沒有成功。期間，劉志丹從彬縣到平涼陳圭璋師後，掛一個十一旅的番號，自任旅長，駐紮寧縣早胜鎮，高崗、劉景範去協助劉志丹招人買馬，隊伍迅速擴大。從井岳秀部譁變出來的高廣仁部投靠陳圭璋，改編十三旅也駐早勝後，又譁變扣留劉志丹，並繳了十一旅的槍，使劉、高拉起來的一支部隊，在軍閥火併中喪失。後被陳部蔣雲台旅打垮高廣仁旅，蔣雲台以劉志丹失掉早勝為由準備抓捕劉志丹，舊友劉保堂告訴劉志丹，劉趁雨夜逃離，進入南梁地區林錦廟(現華池縣林鎮鄉)一帶活動，高崗協助收留了被打散的人員，在南梁附近收編了一些饑民、小商販、手工業工人和起義過來的官兵、土匪，還收編了胡立亭、趙連壁、楊培勝、賈生財等小股武裝，重新組織了一支南梁游擊隊300多人。他在多次失敗中，摸索到開展游擊戰爭的經驗和正確的方向。
1931年秋冬，閆紅彥、楊重遠等帶領晉西游擊隊從山西過河後，收編師儲傑等帶領的保商隊武裝，經安定縣輾轉到合水縣，在林錦廟和志丹的武裝會合。省委對這兩支部隊很關注，希望能根據急劇變化的革命形勢改變以往“藉水養魚”、“借雞下蛋”的兵運方法，公開打出紅旗，建立一支正式的紅軍武裝，與農民運動結合起來，開展農村游擊戰爭，打富濟貧，“養雞下蛋”，“畜水養魚”，擴充武裝，建立根據地。
10月，謝子長、高崗根據省委指示：要負責把劉志丹、楊重遠、劉保堂的三支部隊組織起來，開展游擊運動。子長和高崗在平涼了解陳圭璋部的兵運情況，相機發動兵變。他們在東關旅社住了半個多月，進行社會調查。一位國民黨要員在平涼召開民眾大會訓話，子長、高崗以商人打扮，大模大樣在會場轉遊，一邊聽“訓話”，一邊觀察會場對“訓話”的反響。之後，他和子長一起到南梁召開黨團員會議，成立了游擊隊委員會。在劉、謝、高的共同努力工作下，劉、謝、高和劉保堂、楊重遠等18人結拜，劉志丹寫了《金蘭譜》，以拈香結拜的方法，將三股武裝合編一起，找主求生，暫歸編陳圭璋部，為領取過冬衣食供給。但在打什麼旗？駐什麼地方的問題上發生了爭議，一時無法定下來，於是隊委會決定派高崗回西安向省委匯報請示；劉保堂向平涼陳圭璋請示。為了等待省委指示，部隊暫住慶陽縣新堡。劉保堂當時意味深長地說：“和你們交往值得，這些人將來是西北的要人。”劉保堂的預料還是有遠見的。
高崗回到西安後，陳圭璋去蘭州時被孫尉如部下楊子恆部暗殺了，對劉保堂震動很大，在打什麼旗、駐什麼地方的問題上，他對劉謝高說：全由你們決定吧。 “9·18”事變後，西北階級關係起了很大變化，統治階級內部發生了抗日傾向，中下層要求抗日，這一變化最顯著的標誌是許多軍隊的中上層分子也找中共的組織進行合作抗日談判，還有許多地方著名人士要求抗日，接近共產黨人。高崗看到西安、漢中、渭北各地學生組織抗日團體，進行遊行示威，砸國民黨黨部。西安市學生包圍南京來的要員的住宅，驅逐戴季陶，並燒了汽車，使他感到民眾抗日情緒日增，正是發展武裝的好時機，積極主張發展抗日力量。但省委領導受左傾路線影響，搞關門主義，拒絕統一戰線，白軍進步軍官來商談合作，不予談判；把富農和地主一樣打擊，分配中農財產的“左”傾路線指導下，使革命誤失了良機。
11月，省委根據中共中央提出：“武裝全國人民進行民族革命戰爭，反對日本帝國主義”的方針，決定正式成立陝甘人民武裝，由劉志丹、謝子長、高崗在陝甘邊組織領導武裝部隊。高崗向省委匯報了南梁組織活動情況。省委根據高崗的陝甘情況匯報，決定成立中共領導的獨立武裝。 12月，高崗回到新堡傳達省委指示。指示說，根據“9·18”事變後全國和西北革命形勢的變化，省委決定部隊脫離國民黨部隊，單獨搞武裝，並經整頓南下，擴大到關中交界，開展農村游擊戰爭。省委還決定拉出來的部隊改編為“西北反帝同盟軍”。
12月底，部隊離新堡、悅樂，沿武子嶺南下，行至慶陽六寸原，擊潰了陳圭璋部兩個連的阻擊。 1932年1月，到達正寧縣柴橋子村駐紮，以劉志丹領導的隊伍和晉西游擊隊為基礎，組建了西北反帝同盟軍，第一次提出反帝抗日的口號，打出了反帝抗日的旗幟，對敵人震動很大。經過劉志丹、謝子長、高崗長期的奮鬥，西北地區共產黨領導的一支反帝抗日武裝部隊勝利誕生了。子長、志丹任正副指揮。下轄兩個支隊，高崗任二支隊第二大隊指導員(亦稱政委)。 “同盟軍”成立時，發出通電，號召西北所有武裝部隊聯合起來，一致抗日救國。部隊在短期內發展到500多人。
同盟軍成立後，在三嘉原上和楊虎城部隊第一次交戰，旗開得勝，擊敗了楊部的一個團，繳獲了大量武器和裝備、戰馬，大長“同盟軍”的士氣，對當地群眾鼓舞很大。
西北反帝同盟軍在三嘉原駐紮期間，高崗回省委匯報“同盟軍”建立情況，部隊邊整訓邊宣傳群眾，打土豪，籌經費，擴充隊伍。在整訓中，一支隊和二支隊的意見發生一些分歧。為春節準備年食，二支隊第一大隊隊長趙二娃(連壁)帶部分隊員出去打土豪，在永和集市上趕了一些羊子、牲畜，違犯群眾紀律，影響很壞。臘月28日，部隊開拔時，以整紀為名，執法隊和警衛隊領導指揮開槍打死趙二娃、二支隊第三大隊隊長谷聚山、中隊長王某某和戰士周毛牛，打傷二支隊第二大隊隊長白冠五等，並將二支隊的武器全部收繳。指揮部宣布解散二支隊，劉志丹的槍也被收繳，令幹部離開同盟軍。這件事未同副總指揮兼第二支隊隊長劉志丹商量，是榮子卿等人的荒唐決定。第二天(一說當天，一說第三天)，一支隊隊長師儲杰拉走近200人投奔楊虎城部隊。致使同盟軍500多人的一支革命武裝銳減至100多人，蒙受極大損失。 “三嘉原事件”在領導之間、官兵之間、幹部之間造成了不良影響，在西北歷史上爭論了長達半個多世紀。直到1985年，中央對這件長期爭論的問題作出結論。結論指出：“隊伍成份不純，作風、紀律不好，按照黨的建軍原則進行整頓是必要的。但是，在一般情況下，採取一部分人繳另一部人槍的辦法，特別是在劉、謝兩位主要領導沒有取得一致意見的情況下，採取繳槍的辦法，甚至打死幾人，不論是誰的決定，都是不對的，更不能說是完全正確的。好在這支隊伍中多數同志以大局為重，始終堅持革命，為西北革命和紅軍的發展作出了重要貢獻，劉志丹就是其中傑出的代表。”
馬錫五、劉景範被勒令離開部隊後到職田鎮的第二天，恰好高崗匯報工作後帶著1932年1月20日陝西省委關於陝甘邊境游擊隊指示信(夾在小說中)，以省委特派員返回“同盟軍”指揮部，路過職田鎮，馬、劉二人將“三嘉原事件” 給高崗作了匯報。高崗趕到部隊將劉志丹槍還給本人，協助指揮部整頓和收歸了一部分隊員。
“同盟軍”成立不久，為了適應鬥爭的需要，根據陝西省委指示：部隊盡快打出紅旗，將同盟軍改編為中國工農紅軍陝甘游擊隊，並要求部隊改編後，向渭北平原挺進，在靠近西安附近建立根據地，威脅西安，爭取“一省數省”首先勝利。高崗回省委後不知道三嘉原的事件。他返回來和一些人在執行省委指示時，不同意部隊盡快改編，因為部隊剛建立，裝備不良，在“三嘉原事件”中蒙受損失，力量減弱，思想素質差，發展鞏固一段時間再改編，是有道理的。特別是向平原地區進軍，指戰員意見更大。可是，省委堅持“一省數省”的左傾路線，隨後派省委軍委書記李傑夫(即高維翰後叛變)到部隊監督執行省委的改編指示。
1932年2月12日(正月初六)，風和日麗，晴空萬里，西北反帝同盟軍指揮部根據省委指示，決定將“同盟軍”改編為“中國工農紅軍陝甘游擊隊”。這天，在三嘉原細咀子的錦章村群眾的打麥場上，召開軍人大會，全體指戰員脖子上係有紅色的“犧牲帶”，戰馬披紅掛彩，大會主席台上搭著彩棚，橫額上寫著“中國工農紅軍陝甘游擊隊授旗典禮”，兩旁插著繡著鐮刀斧頭的鮮紅小旗。游擊隊、赤衛軍和十里八鄉群眾數百人參加大會。高崗傳達了陝西省委關於建立陝甘邊境游擊隊指示信。 “指示信”說，省委聽了高崗同志報告後，關於你們的工作有以下的指示，希望你們深刻討論，堅決執行。指示信指出“紅軍勝利與蘇維埃運動的影響在陝西劇烈擴大情勢之下，必然要更加迅速發展前去，這一形勢正需要我們黨堅決領導農民革命的游擊戰爭與革命的兵士譁變才能推進鬥爭的發展與保障它的勝利，使正在開展的群眾鬥爭，匯合蘇維埃的旗幟下來，這一客觀的政治形勢是非常有利於你們發展的條件。”“你們行動的方針，是應加緊政治上、組織上、技術上的各種工作，堅決執行游擊戰爭的任務，游擊戰爭區域和方向應以關中道的三水(旬邑縣)、淳化、富平、三原、長武等主要方向……你們將來必須和這些區域內農民鬥爭配合起來。”(原件陝西省檔案館存)。
會上，李傑夫代表省委宣布了陝甘游擊隊的成立和建制，任命了軍隊領導人：總指揮謝子長，副指揮劉志丹，政委李傑夫，參謀長楊重遠，下轄三個步兵大隊，一個騎兵隊和警衛大隊。高崗任二大隊委書記兼第二大隊隊長、政委。大隊下設中隊、小隊，還設一個軍政幹部訓練隊，培訓小隊長以上乾部，旬邑縣委書記第五伯昌授給謝子長游擊隊旗。
指揮部成立了隊委會，由20多人組成，李傑夫任隊委書記，在各大隊都建立了黨支部，加強了黨對部隊的領導。在游擊隊建立了政治委員會，士兵委員會，實行政治和民主權利。三嘉原、秋頭原、陽坡頭、職田等地農民吹著嗩吶，抬著豬羊，載歌載舞，前來慶祝共產黨領導的第一支並打出紅軍旗幟的游擊隊成立。
西北地區共產黨領導的獨立武裝部隊經過長期的努力，這天正式成立，第一次在西北高原打起工農紅軍革命軍的旗幟，公開了這支部隊的性質、任務和目的，具有轉折性的意義，標誌著西北革命軍事鬥爭的開始，使人們明確了革命性質、方向。
陝甘游擊隊初創時期，領導多是初出茅廬的青年人，或多或少存在烏托幫的思想，都有些無政府主義觀點，不喜歡紀律、訓練和革命軍人的嚴密組織、思想行動一致等東西，特別有些從收編的土匪、民團中來的戰士，這種無政府主義觀點尤為突出，更看不起政治，甚至對黑暗統治的罪惡根源認識不夠清楚。所以絕對平均主義盛行，戰士對負責同志住好點的房子，騎馬行軍、吃的好些，都表示反對，要領導也站崗放哨餵馬……。
部隊改編後即離開三嘉原，開展游擊戰爭，投入消滅反動派武裝的鬥爭。第二天，一舉攻占了職田鎮，消滅了守鎮民團，搗毀了偽區公所，逮捕了幾名豪紳，糧食分配給農民。繼之，在陽坡頭伏擊了楊虎城的警衛團一個營，粉碎了彬縣、淳化、旬邑三縣民團近千人的進攻，大獲全勝，打傷和斃俘敵300多人，繳獲手提機槍20餘支，盒子槍7支，長槍150餘支，一個敵連長被俘。這是陝甘游擊隊成立後打的第一次大勝仗，打出了軍威，“赤色戰士的勇氣立即提高”，使敵人為之震驚。陽坡頭伏擊戰後，謝子長和高崗等率部隊沿馬欄河進軍到旬邑、淳化和正寧、寧縣交界的土橋原一線等地活動，並將土豪的財產土地分給農民。 2月21日，消滅了照金民團，收繳30多支槍。部隊在該鎮休整，召開了黨委會，總結了游擊戰爭和發動群眾的情況，分析了形勢，會議決定以《古田決議》為主要教材，對部隊幹部進行政治整頓。高崗受謝子長委託負責給幹部、戰士講政治課、紀律課和組織原則，學習《三大紀律六項注意》，根據毛澤東在井岡山創建軍隊原則實行軍事、政治、經濟三大民主原則，糾正了極端民主化和絕對平均主義的傾向，加強了部隊自身建設，發展地方黨組織，加強了組織性和紀律性，處理了一些無組織、無紀律和違法犯紀分子，全軍上下團結一致，鬥志昂揚，堅持“敵進我退，敵退我追，敵住我擾，敵疲我打”的方針，開展轟轟烈烈的游擊戰爭，尋機打擊敵人。
部隊休整後厲兵秣馬，轉入同官(今銅川)、宜君、中部(今黃陵)境內活動。首先消滅了窯曲鎮民團和國民黨十六師駐焦家坪一個連，擊潰一個營，打退了富平、同官，耀縣等三縣民團的兩次進攻，共殲敵200多人，繳槍200多支。為了避開敵人追剿，趁陝西十七路軍和甘肅暫編十三師在隴東混戰之機，謝子長、高崗等率游擊隊西跨橋山，進入中部縣上珍子地區，而後出擊隴東，開創根據地。
1932年3月中旬，陝甘游擊隊經過一個多月的轉戰，又回到正寧縣境內。此時，隴東軍閥混戰，甘軍失敗後官軍和土匪勾結，趁火打劫農民，維持給養。正寧偽縣政府向農民派款10萬元多，攤派大量公糧，還勒索敲詐不計其數，人民無法承受，致成“官逼民反”的形勢。當地群眾在紅軍的影響下，自發組織起幾個自衛民團，進行抗款抗糧的自發鬥爭。謝子長、高崗等帶領的游擊隊回到柴橋子村後，群眾無不高興，民團派人來聯繫要求攻打山河鎮。游擊隊委召開會議，經過分析研究，作出決定，支持群眾的要求，採取就地聯合民團，組織農民，準備攻打正寧縣城——山河鎮。 3月17日，高崗帶騎兵部隊和少年先鋒隊百餘人，率先開進寺村原新莊村，分別與各村民團、民眾聯繫，約定3月19日拂曉，軍民聯合，分東西兩路進攻山河鎮，並和城內國民黨軍隊部分官兵取得聯繫，準備譁變內應。接著，指揮部命令兩路部隊趕拂曉前到達指定位置。但因謝子長帶200多人的東路部隊夜行軍，走錯了路，19日早晨才到山河城東；高崗帶的西路騎兵部隊和30個村的600多農民，於18日晚在苟仁寺集中，高崗作簡短動員講話，民眾由杜興邦負責，行軍到柏樹坳，遭敵騎兵和紳士的阻攔，高崗命騎兵部隊和敵人交火，民團、群眾見紅白軍打起來了，慌亂退散，部隊向東南繞道，快吃早飯時才趕到山河城跟前。由於未按時投入戰鬥，造成欲攻不能，城內有二三十人準備內應也暴露了，被敵人逮捕。游擊隊在城外埋伏一天，晚間撤出山河鎮。第一次攻打山河鎮未成。
游擊隊從山河鎮撤下來，謝子長在西坡四圪塔召開隊委會，重新討論了行動計劃。謝子長在會上作了重要講話。高崗在會上也就建立根據地發表了重要意見。會議決定：一、到南原開展游擊戰爭，打擊豪紳地主的破壞；二、廣泛發動群眾，將群眾自編的民團改為自衛軍；三、立即實行陝甘游擊隊的綱領；四、準備再次攻打山河；五、創立陝甘邊革命委員會，建立根據地。會後，部隊開到寺村原，趁自發的群眾鬥爭方興末艾，在子長、高崗等指導下，將原有民團改編為赤衛軍，成立了赤衛軍指揮部，杜興邦任總指揮。高崗、楊森帶騎兵部隊到各村發動群眾，組織群眾，張貼標語，宣傳建立蘇維埃政權，創造根據地。高崗等組織幹部走村串戶，訪貧問苦，促膝談心，做群眾思想發動工作。經過廣泛組織發動，各村普遍建立起農民聯合會、貧農團、赤衛軍組織，以寺村原為中心，擴展紅色區域，南北40多里寬，東西100多里長，共有72個村都組建基層政權組織，進行打土豪，分財產鬥爭，受到群眾的好評。他們說：“從來沒見過這樣的隊伍，見了窮人，就像見了親人，到窮人家，就像回到自己家，掃院、擔水、打柴……什麼活都乾，真是窮人的部隊，有了這樣的隊伍，國民黨的尾巴長不了幾天了。”當時，游擊隊經過整頓，紀律嚴明，不拿群眾一線一針，吃飯買糧付錢。游擊隊離村，群眾列隊歡送。
4月初，72村的赤衛軍，貧農團代表和游擊隊一千餘人，在新莊村召開大會，成立了寺村原革命委員會，選舉產生了革命委員會主席、副主席，下設軍事、財糧、貧農、工人、青年委員會。革委會成立後，又召開群眾大會，鬥爭了土豪，在苟仁寺處決了大土豪趙元亨(趙大人)及其走狗鞏得功，並沒收其財產，分給貧苦群眾。使群眾揚眉吐氣，大煞了地主豪紳的威風。
寺村原革委會，是高崗在陝甘邊區親手參與建立的第一個蘇維埃政權，是西北地區的曙光。革命委員會在游擊隊配合下組織群眾，發動群眾，打擊土豪劣紳，沒收地主豪紳的糧食、牛羊和財物，分配給貧苦百姓。為了鞏固新生的革委會，擴大其影響，高崗指揮騎兵部隊到正寧縣的永和、北極、廟底和彬縣的永樂、旬邑的職田、大峪、張洪等村鎮，抓土豪，沒收其財產，分配給貧農，雇農、佃農，燒毀一切契約，顯示了游擊隊和革委的威力，當時，革命政權不穩固，農民只敢接收浮財，不敢要土地，怕游擊隊一走就沒有保障。游擊隊和革委不強人所難，聽其自願。
陝甘游擊隊在寺村原集中活動了20多天，建立和保衛了紅色政權，是蘇維埃政權建設，創立根據地的第一次學習、償試、鍛煉和實踐，雖然時間不長，但影響深遠，在當地人民心目中留下深刻印象，為後來照金、南梁建立根據地提供了經驗。同時，游擊隊在寺村原活動期間，相對地有個穩定的群眾基礎，繼續加強了部隊的軍事紀律和群眾紀律教育。原來部隊紀律很差，絕對平均主義嚴重，游擊隊領導行軍中騎馬也受到戰士的批評，經過在斗爭中加強教育改造成份，淘汰了無法轉變的土匪、流氓分子，改變了幫會、綠林的色彩，吸收了一批青年農民參軍，使部隊的素質有所提高，戰鬥力不斷加強。
游擊隊在寺村原活動一段後，準備再次打山河鎮，革委會、赤衛軍指揮部組織72村近千人手持長矛、大刀，在苟仁寺集中，配合游擊隊聯合作戰。 4月13日，在謝子長、高崗等指揮下，從山河東、南、北三面發起攻擊。高崗率騎兵一直衝到山河城下。戰鬥打響後，敵人都鑽進城裡，憑藉堅固工事，向周圍游擊隊和赤衛軍還擊，雙方對打了兩天一夜。 15日下午，敵駐早勝的一個騎兵營前來增援，游擊隊迅速撤退，隱蔽在城西十來里的西坡坳裡，當敵人趕到時，游擊隊突然殺回馬槍，殲滅敵人200多人，當場擊斃敵40多人。敵人大挫銳氣，急調頭撤退，高崗等率游擊隊乘勝追擊，將殘敵趕入城內。由於山河鎮位於平原上的一個堅固土圍子，我游擊隊沒砲兵，第二次攻打山河又未得手。
游擊隊回到根據地寺村原，隊委會研究下一步游擊行動的問題時，旬邑來人說縣城空虛，請游擊隊去攻打。謝子長、高崗率部隊當天晚從寺村原出發，於翌日拂曉到達旬邑縣城跟前。高崗、吳岱峰率第二大隊乘敵熟睡之機，首先摸到西山寨堡上，活捉了哨兵，游擊隊沖入堡內，像沸水灌蟻窩，全部收拾守敵，佔領了西山寨子，掩護西城門登城的戰士佔領了東門和南門後，兩路夾攻，敵一個連及兩個排不戰而降，並控制了製高點。城內部分守敵及一些政府人員見勢不好，紛紛逃跑於北山的魁星樓內。由於北山地勢險要，易守難攻，我游擊隊為避免傷亡，放棄攻打。
我游擊隊攻進城後，活捉了偽縣長和警察局長等，並召開群眾大會，例數其罪狀並處決了反動傢伙；打開監獄，放出所有“犯人”，分了大地主高萬安的糧食等物；慰問了革命烈士家屬；在街上刷寫了大幅宣傳標語；火燒掉了縣衙門的捲宗、帳目和偽縣政府。
這次戰斗大獲全勝，是游擊隊成立以來攻克的第一座縣城，斃俘傷敵300多人，繳槍近200支，城里城外貧苦老百姓拍手稱讚“紅軍打得好！紅軍打得好！”
游擊隊成立後，雖然兩次攻打山河鎮未克，但為攻城提供了經驗和教訓。此時，高崗根據敵強我弱的情況，提出運用“避實就虛”的戰略，開展游擊戰爭，擴大鄉村根據地。部隊從寺村原出發，向有利於游擊戰的照金一帶發展，發動群眾，打土豪，滅民團，創造根據地。
4月下旬，時任陝西省委書記杜衡和劉志丹(劉是打山河鎮前回省委匯報工作，實際是反映三嘉原事件的)一起到游擊隊來。 (杜衡是陝西省佳縣人，擔任過陝北特委書記，陝西省委書記，紅二十六軍政委和二團政委。1933年被國民黨逮捕叛變，後到台灣。)杜衡一到游擊隊，執行左傾路線，抓住三嘉原事件和攻打山河鎮未勝等問題，撤銷了指揮部，謝子長被打發到甘肅搞兵運。游擊隊按省委指示，在旬邑的馬家堡改編為三、五兩個支隊，劉志丹任三支隊長，高崗任三支隊隊委書記，閻紅彥任五支隊長。游擊隊在劉、高、閆的指揮下，在乾縣、永壽、耀縣、三原等地區開展游擊活動。接著，敵人分幾路進剿。針對敵人進攻態勢，5月上旬，省委又決定成立指揮部，劉志丹任總指揮，李傑夫任政委，高崗任隊委書記。游擊隊採取“避實就虛”的戰略和“游擊運動”的戰術，粉碎了敵人的“圍剿”。發展方向上，游擊隊委分析敵情，認為北面敵人分散，又距西安、延安較遠，指揮遲緩，增援不易，為敵薄弱地區，利於我軍游擊作戰，隊委決定向敵人空虛的北面轉移，尋機打擊薄弱之敵。
作戰策略和方向確定後，指揮部率領部隊從清水原出發，向宜君、黃陵、洛川、富縣、宜川等地挺進。
5月15日，部隊乘夜襲擊馬欄鎮，殲敵2個連及部分民團，斃傷俘200多敵人，繳槍200餘支。 17日，向鳳凰山守敵發起攻擊，大獲全勝，殲敵2個連，同日，還殲焦家坪，五里鎮民團，一天打了三仗，共殲敵500多人，繳獲槍400多支，並在這一帶打擊土豪，分財產，擴大紅軍。之後，到白水，黃陵等地殲滅一些民團，擴大紅軍影響。 5月27日(一說26日)，因部隊連打勝仗，指戰員產生麻痺思想，在富縣吉子峴，高雙成部趁我開倉放糧之機，派特務團襲擊，並在分糧群眾裡混進了便衣敵特人員，裡擊外攻，我部隊傷亡很大，丟掉輜重，輕裝夜渡洛河，到第二天在交道原休整時，又遭高雙成的一個營撲來堵擊，被游擊隊擊潰。
5月30日，在牛武鎮殲井岳秀部陳卓武一個營。 31日，在宜川縣英旺鎮消滅敵300多人，繳獲300多支槍，兩萬多發子彈和大批物資。此戰高崗帶二大隊將衝出城的敵人從後山壓下溝底，騎兵堵住溝口，造成全殲整營的形勢。俘虜們驚奇地說：“怎麼神不覺鬼不知，你們就來了，難怪老百姓都說你們是神軍。”
在5月後半月，游擊隊在劉、閆、高等指揮下，發揚連續作戰的精神，有把握地“擊”，巧妙地“遊”，連打九仗八勝，殲敵1400多人，繳獲1200多支槍，粉碎了敵人的進剿，我軍發展到1500多人。戰士說：“志丹、高崗一結合，如虎添翼，仗仗勝利。”
1932年6月3日，游擊隊攻打宜川縣的臨鎮(今屬延安市)。臨鎮位於延安東南面約100多里，是個山區小鎮。雲巖河由西向東從鎮南邊流過，東側山邊有一山寨，可以控制全鎮。攻城戰鬥部署是：閻紅彥指揮五支隊擔任正面攻擊，高崗指揮第二大隊佔領東山寨，掩護主力攻擊。戰鬥打響後，高崗按時佔領了東山制高點，
掩護閻紅彥正面攻擊並已攻入鎮內。接著，敵人組織力量進行反攻，閻紅彥部被沖散，退出鎮內，敵人火力集中到東山寨，以搶占制高點，把高崗的部隊打散，陣地被敵人奪去。高繼續組織被沖散部隊反擊。此時中隊長黨益山的部隊被沖散，遂拉出十幾人，強行將高崗的槍下了，把部隊拉出戰場，向西轉移，主力向東撤退，相互失去聯繫。
游擊隊攻城未果，部隊撤出戰場，主力轉移到宜川集義鎮休整。 6月4日，在閻紅彥的提議下，劉志丹主持召開了隊委會，高崗以臨陣脫逃論處，決定開除高崗的黨籍並下令通緝高崗。
游擊隊一連串打了勝仗，隊伍得到迅速發展，可謂人多勢重，一時勝利“沖昏了頭腦”，遠離根據地，高對此曾向指揮部提出意見，未被採納。在攻打臨鎮時又有輕敵情緒，偵察情報有誤，說臨鎮寨子空虛，敵人不多，實際駐1個整營，造成此戰失利。劉志丹的干將高崗脫離主力，實際給劉抹了黑。部隊向韓城等地游擊運動，引起敵人重視，派來一個旅的兵力追剿。在敵人優勢兵力的圍攻下，又處不利游擊戰爭的平原地帶，打了次幾敗仗，人員銳減到不足300來人，在幹部中出現悲觀情緒，戰士思想發生動搖。 6月底，游擊隊撤出韓城，轉移到正寧縣麻子掌。在隊委會上李傑夫等提出“南北分家”的主張，就是各回各地區活動，陝北的回陝北，關中的回關中，陝甘邊的回陝甘邊。李傑夫說：願南下的跟我走，願北上的跟劉走。這種錯誤傾向遭到一些正確意見的反對，特別是劉志丹、閻紅彥堅決反對。隊委會決定改選了領導，劉志丹指揮、李傑夫政委職務被免去，閻紅彥擔任指揮，將三、五支隊改為騎兵大隊和兩個步兵大隊，在閆紅彥率部向西面挺進，轉戰到陝甘邊的盤克原一帶休整活動。實踐一再證明，在敵強我弱的形勢下，平原地區要立足正是劉志丹曾說的“寡婦夢見男人。”
黨益山中隊在臨鎮被沖散後，當日下午在麻洞川東面的稍溝村南山住宿。晚上，黨益山從山上下到稍溝村打聽大部隊去向情況，正好碰上高朗亭負責的陝北延川游擊隊在延長遭敵人襲擊，撤到稍溝村住宿。黨益山被高朗亭游擊隊扣起來，下了他的槍(正是高崗的槍)。黨益山說他是劉志丹游擊隊的一個中隊長，大隊長是高崗，在臨鎮被敵人打散，現住南山上，他下來打聽尋找大部隊，“正好是你們，是自己人”。高朗亭的游擊隊裡有個劉益三(經濟員)，他曾在1929年延安四中唸書時認識高崗，知道高崗在延安搞過學運、兵運。高朗亭把黨益山的槍收起來，讓其徒手上山通知高崗下山來。不多時，高崗下來，背一個空槍套子和子彈帶子，將他被沖散的過程和找志丹部隊情況向高朗亭談了，並詢問高朗亭的游擊隊情況。高崗問：“你的游擊隊受那裡領導？”高朗亭說受“第四國際領導”。高崗說“怎麼受第四國際領導？”。高朗亭說：“第三國際革命，第四國際更革命”。高崗哈哈大笑起來。原來是高朗亭要建游擊隊，請示陝北特委未批准，高組織起來拉出去活動。隨後，兩人談判，經高崗動員後。高朗亭同意聯合行動一道尋找劉志丹的大部隊，將兩支游擊隊合編一起，仍叫“中國工農紅軍西北先鋒隊”，高朗亭將槍交給高崗。同時，建立了黨總支，黨思恭任書記。
黨益山帶的19個人，21支槍，高朗亭帶的50多人，20多支槍，合編為三個中隊，由高崗、高朗亭負責，向西轉移，尋找劉志丹大部隊，但打聽不到大部隊去向。為避免南下敵人的鋒芒，決定北上。部隊到延安城南馬不踏河紅市村，折轉北上。高朗亭因在延長遭遇戰中受傷，無法行軍，到延安去治病。部隊由高崗和參謀長楊作棟帶領，經杜甫川到安塞縣的高橋，一路打擊地主豪紳，籌集經費，開倉放糧，避敵鋒茫，打其弱點，繳獲一些槍支彈藥和七、八十頭騾馬及軍用物資，又折轉向西盤克原方向前進。被延安高雙成二六七旅發現，遂派一營兵力尾追上來，保安民團150多人埋伏在安條嶺，在木頭河前堵後追，將游擊隊包圍在溝裡，頓時槍聲大作，高崗指揮戰鬥，因寡不敵眾，部隊已失控，所繳獲的幾十匹騾馬未經過仗火，槍一響驚的前後溝亂竄，將敵人震住了。敵人也弄不清怎麼回事，攻擊停下來，那群騾馬幫了大忙，游擊隊員趁此機會各顧逃生。高崗此戰腿部負重傷並跌人深溝的灌木叢中，昏厥過去(他的腳腕有個圪瘩就是這次傷的殘痕)。戰鬥結束後，黨益山的中隊被打散，埋槍人散；高朗亭的隊伍由楊作棟(後叛變)收留回陝北後也解散。高崗半天才醒過來，成了“光桿司令”，只有一支手槍伴隨。敵人走後，爬著扳折一樹枝拄著，晃晃悠悠拐到一家姓張的老鄉家裡，隨後轉到華池地區哥老會龍頭大爺鄭德勝家裡養傷。
此時謝子長到甘肅搞兵運，派楊林、蘇杰儒等到西華池石子俊部隊聯繫，沒有成功。這個部隊在1930年已埋伏下馮世光、曹化民、曹勝榮等，都是陝北人，是蘇雨生部學兵隊的隊員。高鵬飛任曹又參營的一連連長，曹勝榮任二連的排長。高鵬飛是高崗的戰友，曾在中山軍事學校、延安高雙成部和陝甘學兵隊，合作共事，關係很好。胡立亭既是老鄉，又是高崗入黨介紹人之一。高崗成了“光桿司令”後，又受了傷，但沒有氣餒，傷還未癒就輾轉到西華池曹又參部搞兵運，他到合水縣城北關，派人給時任連長的李樹林一張紙條，約李會面，高崗讓李拉出部隊擴大游擊隊，經研究認為起義條件不成熟。高讓李繼續隱蔽起來秘密活動，待機行事。李給高崗換一身軍衣，高崗又到華池住在曹又參家裡。一邊療養槍傷，一邊發動兵變。曹向高崗談了部隊內部情況和打算清除石子俊等頑固分子，要求紅軍游擊隊給予支持，高崗完全同意，並一塊商量了對策，決定讓曹又參到慶陽以麻痺、消除石子俊懷疑的策略，並設法將曹營所轄的四個連全部調進慶陽，實現清除石子俊的計劃。恰在此時，高崗獲息劉志丹帶的游擊隊南下受挫回到盤克原，他遂派人和劉志丹的游擊隊聯繫，要游擊隊接應。高崗為紅軍增強力量，穩定情緒，在曹又參到慶陽部署清除石子俊期間，高崗和高鵬飛、曹勝榮等共產黨員研究決定先組織一、二連發動兵變。 7月19日(一說21日)利用部隊出操、打拳訓練的機會，誘帶隊的潘立挺營副打麻將牌，在賭場將其擊斃，拉出兩個連隊伍近200人、槍。
西華池起義，高崗為高鵬飛出謀劃策，撐腰壯膽，起了決定性的作用，特別是威逼二連脅從起義的意見是高崗提出來的，有些人不同意，怕影響一連起義的成功。在這方面高崗比高鵬飛經驗多，膽子也大，指定曹勝榮負責，使這次起義成功。起義後，高崗、高鵬飛帶領起義部隊，轉輾到寧縣盤克原和劉志丹帶的游擊隊會合，7月21日在寧縣秋頭原召開軍人大會，慶祝西華池起義成功。此時，高崗的腿傷還未痊癒，走路一拐一拐。高崗發動華池起義成功，以功補過，取消了“處分”。這就是高崗兩次“脫逃”的全過程，臨鎮離隊後在華池發動起義，實際上也是高崗的政治生涯中最關鍵的一步。
這次起義，由於精心組織，拉出來又得到游擊隊援應，擊退了追擊的敵人，是自開始搞兵變工作(據資料說70多次)以來最成功的一次。特別是在紅軍為難之時，劉志丹、閆紅彥到盤克原約200多人，拉來裝備齊全的兩個連，使紅軍立即鬥志大振，劉志丹等領導高度讚揚了這次起義說：“是幾十次起義最成功的一次”。
曹又參到慶陽第四天后西華池起義，高崗拉走他的兩個連，清除石子俊的計劃落空，曹又參對高崗很有意見。高崗寫信說：“對不起曹老師，這時期最需要人，更需要槍”。
起義部隊和游擊隊會合後，在秋頭、南邑休整。紅軍得到西華池拉出來的人和槍的補充，提高了部隊的情緒，力量大大加強，為組建紅二十六軍打下基礎。部隊改編為三個大隊，第一隊隊長高寶山，第二隊隊長劉志丹，第三隊隊長高鵬飛，還有一個騎兵隊，隊長強世龍。總兵力500多人，游擊隊聲威復振。
游擊隊休整後，決定恢復寺村原72村革委會所轄紅色區域。寺村原自4月下旬游擊隊撤離後，國民黨軍隊和官府一起佔領，逮捕革委會、赤衛軍的骨幹，使原組建的革委會、赤衛軍和其他群眾組織隨之解體。這次游擊隊回到寺村原，群眾歡欣鼓舞，在秋頭原舉行了軍民聯歡會，軍威復振，百姓高興，高崗此時軍內無職務，參與負責重建了寺村原72村革命委員會的機構和有關組織，開展根據地建設活動。
7月下旬，陝西省委派李艮到游擊隊任政委。他帶著“左傾”政策，將剛重建的72村革委會宣布取消，而建立五頃原一村革命委員會，作為他的“試點”，然後一村一村擴大，並成立秘密隊委會。 8月初，李艮主持召開游擊隊中隊長以上黨員幹部會，強行貫徹他的所謂“新路線”。會議持續六、七天，一切正常工作陷於停滯，成天空談“創造新蘇區”，“組建二十六軍”，批判所謂“游擊隊的右傾機會主義領導”和“反革命陰謀問題”。派部隊到五頃原分配土地，群眾不敢要，他命令隊伍用武裝強迫群眾分地，限期在20天內分配完。游擊隊指揮機構和中隊長以上乾部，光在會上無休止地爭吵，未作任何應付敵人“圍剿”的準備工作，駐慶陽、山河鎮的國民黨軍隊從容地完成了“圍剿”游擊隊的部署。根據地中心寺村原、秋頭一帶村莊和要道，都被敵人佔領，切斷兩地交通。 8月12日，在敵人包圍的嚴重情況下，經高崗等極力反對後，李艮才停止了會議，指揮部隊倉促投入戰鬥，進行反“圍剿”。由於根據地已被敵人分割包圍，內線作戰條件受到限制，本應轉出外線待機破敵，但以李艮為首的指揮部錯誤地提出“要死守陣地”，“以陣地戰保衛根據地”，“不讓敵人鐵蹄踐踏五頃塬一寸土地”。因而，指揮部命令部隊進攻強固的王浪坡寨堡，由閆紅彥指揮，堅攻兩天未克，傷亡五六十人，撤出戰鬥，游擊隊轉到三嘉原、五頃原。敵馬鴻賓騎兵團和當地駐軍勾結一起，聯合向三嘉原游擊隊發起進攻，李艮下命令要“死守五頃原”的“試點”，游擊隊頂不住敵人的進攻，邊抗擊、邊撤退，傷亡30多人，又吃敗仗。當部隊脫離戰場，撤退到狼牙窪、秦曲、前馬原等村莊剛住下。 8月19日一大早，敵人步兵又從南莊子、細咀子包圍上來，游擊隊奮起抵抗，且打且退，退到菜頭灣，敵騎兵已堵死退路，游擊隊被包圍，腹背受敵，面臨全軍覆滅的危險關頭。部隊以班、排為作戰單位分別突圍。此時的高崗在游擊隊沒有什麼職務，為挽救部隊覆滅的危險，他以大無畏的不怕死精神，高喊：“跟我來！殺出去！”他全身衣服沾成泥棒，赤著腳片，率領第三隊戰士勇猛刺殺敵人。正在刺殺如火如荼，奮力開闢一條血路時，真是“天無絕人之路”，太陽升起，昨天下了一場雨，大霧騰起，游擊隊以排，班及個人為戰，乘大霧瀰漫突圍出去。到8月24日，全隊在馬欄才完成了歸隊集結。 “高崗刺殺手”的美名在游擊隊開始傳頌。在1935年勞山戰役中又一次發揮了他的刺殺手精神。 40年代邊區練兵時，以“朱德射擊手”、“賀龍投彈手”、“高崗刺殺手”為榜樣訓練部隊。
李艮到部隊20來天，瞎指揮，連打三個敗仗，全隊只保留下來200多人，損失慘重，根據地喪失殆盡，哭著鼻子離開部隊。五頃塬的失利，指揮閆紅彥也有不可推卸的責任而被撤職。
8月底，游擊隊領導又換成謝子長，部隊在耀縣、照金地區休整，擴充隊伍。 9月底北上，襲擊保安失利，在瓦子川、墩兒梁打兩次敗仗，後退到南梁地區的平定川、豹子川一帶活動。由於連戰失利，戰士士氣低落，又加上發生傷寒病，傷