大革命的洪流，猛烈地蕩滌著帝國主義、封建主義的污泥濁水，也震動了陝北黃土高原，革命潮流銳不可擋。高崗投身在大革命的激流之中，他參加發動學潮，聲討蔣介石叛變革命的罪行，組織農講所，動員農民抗稅捐，渡貧荒。
在橫山一高和榆中鬧學潮中，高崗漸漸投身到偉大的愛國主義運動的洪流中，踏上了推翻舊中國的漫漫革命征途。
二十年代初，由旅北京、西安的陝北學生把共產主義思想散佈於陝北青年及學校。 1925年大革命開始時，橫山一高爆發了一次震憾陝北高原的學潮，打擊了國民黨反動當局的囂張氣焰。一高學生在共產主義和新思想、新文化的影響下，特別是在榆林中學的新學風的感召下，一高也活躍起來，對尊孔讀經，奴化教育早已不滿；對官府欺凌剝削群眾的行徑，深惡痛絕。是年，開學不久，不少學生交不起學費，傾家蕩產，有的賣口糧，有的破家產供孩子上學，高崗就是其中賣地上學的一個；有的交不出學費退學。有一個學生的家長為兒子上學湊夠學費，趕毛驢從內蒙馱來二、三鬥食鹽，在橫山街上出賣，被鹽務局無理沒收，急的學生家長呼天叫地，只好讓兒子輟學回家。高崗、魯賁等同學對此憤憤不平地趕至鹽務局，要求該局將鹽退給本人。鹽務局不但不退，且大罵學生，還要處罰說情的學生。那時候正是“座座衙門朝南開，有理無錢莫進來，有錢無理吃得開”的世道。鹽務局的無理謾罵，更激起了學生的公憤。高崗等學生跟鹽務局講理，鹽務局的當權者哪能聽得進，要趕學生出去。高崗、魯賁、曹開誠、石作琦等帶領學生一擁而上，抓住罵學生的鹽務局長痛打一頓。打鹽務局長的“事件”發生後，群眾拍手稱快，卻引起了縣政府官員極大恐慌，下令學校領導對學生嚴加管教。學校領導禀承縣太爺的旨意對學生嚴加控制。為堵死學生串連、閒談的機會，以防引起反抗政府的激情，不僅平素監督管理很嚴，同時，以學好課文為藉口，連星期天也不允許學生自由活動，取消鼓樂隊上街宣傳，校方強行規定星期天自學半天。他們多次要求校方取消星期天的學習時間，校方置之不理。這下更激起學生的憤慨，高崗等帶領一些年齡大的學生到縣衙請願、交涉，卻遭到二少爺(即知事劉智堂弟)破口大罵，並指使衙役驅趕學生，激怒了學生，高崗帶頭砸了縣衙大堂，毆打衙役。縣衙召開緊急會議，縣知事劉智堂大發雷霆，下令學校開除高崗、王東皋、曹開誠(動之)、王懷信等5名學生的學籍，並每人罰款100元大洋。學生會的王東皋、曹開誠、高崗、白培謀、魯賁等組織全校學生，利用古歷3月18日廟會上街遊行示威，宣傳新文化、新思想、講民主、學科學，強烈要求學校廢除星期天“集體自學規定”，高呼“星期天要自由！”“抗議校方變相體罰學生！”“反對貪官污吏！”“反對奴化教育！”“我們要民主！”“我們要自由！”“廢除舊教育，改教新科學！”“反對讀死書，提倡新思想、新文化、新教育！”這樣，街上鑼鼓聲、小號聲和口號聲，此起彼落，鬧騰了一天。這可激怒了縣太爺劉智堂，他在縣政府大堂裡像只熱鍋上的螞蟻，坐臥不安，走來走去，佈置衙役了解動態的發展，匯報情況，也忙乎了一天。學生會組織學生全部離校罷課，搬住在高殿峁等街上的店房裡，擴大講演，抗議政府無理迫害學生的行徑。縣政府的官老爺惱羞成怒，密謀武力解決學潮。學生會得悉後，立即召開會議，研究對策，在魯賁、高崗、曹開誠等提議下，認為靠橫山解決無出路，大家決定上榆林道伊公署告劉縣長。大家研究的意見向全體學生一宣布，學生異口同聲“走！上榆林罷免劉智堂的縣官！”全校一百幾十名學生一擁起身了。 3月20日，學生浩浩蕩盪，向城東門外行進。縣衙們著了忙，當即派出大批荷槍實彈武裝人員阻擋學生前進，鳴槍示警。高崗虎性大發，要為被開除、處罰的學生鳴不平，出口氣，他首先帶頭抓起兩塊半磚頭，高喊：“同學們，準備鬥爭！”一呼百應，同學們都在地裡覓撿石頭、磚頭，拿在手裡隨高崗走向武裝人員跟前，大聲呼喊：“你狗來，來了就揍你狗們！”石作琦(外號叫石灰錘)揚手向武裝人員扔石頭，並喊：“打哪狗日的！”這下可把衙門漢們震住了，有的呆若木雞，有的直後退，怕吃現虧。他們沒有開槍打人的命令，只把槍栓拉來拉去瞎咋唬一陣，狼狽地溜回城裡，惡人先告狀，劉智堂縣長急派快馬到榆林報告一高學潮情況。
請願的學生向榆林行進，晚上住在波羅鎮，第二天開到響水。橫山一高的校長曹雨山是響水人，正在家裡養病，得知後來勸說學生暫住下好商量。曹雨生即寫信派人送給杜斌丞校長，並彙報了情況，請求杜校長設法解決。消息很快傳到榆中校長杜斌丞和橫山旅榆校友那裡，得到榆林各學校同學聲援支持。杜校長寫信派人送到響水，叫派代表赴榆申述，以防學生上榆林慘遭軍警迫害。學生在曹雨山的協助下安排住在響水各戶家和店坊裡。學生會負責組織安排住宿和管伙食的專人，將學生隨身帶的錢你十元，他八元收起來，安排了食宿。大家推選高崗、王東皋、韓繩祖、王殿英、郭長伸等五人為赴榆談判代表，連夜趕到榆林，受到榆林各學校學生、學生會領導和榆中領導的熱情接待和大力支持，榆中校長杜斌丞和中共黨團特別支部負責人劉志丹等親切接見了學生代表。
劉志丹和高崗一見如故，意氣相投，頻繁接觸，對學潮問題處理有商有量，共同決策，並奠定了長期革命友誼的基礎。杜斌丞和榆中特支負責人與代表單獨談話時，發現高崗開言吐語，很講策略，很有見識，很有頭腦，有捷才辯才，剛直不阿，特支負責人向韓繩祖、王東皋個別詢問了解高崗在學校的表現，家庭出身等情況。隨後，在杜斌丞和劉志丹等大力活動下，召開了榆林各學校學生會負責人聯席會，高崗、王東皋報告了學潮起因過程，與會者一致表示支持橫山一高學生鬥爭精神，並請求杜校長向道尹公署申訴，禀公處理橫山學風。
此時，杜校長同井岳秀交往較密，井頗尊重杜斌丞的學識、氣派、見解。經過杜校長的奔波周旋，道尹公署根據杜校長的建議確定撤銷開除學生、罰款的處分，並答應免去曹雨山校長職務，調離縣長劉智堂。接著，杜斌丞騎一匹黃騸馬，親自把請願學生代表送到響水，並在響水召開學生大會，杜校長宣布了道伊公署的決定，講了話，鼓勵學生努力學習新文化新思想，鑽研科學，提高自己愛國為民的本領，並向曹雨山交待(時未宣布撤職)，禀公處理善後工作，注意改革教學方法，要向學生灌輸新思想，新文化，大力提倡學科學。杜校長的講話，對一高學生鼓舞很大，人人受到一次深刻的革命思想教育。
震動陝北高原的一高學潮勝利了。學生在返校的路上，高興地自編自唱：
小小學生真英雄，背起繕布走榆林。
智堂縣長待我無禮貌，斌丞前來了事情。
學生提條件，雨山都答應。
今後學校再打罵，我們就要作鬥爭。
哎咳麼，哎咳麼，我們勝利了。
這次學潮向反動當局挑戰，使高崗受到極大啟發教育，他第一次嘗試到：“要推翻反動派的統治，不冒點險是決不能成功的”，更重要的是第一次和劉志丹接觸，在他心目中留下深刻印象，革命友誼從此開始，後來和志丹一起搞革命，他對志丹相當崇拜，言聽計從，結為親密戰友。
此後，學校改組了領導班子，調谷玉山(共產黨員)任校長，調共產黨員曹丕傑、錢德明和思想進步的程振善等替換了原來思想守舊的老師，還從西安、北平聘請來陳建晨、黃亞忠兩位進步青年女教師。新思想、新文化、新學制、新女生進入學校，實行男女同班學習，改變了死讀書，讀死書的方法。這次學潮對一高學生教育、鍛煉極大，揭開了山溝裡的學生向反當局鬥爭的序幕，時稱為李自成故鄉革命的“先聲”。同時，也翻開了高崗革命生涯的心扉。
1925年秋，高崗考入陝北最高學府——榆林中學。他進入榆中後正值劉志丹從西安回來傳達全省聯學代表會和共進社代表會精神，並介紹高崗加入“共進社”，一起開展革命活動，在“兩代”會精神推動下，學生要求參加校務會議，參加校政管理，校方不准。經多次交涉辯論無效，學生散發傳單，揭露總務主任高崇山的罪狀，要求地方當局對高崇山給予處分。但是地方當局不予理睬，學生奮起舉行罷課鬥爭，一些教師也支持學生鬥爭而罷教。高崗自告奮勇，參加學生糾察隊，維護學校自治秩序，同校方進行有理有利的鬥爭。井岳秀派人在學生中搞“策反”活動。不久，一部分學生在高崇山的活動下要求復課，學生從內部分裂為兩派，高崇山乘內部分裂的空子，從井岳秀那裡搬來一連隊伍包圍了學校，武裝鎮壓學生運動，開除19名(一說29名)黨員、團員的學籍，其中有王子宜、李登霄、焦維熾等，兩兵綁一，推揣拉打，送出榆林城南門外三義廟灘，不准再進城。
1926年春，佛教節街上唱戲，井岳秀的兒子井文龍(榆中學生)在街上看戲時，嫌人擁擠，指使護兵打了學生苗存權(共產黨員)，激起學生的憤慨，學生會開會聲討井岳秀縱子行凶，要求井岳秀到校向被打學生道歉並開除井文龍……。代理校務的無計可施，請求時任道尹的景崇徵設法處理，景隻請教師勸說，而不答應學生要求。學生會再次發動學生罷課，大部分學生離校，搬到街上旅館住宿。景崇徵見事態鬧大，眾怒難犯，即派人請杜斌丞(在家養病)回校解決學潮問題。校方基本答應學生要求，學生取得勝利回校復課。高崗參加鬥爭井文龍並以拉架為名猛擊井文龍一掌倒地。有人在井岳秀跟前告高崗打了井文龍。井岳秀假惺惺地說，高崇德敢打我兒子，是好樣的，有出息。榆中黨組織告訴高崗要小心。高崗經過學潮鬥爭的鍛練，在實踐中受到教育，反動派的所作所為，事實上等於在培育著革命種苗，他的階級覺悟不斷提高，視野逐步開闊，對反動派的面目認識更清，堅定了造反動派反的堅強意志。高崗在斗爭中，受到教育和鍛煉，革命思想逐步成熟起來，經過黨組織的考驗，經胡立亭、史唯然介紹加入中國共產黨，由一個馬馬虎虎的愛國青年成為職業的無產階級革命者。他為防井岳秀毒手迫害，寧肯不要畢業證書，被迫輟學離開榆中(一說被開除)。從此“離經叛道”，走上了革命征途。
高崗在兩校學潮中受到極大啟發教育和鍛煉，特別榆中第一次學潮被武裝鎮壓下，對他觸動更為深刻。他輟學回家後，思謀造反坦途。他曾受著大人講述李自成傳奇故事，並閱讀有關李自成的一些書籍的影響，嚮往著李自成揭竿舉旗的造反精神，他徒步翻溝越嶺，專程到李自成當年攬工、放羊、坐朝龍墩(傳說)、點將練兵場地、祖先皇陵、出生地遺址遊轉，和當地農民議論李自成起義前在這在那活動，“咱們這裡能再出個李闖王就好了，把國民黨推翻掉。”他在思古幽情中，對李自成童年、起義和起義後回鄉祭祖的艱苦和如煙往事有所追想。依稀夢想著未來的宏圖大業。 1926年秋，高崗離開榆中到伊盟的烏審旗，開展革命活動。 “他是進入伊盟地區的第一個共產黨人，開展革命宣傳活動，建立伊盟地區第一個黨小組，發展黨員，在少數民族地區點燃革命火種。”
隨著大革命形勢蓬勃發展，馮玉祥、於右任入陝並將北洋軍閥在陝西的頭子劉鎮華、吳新田被逐出後，代之以國民黨的進步勢力為馮、於方面，使陝西由反動局面轉為革命局面，西安成為西北革命的中心。在大革命的熱潮中，中共北方局李大釗積極倡導培養軍事、黨務和工農幹部，同時向黃埔軍校、保定軍校及廣州、武漢農講所派了大批學員。之後中共陝甘區委急需培養幹部，根據北方局的指示，積極創辦軍事、農運和黨政學校，取得了馮玉祥的支持，聯合國民黨陝西省黨部和國民軍聯軍駐陝總部，在西安創辦了中山軍事政治學校。
1927年2月，高崗隨史可軒等到西安，在李子洲、魏野疇辦的講學班亦稱教導隊學習，同時協助創辦中山軍事學校。
1927年3月，在軍事、農運教導隊的基礎上，成立中山軍事學校並正式開學，學校辦學宗旨在招生啟示和廣告中明確規定：“培養指導農民運動、辦理黨務及軍隊中政治工作人才”。每學期6個月，以學軍事為主，軍事、政治並重，理論和實踐相結合。入學的學生大部分是陝甘、陝北各地黨組織輸送來的黨團員和進步青年。還吸收了原西北大學一部分進步青年，榆林中學、綏德四師，延安四中，赤水職工學校、華縣咸林中學、西安一中、二中及三原渭北等地區輸送來的學生，共500多人，其中中共黨、團員150多名。學生編為3個大隊，每大隊下設3個中隊，每中隊下設3個分隊，各級隊長多數由中共黨員擔任。學校設在西安北院門(今西安市政府院內)，慈禧被八國聯軍趕出北京後，到西安避難時，曾住在這裡。
這所學校名義上屬國民聯軍總部，實際上是中共領導的一所新型政治學校，也是我黨直接掌握的一支革命武裝，當時有“西北黃埔”之稱。學校主要領導基本由共產黨人史可軒、劉含初、李子洲、許權中、鄧希賢(小平)等擔任，劉志丹擔任政治教官。高崗在校主要學軍事、農運和中國政治狀況、帝國主義侵華史等課程，他最感興趣的中國軍事政治和農運課，同時，擔任農運課、軍事教官兼任中隊長，亦生亦官。
西安中山軍事學校，是高崗走上革命生涯的最主要起點。在這段時間，為他後來創造陝甘根據地和軍事活動奠定堅實的思想基礎。他從小天賦聰明，穎悟性好，上課時非常認真聽講，善於思考，感到新鮮的段落，作少量筆記。學校實行共產主義革命教育，閱讀的全是馬列主義著作，從事的都是革命的活動。中山軍事學校改變了讀死書的教學方法，實行讀書與實踐結合，理論與實際聯繫，和社會實踐廣泛接觸，在斗爭中學習鍛煉提高，學以致用，“為西北培養了革命的軍事基礎”。高崗根據學校“學以求知，學以救國”的要求，經常到街頭、郊區農村這塊“無字天書”中學習，作調查、演講、宣傳。他協助組建城市工會、郊區農會、婦女協進會等群眾組織，他把書本上學的，拿到實踐中運用，得到的感悟帶回來給同學講授，深入淺出，通俗易懂，生動活潑，受到農運班學生的好評。在組織工、農、學活動中表現出他的“組織才能”。
這時期“陝西農民運動的規模聲勢，震驚了黑暗的中國。”農民組織遍及全省60多縣成立農會，農村建立農協會3800多個，農民會員達41.1萬之眾；農民自衛武裝隊員10萬多人。 3月，陝西省召開農民代表大會，成立了省農民協會和選舉領導人。會議通過了《政治報告決議》、《懲治貪官污吏及土豪劣紳決議》等20個決議，進一步推動了農民運動出現高潮。長安縣農民協會逮捕大地主、豪紳，並將罪大惡極者予以處決，大滅反動派氣焰，大長了農民革命鬥爭士氣。
與此同時，在上海工人兩次舉行起義的影響下，西安郵電、製造局等單位工會相繼成立，號召工友積極組織起來，“站在一個旗幟之下，共同去打倒帝國主義、軍閥，完成國民革命與世界革命。”5月1日，陝西省總工會成立，通過了宣言和章程，提出“工人武裝起來，工農聯合起來，打倒軍閥蔣介石，打倒土豪劣紳，打倒反革命……”的口號。
陝西以西安為中心工農運動緊密結合，蓬勃發展，聲勢、規模浩大，在中共的領導下，與南方工農運動形成南北呼應，風起雲湧之勢，發揮了主力軍的偉大作用，時有“南廣州，北西安”之說。高崗在參加組建工會、農會和婦女會實踐中，受到很大鍛煉，組織才能初露頭角，成為陝西黨內小有名氣的活躍人物。
蔣介石在上海發動“四·一二”反革命政變後，陝甘區委組織西安10萬多人聲討蔣介石集會遊行示威。這一時期，西安革命異常活躍，廣泛發動組織了各界群眾團體，如工會、農會、商會、學校、婦女協會，還秘密發展黨團組織，積極開展活動，利用紀念“五一”、“五卅”濟南慘案和“五四”節等一系列活動，宣傳革命，聲討蔣介石反革命罪行，動員工農武裝起來，反對獨裁統治。矛頭直指反動軍閥、土豪劣紳，貪官污吏。高崗在此時革命熱情極高，非常活躍，積極參加了組織、聲討蔣介石罪行的各種集會活動，並在大會上慷慨激昂聲討蔣介石的罪行，擁護聯俄、聯共、扶助工農三大政策，表現出他勇敢的愛國熱情，他的發言鏗鏘有力，更激發了與會者的信心，增強了對蔣的仇恨。他親自到大街小巷演講，散發傳單，張貼標語。秘密給中山軍事學校搬運武器、彈藥。他利用夜間給黨團員講課，組織反蔣活動，表現出高昂奔放，朝氣勃勃的革命熱情和無產階級革命堅定性，對未來前途充滿了勝利的信心。
在蔣、汪叛變革命的形勢下，馮玉祥搖身一變積極追隨蔣汪反革命，電令西安石敬亭進行“清共”，解散中山軍事學校，政治保衛隊調往洛陽，下令查封各縣所有農會組織。西安警備司令部發出：禁止共產黨人活動的命令；各機關所有共產黨員，一律讓其立即聲明脫離共產黨，不許有任何違反三民主義的宣傳的“佈告”，到處張貼。令出人隨，他們緊接著派出了大批武裝警察，查封各界群眾團體組織，搜捕共產黨的領導者和活動者。西安地區頓時處於一片白色恐怖的腥風血雨之中。西北地區的大革命運動，和全國一樣遭到嚴重挫折。
從此，西安的共產黨組織由原來半公開被迫轉入地下秘密活動。在這腥風血雨，一片黑暗的日子裡，“共產黨和中國人民並沒有被嚇倒、被征服、被殺絕。他們從地上爬起來，揩乾淨身上的血跡，掩埋好同伴的屍首，他們又繼續戰鬥了。他們高舉起革命的大旗，舉行了武裝的抵抗……”(《論聯合政府》)。在白色恐怖的形勢下，高崗無法公開活動了，他堅持利用晚間，冒著危險，繼續進行革命活動。每天深更半夜出去，和高鵬飛等，在大街小巷散發傳單，張貼標語，揭露蔣介石叛變革命的罪行，號召農民、市民起來，跟軍閥鬥爭，進行抗糧、抗捐、抗稅。
高崗在反蔣鬥爭中積極、勇敢的活動，早已引起了反動派的注意，把他列入逮捕的黑名單。時任國民軍聯軍駐陝總部的保衛部長史可軒(共產黨員)獲息後，立即通知高崗等人離開西安。高崗正在安排工作，還來不及動身，警察已經開始搜捕高崗。高崗在陳建晨(此時陳在興民學校任教曾在橫山一高時是高崗的老師)家裡藏了兩天，機智地翻過城牆，爬過護城河，星夜離開西安，回到陝北，繼續開展農民運動。
本來，西北地區革命形勢很好，不少要害部門的領導權掌握在共產黨人手裡，中共所掌握和共產黨影響大的主要軍隊有井岳秀部隊的石謙旅，楊虎城的第十軍，甄壽山的師和史可軒帶領的政治保衛隊和中山學校，不少人掌握著實權，軍事實力比較強。這幾支部隊特別是政治保衛隊(近千人)、中山軍事學校里中共黨團員最多，又有共產黨員史可軒，許權中等精明強幹的軍事人才和魏野疇、李子洲等人的決策，組織起來完全可以對馮玉祥造成一定的威脅。但是，當時省委(已由區委改為省委)主要領導人耿炳光，認為這樣大的軍事行動，要請示中央的批准，不敢作主，派李子洲去武漢請示中央；讓史可軒把保衛隊近千人帶出西安，佯裝執行馮玉祥調往洛陽的訓令等待中央指示，觀察事態的變化。高崗對耿的這種主張極為不滿，他說：“將來革命還得靠軍事，要靠人民武裝。沒有槍桿子是不行的，光喊空口號解決不了政權問題，蔣介石為什麼搞'四·一二'，蔣介石不是傻瓜，他絕不會輕而易舉地把手中的政權交給你。”他的這種軍事觀點與毛澤東在1927年講的“要非常注意軍事，須知政權是由槍桿子中取得的”相一致。李子洲到武漢，汪精衛政府也於7月15日發動叛變革命，一片殺氣騰騰的形勢。蔣汪合流，鎮壓革命，甚至汪比蔣介石更加毒辣，到處貼著“寧可枉殺一千，不使一人漏網”的血腥佈告。中共中央已轉入地下活動，李子洲一時找不到人，無法彙報工作。
史可軒率保衛隊撤出西安，等待中央指示。此時，駐陝北總部副司令鄧寶珊派他的秘書葛齊云(共產黨員)向省委聯繫，計劃組織左派軍事力量聯合反對馮玉祥。史可軒根據省委的意見，率領保衛隊和中山學校部分學生向陝北進發，建立根據地，“聯鄧反馮”，但是時間已經晚了，敵人為消滅這支武裝做了充分準備。史率部北進時，途徑富平縣美原鎮，遭地方軍閥田生春殺害，到陝北的計劃失敗。高崗在總結西北大革命的經驗教訓中曾說：馮、於入陝後，我黨堅持統一戰線，發揚陝北革命歷史傳統，在國民黨軍隊、政權、教育文化、黨務等方面派進大量黨員和進步力量，積極開展革命工作，發動工人、農民、學生運動，把大革命運動推向高潮，我黨組織普遍建立，黨員發展到數千人，建立了陝甘區委，統一了陝北與關中黨的組織領導，擴大了共產主義思想的影響，培育鍛煉了革命骨幹，特別是軍事幹部，使大革命運動發展到高漲時期。但是由於我黨與國民黨統一戰線中有右傾傾向，當時省委主要負責人“只有團結，沒有鬥爭”，對大地主大資產階級代表的兩面性認識不足，只看到革命的一面忽略了反動的一面，所以對下層工作和農民運動發展不足，沒有註意土地問題，武裝工作只做上層政治工作，不懂得組織自己的軍隊。總之沒有適應變化而轉變黨的工作和應變思想準備。國民黨的鄭州會議一開，實行“清黨”，地主向農民反攻，殺的殺，趕的趕，抓的抓，使西北黨與革命受到很大損失。西北由革命轉為反革命局面，革命工作被迫轉入地下活動，由城市轉入農村艱苦鬥爭。
高崗在榆中和中山軍事學校涉獵很多的進步刊物，那時他和進步同學一起抨擊北平胡適宣傳的“好人政府”的論調。他在橫山一高上學時，看到《努力》上發表的蔡元培，胡適等人文章，主張不分黨派，由全國公認的好人，出來組織好人政府，實行“廢督裁兵”，公開財政，聯省自治，停止內戰，以實現和平統一措施後，他就提出異議，當時他同一些贊成這一主張的學生進行辯論，指出“好人政府”對什麼人好的問題。他認為好人政府的觀點是一種妥協的傾向，現在是向軍閥鬥爭，不是和軍閥和好。高崗經過西安中山軍事學校學習和參加西安地區轟轟烈烈的大革命運動，受到深刻教育和血與火的鍛煉，膽子越來越大，革命意志更加堅定，革命藝術有很大提高，思想較前成熟許多。高增培曾談到，高崗從西安回到橫山一高開展革命活動時，他正在橫山一高唸書，高崗和以前比較，判若兩人，思想境界，工作方法，政治頭腦比以前成熟多了，真正成了一個無產階級職業革命者。 “他把軍校學的知識帶回來和實際結合起來。”“後來在綏蒙和邊區工作期間，群眾中有威信，他與群眾關係密切，和大家打成一片。威信並不都是由職務決定的，而是由聯繫群眾、實幹、苦幹精神決定的，他不和群眾打一片，就不會有威信。”
高崗離開西安回到家鄉橫山，根據“八七”會議精神和省委“黨員到農村去”，“到軍隊中去”的決定，協助馬繼武(即馬明方，時任橫山響水第三高級小學教師)和曹亞華(後叛變)，共同領導橫山區委(書記馬明方)，積極開展農民運動，發展黨員100多名，建立起6個支部，在實際工作中一顯身手。他深入響水、武家坡、橫山城周圍和黑木頭川等地動員農民武裝起來，組織通俗講習所、農民講習所、農民協會，他宣傳鼓動農民造反，說：“中國農民被封建壓迫剝削最殘酷，最深重，農民大眾一旦接受革命思想，就會像火山爆發，是國民革命的最大力量，是推翻反動派的源泉。”“帝國主義武裝、經濟侵略中國，把洋菸販進來，毒害中國人，把大量財富換出去。”官僚、軍閥、土豪和帝國主義分子勾結一起，欺壓百姓，每年要交幾十種稅，多如牛毛。農民將東山日頭背到西山，還吃不飽，穿不暖，受盡牛馬苦，連豬狗食也吃不上。農民到秋季莊稼還沒收回來，井岳秀就派出狗腿子收糧要款，大吃大喝，棒響人叫喚。吃飽喝足，不是抽洋菸，就是摟姑娘。農民交不起糧款，不是拷打，就是坐牢。井岳秀一個人有八、九個老婆。不打倒這些吃人肉、喝人血的軍閥、豪紳，農民永遠受壓迫。 “只有農民組織起來，行動起來，同他狗日的們鬥，才能推翻反動派。李自成就是受不了壓迫起來造反的。”農民聽了高崗的宣講，腦子都動起來了，足手行動起來了，敢於同反動政府鬥。他還在橫山一高小學建立“暑假研究會”，舉辦教師培訓班，宣講馬列主義、三民主義。在響水小學辦起“自救社”(實際是共產黨的代號)，在學生中發展十幾名黨員，建立了黨支部。高崗要求學生，“注意學習文化，學習武裝。”並動員學生利用回家、放假機會到農村宣傳減租減息和反抗苛捐雜稅，高崗親自組織清算貪官的貪污賬，為發動農民運動樹立榜樣，促進運動的發展，揭開橫山地區農民鬥爭的新民主主義革命的序幕。
1928年(民國17年)，陝北地區遭受特大旱災。農民到處抬龍王爺樓子祈雨，地主卻祈旱，因乾旱一次，農民的土地向地主集中一次。農民苦苦耕耘，結果赤地千里，秋後籽種無回。貧苦農民飢寒交迫，賣地當產，賣兒賣女，妻離家散，流離失所。高崗到農村看見十戶九絕糧，餓殍遍野。農民連野菜也吃不到，靠樹皮、干菜葉充飢，把樹都刮成白桿桿，沿路成群結隊的農民，拖兒帶女，走老山(延安)，過黃河(至山西)。村莊路旁橫七豎八的死屍、餓殍，悲慘之狀，目不忍睹，死亡不計其數；響水、武家坡賣兒賣女賣妻的到處可見，橫山縣城設立賣人市場，殘忍的人販子，用繩子捆，鞭子抽，把青少年男女像豬羊似的一群一群，倒販到山西省。據資料記載，橫山居民出走逃命者8408人，2128戶，被賣到山西省的1596人，活活餓死2000多人，出走和死亡的人數佔全縣總人口將近一半，而大戶的餘糧囤積不賣，即使賣也價很高，貧苦農民哪裡有錢買糧。天災人禍，無路可走，一些村莊斷絕人煙。現在志丹、安塞、延安、甘泉、富縣等縣市的大批橫山籍人，就是那時候逃荒下去的難民。
大革命失敗後，國民黨政府對人民實行法西斯統治，壓迫、剝削變本加厲，地主豪紳仰仗政府的鼻息，趁天災人禍，雙管齊下，更加盤剝農民，敲骨吸髓，趁機兼併土地。腐敗的政府中一些正直富有同情心的官員，看到此情此景也不寒而栗，秉報上級下拔一些糧款，以安慰災民。國民黨橫山縣政府卻不顧人民的死活，乘機巧取豪奪，大發橫財，經過一級一級剋扣，蠶食鯨吞，輪到災民手裡寥寥無幾。更令人痛惡的是，反動政府為了鎮壓造反的農民，把部分糧款挪作修建監獄。地保人員到處收糧要款，敲詐勒索，高利剝削。本來就被剝削的山窮水盡，天怒人怨，民窮財盡，滿目瘡痕的陝北，長年干旱的高原上饑民遍野，衣不遮體，食不飽腹，在大災之年更經受不了官府的壓榨。高崗對反動政府和土豪早就恨之入骨，發動農民分吃大戶糧，他組織農民協會會員對剋扣農民救災糧款的劉尚和、武世昌，曹思潮等貪官污吏，進行清算鬥爭，使貪污分子吐出了鯨吞的糧款，分給貧苦災民，取得勝利。同時，發動農民組織起來，包圍縣城，抗糧、抗款、抗稅、抗捐，取得勝利，縣政府被迫減免糧稅，打擊反動派的氣焰，鼓舞了農民的鬥志。農民從闖王推翻明王朝到現在，三百來年積蓄在胸中的怒火如同火山爆發，岩漿般噴發了出來，同反動派對著幹。橫山農民同官府多次鬥爭，千人至萬人的鬥爭有三次，縣長怕的鑽進豬圈。高崗從農民抗糧抗捐鬥爭中，看到闖王故鄉大地上的農民反對官府的星星之火，可以燎原中國大地潛在的力量，正是李自成發動農民起義的革命形勢，從而奠定了注重農村工作的思想基礎。
趁此機會，他組織農會，宣傳李自成為什麼造反、鬧革命，就是天災人禍逼出來的，“官逼民反”。李自成為人民生存，組織農民起義，打倒官府。大家為謀生存，動員起來，武裝起來，行動起來，反對官府。這些，引起了敵人對高崗的極大仇恨。被高崗算賬鬥爭過的武世昌等土豪，跑到縣政府告狀，狼狽為奸，勾結一起，蒐集黑材料，羅織莫須有的罪名，誣陷高崗去年在西安等地當“土匪搶過人”，高崗是“共黨分子”，在西安街上貼標語，散傳單，煽動群眾反對老蔣。他們和政府密謀策劃，四處布控撒網，捉拿高崗。高崗為避免敵人逮捕，離開了橫山，轉移到外地工作。
高崗得到反動派策劃捉拿他的消息後，同馬明方等商量，暫離開橫山。 1928年前神木國民黨高石秀等部隊參加“倒井”活動未成。高崗離橫前往高部打入手槍隊，了解兵運情況，並利用關係當了高石秀的護兵。他秘密發展黨組織，暗地策動兵變。高崗在高部發動兵變，策動拉走手槍隊被敵人發覺，他聞風隻身逃跑到安定縣親戚家躲避敵人逮捕。他到安定後，和此地哥老會組織一起動員農民進行抗糧抗款度災荒鬥爭，分吃大戶糧。他用西安親眼看到的事實，揭露蔣介石叛變革命，屠殺人民，鎮壓工農運動的罪行，發動農民武裝。他說“農民運動要深入發展必須逐步武裝起來幹”。期間，高崗到佳縣、吳堡和慕嘉積、慕生貴、樊福仁、柳韶華(柳青兄)等考察和發動兵運工作，發展黨員、團員，整頓農民協會，宣傳武裝農民革命。
大革命失敗的教訓，對高崗觸動很大，通過西安革命的失敗和橫山站不住腳的現實，進一步深刻認識到“沒有武裝，革命沒有希望”。從而堅定了“抓槍桿子”，壯大人民武裝的決心，“抓槍桿子”是高崗的口頭禪，念念不忘，難怪有人說他是個“槍迷”。他說：“窮人若要強，就要抓武裝”。 “要奪取革命勝利，非有工人榔頭，農民鋤頭和軍人槍頭結合不可。”“千百年來窮人沒有槍，沒有窮人的武裝，便沒有窮人的天下。”這個觀點和毛澤東對槍桿子和人民武裝重要性的論述是一致的。此後，毛澤東在黨的六屆六中(擴大)會議上更進一步具體指出：“要爭黨的兵權，要爭人民的兵權。”“勞動人民幾千年來上了反動統治階級的欺騙和恐嚇的老當，很不容易覺悟到自己掌握槍桿子的重要性。”“有了槍確實又可以造黨，八路軍在華北就造了一個大黨。還可以造幹部，造學校，造文化，造民眾運動。延安的一切就是槍桿子造出來的。槍桿子裡面出一切東西。……誰想奪取國家政權，並想保持它，誰就應有強大的軍隊。”(《戰爭和戰略問題》)。
陝北特委根據省委“黨員要到軍隊去”的指示，決定高崗以特別黨員身份派往膚施(現延安)搞兵運工作，任中共延安區委委員。從此，他化名為“高崗”。區委負責人李馥華，委員還有王世泰、吳鴻濱、高鵬飛、高崇義、杜守智等。
國民黨叛變革命後，仍打著“革命”的旗號。當時延安地區革命力量很薄弱，我黨活動很難開展，區黨委決定利用國民黨的牌子，開展有利於我黨的工作。經組織批准，高崗打進國民黨，在他參與協助下，由國民黨膚施縣臨時黨部的基礎上，正式成立縣黨部，高崗被選為縣黨部委員，任黨部錄事，取得了合法身份，並打入高雙成部搞兵運。延安縣黨部黨務工作，基本上由共產黨人包攬，黨部主要負責人是焦維熾(共產黨員)，黨部委員高崗、陳俞延、易厚庵等均為中共黨員。縣黨部設在延安鐘樓附近的“義合站”，門上掛著“中國國民黨膚施縣黨部”的牌子，實際上是共產黨的聯絡站，裡邊設有遊藝室、閱覽室、會議室等。他們利用這個合法場所宣傳革命，每逢節日、紀念日以國民黨部名義召開大會演講，張貼標語，把動員貧苦農民開展反對軍閥，反對帝國主義和基督教勢力的鬥爭及反對貪官、土豪，反對黑暗統治、動員吃大戶糧渡災荒的內容寓於其中，高崗寓意深長地說：“我們是'掛狗頭，賣羊肉'”，“打白旗，干紅事”。 “打上國民黨的旗號，為共產黨辦事，這不是最好的事嗎！”採取這種方法，似有不當，在當時的形勢下，確實起到發動群眾的目的。
1929年春夏未下雨，上年大災，陝北農民大亂，東奔西走，死屍遍地。這次災荒，陝甘豫有3500萬饑民，陝甘“鼠疫、飢餓死亡人達350萬之多”，史稱“中國歷史上十大自然災害之一。”官府地保豪紳，相互勾結，瘋狂鎮壓“鬧事”的災民。高崗的妻子楊芝芳和兒子在家裡無法生存，連樹皮也吃不到了，還受到人們歧視，反動派說是“土匪”家屬，家也被抄了門上封條，高崗的哥哥高崇義被抓押送榆林。她帶兒子來到安定，在姐姐家託人打聽到高崗在延安縣黨部幹事，捎信給高崗。高崗不久來安定把楊芝芳和兒子接到延安。他們在去延安的路上，看到大川、小路上逃難的災民，絡繹不絕，餓的眉膀臉腫，一個個骨瘦如柴，一張張痛苦呻吟的面容和沿門乞求的慘相：“干大、乾媽，行行好，給點吃的，救救這娃娃。”在山溝里扔著候娃娃哭叫，慘不忍聽，慘不忍睹。高崗認識不少人及聽口音大部是橫山、米脂、榆林等一帶的人。 “富人兼拼土地，囤積糧食，窮人流離失所，屍橫遍野。”男兒有淚不輕撣，此種慘狀，使這個陝北漢子心裡難受的撕肝裂膽，不時流出眼淚，痛罵黑暗社會制度。
去年大旱，也造成延安地區貧苦農民家無糧，加之外來災民很多，高崗看準了這正是發動農民造反動派反的好時機，他在區黨委會上提出專題研究討論了救災的問題，藉此發動農民運動，配合兵變拉出槍桿子，組織自己的武裝。他親自到高雙成部發動士兵運動，到延安四中發動學生運動，刻臘板，搞油印，向各縣中共支部(當時延安所屬各縣只建支部)髮指示，要求各縣黨員到農村，組織農民抗糧、抗稅、抗捐，分吃大戶糧，救饑民的命。他自己利用國民黨縣黨部負責人的身份，深入到農村了解情況，領導發動饑民吃大戶糧，解救了很多饑民的生命。他和地下黨員馮世光等在安塞地區以“哥老會”名義組織地下游擊隊鬥爭富豪，開倉放糧救災民。並指揮高善祥、閆樹華等帶領饑民，把安塞縣政府圍得水洩不通。高崗又以高雙成的副官身份給縣長做工作，偽縣長被迫辦起舍飯點，給饑民發糧食，舍飯3個月。這些舉措，受到陝北逃難饑民的感恩，他們說：“橫山出了個李自成，愛護窮人率大軍；高崗學著李自成，救濟我們窮人的命。”