1933年10月4日，劉志丹、黃子文、王世泰、黃羅斌等歷經磨難輾轉回到照金，受到根據地軍民的熱烈歡迎。
自紅二十六軍二團南下後，照金革命根據地的處境十分危急。 7月，駐耀縣的楊虎城部騎兵團團長王泰吉，按照省委指示，在中共三原中心縣委協助下，率部隊起義，成立了“西北抗日民眾義勇軍”，起義部隊在三原張家坳的轆轆把受挫後，退回照金。與此同時，中共耀縣縣委組建了耀縣游擊隊，轉入照金蘇區。同月下旬，中共三原中心縣委根據陝西省委指示，將渭北游擊隊改編為紅二十六軍第四團，在國民黨以重兵“圍剿”渭北革命根據地的形勢下，紅四團在與敵周旋激戰後，由團長黃子祥、政委楊森帶領，於8月初進入照金蘇區。這三支革命武裝相繼到照金後，壯大了革命武裝力量，為重新恢復紅二十六軍，鞏固照金根據地奠定了基礎。
劉志丹、黃子文等回到照金後，劉志丹擔任陝甘邊紅軍臨時總指揮部參謀長，王世泰、黃子文及先期返回照金紅二團的同志都重新加入了紅軍部隊，加強了紅軍部隊的領導和骨幹力量。 10月中旬，紅軍主力在外線作戰，敵人調數千人“圍剿”，照金失守。
11月初，紅二十六軍四十二師黨委在甘肅省合水縣蓮花寺成立，王泰吉任師長，高崗任政委，劉志丹任參謀長，黃子文任政治部主任。隨後，部隊進軍甘肅南梁，開闢以南梁為中心的陝甘邊革命根據地，作為紅二十六軍的軍事後方，並建立一、二、三路陝甘邊游擊隊總指揮部，配合紅二十六軍開展游擊戰爭，子文兼任第三路陝甘邊區工農游擊隊總指揮部政委。
1934年1月，部隊由淳化、旬邑返回南梁途中，高崗在正寧縣湫頭原南邑村違犯軍紀，在部隊和群眾中造成惡劣影響。游擊隊員高戰勝將此事告知政治部主任黃子文，子文又告知師黨委，建議作以處理。師黨委即在合水廉家砭召開師黨委會，批評幫助高崗。會上，黃子文從嚴明黨紀、軍紀和愛護同志的角度出發，對高崗提出了較為嚴厲的批評。最後，師黨委撤銷了高崗師政委職務，由紅四團政委楊森繼任師政委。從此高崗對黃子文懷恨於心。
2月，黃子文因病到西安治療。 4月，師政委楊森負傷後，由騎兵團政委張秀山接任師政委。張秀山在黃子文尚在西安治病未歸的情況下，師黨委卻以黃子文“右傾”、“打了敗仗”為由開除了子文的黨籍。同月中旬，張邦英、王安民率領第三路游擊隊攻克耀縣黃堡鎮，消息在西安的報紙上披露後，張文華拿著報紙對病情有所好轉的子文說：“你帶我去紅二十六軍吧！”子文看了報紙，說：“看來北上路途無障礙了，我們先到武字區，再組織一支游擊隊帶上去，壯大紅軍。”
第二天，張文華讓西安黨組織魏光波開了介紹信，和白耀清、杜宛隨子文前往三原。快到草灘時，白耀清對張文華說：“聽在西安看病的蔡指導員講，子文被二十六軍開除黨籍了！”張文華說：“先別告訴子文！”他們的小聲議論被子文聽到了，他若無其事地說：“即使我個人受多大委屈也要把革命幹到底，紅二十六軍把我的黨籍開除了，是因為有些人不了解我，以為我搞起武裝這一攤子，是想當個營、團、師長，其實我是為著工農社會解放的！”
子文到武字區後，找到留在家鄉的游擊隊員王啟德，將組織人北上的事一說，王啟德很快集合了十二三個人。子文一行轉了好幾天，才在七碣石見到了第三路游擊隊政委張仲良和總指揮王安民。張仲良給子文帶的人發了武器彈藥，讓其先在淳耀邊界一帶活動。
5月上旬，黃子文又從西安帶蔡子偉、許圖璉、張靜文（女）、蔡春堂回到武字區，又將游擊隊集合起來，準備回紅二十六軍。隊伍走到耀縣的東坪時，又見到了張仲良，方知三路游擊總指揮部在白家山遭後溝民團襲擊，總指揮王安民陣亡。黃子文遂建議張仲良集中兵力，待機消滅後溝民團。張仲良採納了子文的意見，並公推子文負責第三路游擊隊總指揮。後接到四十二師黨委通知，讓游擊隊北上召開幹部會議。子文到南梁後，將蔡子偉、許國璉、張靜文、杜宛介紹給陝甘邊區革命委員會主席習仲勳和四十二師師長劉志丹。
5月28日，四十二師黨委在寨子彎召開會議，決定恢復陝甘邊特委，由張秀山任書記，成立特委軍事委員會，劉志丹任軍委書記，楊森接任四十二師師長，高崗復任師政委。會後，張仲良與黃子文帶領第三路游擊隊，一面開展游擊鬥爭保衛三夏，一面組織游擊隊幫助當地群眾收割，播種。子文親自帶領家在外地的隊員，協助當地隊員收種。一天，他發現一個隊員鞋破了，腳被麥茬戳破，鮮血直流，他便將從家裡帶來的新鞋給那個隊員穿上。早年一直跟隨他鬧革命的習浩勝見了，開玩笑說：“二哥，我的褂子爛了，把你的衫子給我。”子文真的脫下白布衫，給了習浩勝。習浩勝笑道：“我開玩笑哩！”子文也笑：
“軍中無戲言，我可是真正給你哩！”他倆推來讓去，逗得游擊隊員都嘻嘻哈哈笑起來。
7月上旬，高崗突然以作戰不力的罪名逮捕了黃子文，妄圖迫害。此時，適逢謝子長、郭洪濤率中國工農紅軍陝北游擊隊總指揮部到南樑與紅二十六軍會合，得知此事，叫釋放子文，但高崗卻將子文押送南梁特委和革命委員會處理。時任革委會主席的習仲勳早在創建渭北革命根據地時期，就了解黃子文是個剛直不阿、眼難容沙的好同志，“對一些問題很有見解”、“真正是渭北革命群眾的領袖”，對高崗以個人成見打擊報復黃子文的惡劣行徑十分清楚，遂讓子文留在後方工作。
同月20日，黃子文出席了陝甘邊特委四十二師黨委和陝北游擊總指揮部，在南梁地區的閻家窪子召開聯席會議。會議總結了前期工作，傳達了上海臨時中央局、中央北方局的指示信，討論了此後的工作。會議上，對高崗思想品質惡劣、作風專橫、臨陣脫逃等錯誤行為進行了嚴肅的批評鬥爭。最後，會議做出決議：撤銷高崗紅二十六軍四十二師政委的職務，並給予留黨察看三個月的處分。
8月，根據閻家窪子會議精神，為了培養幹部，在南梁堡成立了“陝甘邊軍政幹部學校”，劉志丹兼任校長，習仲勳兼任政委，吳岱峰任學員隊長，黃子文、蔡子偉擔任教員。子文在教學工作中，針對學員文化程度低的特點，力求做到深入淺出，生動具體，通俗易懂。離休老幹部宋飛回憶起當年的學員生活時，仍對黃子文和蔡子偉滿口稱讚：“他倆都是知識分子，文化理論水平都很高，又有實踐經驗。黃子文同志講馬列主義，理論聯繫實際，又具體又生動，我的文化程度很低也能聽懂”。