汲桑、石勒在鄴城的勝利令當時剛剛在朝中掌握了大權的東海王司馬越感到非常震驚，他立即派出大將苟晞和王贊興兵討伐。
石勒率領的騎兵與苟晞的軍隊相持於平原、陽平一帶，連續交鋒數十次，打了幾個月，雙方互有勝負。司馬越生怕苟晞的軍隊有個閃失，親自帶兵屯於官渡，聲援苟晞。
苟晞在西晉末年也算排得上號的名將，他執法嚴酷，軍紀整肅，在平亂的戰事中屢有斬獲，威望很高。但他與石勒交手也是難以取勝，經過一番拉鋸戰，他找到了對手的軟肋，轉而直接進攻汲桑的軍隊，汲桑的統率水平顯然與石勒不在一個檔次。東武陽一戰，晉軍大破汲桑軍，並一路追擊，汲桑成潰敗之勢。
汲桑與石勒收拾殘兵敗將，兩人商量了一下，覺得當前漢王劉淵聲勢正盛，意欲投奔。在經過赤橋一帶時遭到冀州刺史丁紹襲擊，又被打得大敗，汲桑與石勒在亂軍中失散，汲桑在逃到平原時被晉軍所殺。
石勒的殘兵逃至上黨，當時據於此地的張背督、馮莫突也是胡人，石勒便投靠了這支胡人的部隊，他很快看出這支部隊難成大器，就對張背督等人說：“現在天下的形勢是劉單于（指劉淵）舉兵反晉，而我們的力量卻一直沒有追隨他們，難道我們有實力獨立作戰麼？”
張背督等人想了想，說：“恐怕沒這個實力吧。”
石勒乘機應道：“既然如此，何不早尋出路。如今我們的部落已經有人收受單于的賞賜，準備叛逃投奔單于了！”
張背督等人深以為然，承認劉淵乃是可以與晉軍抗衡的最強的勢力，於是跟隨石勒一起投往漢營。漢王劉淵大喜，封張背督為親漢王，馮莫突為都督部大，任命石勒為輔漢將軍、平晉王，統率這支部隊。
（從一些細節上也可以看出劉淵對石勒相當器重，將“平晉”二字作為他的封號，我們大致能夠猜想到兩位英雄人物見面時的相惜之情，比之晉朝皇室的什麼“兄弟之情”，便可知是誰得天下，誰失天下了。）
令劉淵頭疼的烏桓部（就是曹操平定北方時的那個烏桓，或者叫烏丸部的後裔）張伏利度有兩千兵馬屯於樂平，劉淵認為烏桓與匈奴同為入塞的游牧民族，很想將其招至部下，但烏桓部並不領情。石勒向劉淵獻計，他假裝在劉淵處獲罪，前往投奔伏利度。伏利度很高興，與石勒結為兄弟，石勒出兵時每每所向無前，深得伏利度部下之心。石勒在認識到眾心已經歸附他之時，突然在軍中聚會時挾持伏利度，並對其部下說：“如今若起大事，我和伏利度誰可為主。”眾人皆高呼石勒之名，石勒當即放了伏利度，率眾歸順漢國。劉淵又得烏桓部的精兵，加封石勒督管山東征討諸軍事，並把伏利度部也交給石勒指揮。
劉淵得到石勒相助，同時部隊又得到了休整。晉懷帝永嘉二年（公元308年），劉淵以四子撫軍將軍劉聰等十將為南路軍，以輔漢將軍石勒為東路軍，分別向太行和冀州一帶進軍。東路軍在進軍途中遇到了晉軍的抵抗，而南路軍則比較順利，劉聰接連攻下河東、平陽兩郡。劉淵遷都蒲子（今山西隰縣），以壯聲威，而這一招還真有效果，附近鮮卑、氐的一些部落紛紛來降。晉軍處於退守之中。八月，東路軍的石勒終於攻下鄴城。晉軍分王堪、曹武兩路抵擋劉淵的兩路大軍。兩軍相持於洛陽附近。 （晉朝都城的人們可謂是坐臥不安了。）
漢軍一路勢如破竹，連取魏郡、汲郡、頓丘等地，各地望風而降，少有抵抗的力量。劉淵認為漢軍手握並、冀兩州的大部，兵臨洛陽，已對晉軍形成了絕對優勢，滅晉當在彈指之間，此時竟迫不及待地在蒲子稱帝，改元永鳳，大赦境內，封長子劉和為大將軍，四子劉聰為車騎大將軍，族子劉曜為龍驤大將軍，其他宗室盡皆封王。異姓按勳謀區別，也封為郡縣公侯。
（劉淵與石勒相比，對長遠的考慮上似乎稍有不及，細節之處可見差別，石勒早年的窮苦經歷也鑄就了他的隱忍負重、不在乎一時得失的性格，並且對於時勢的判斷也常常準確得讓人驚訝，而劉淵就顯得過於貪戀權勢了。不過劉淵的年齡應該是遠大於石勒的，所以也不可同一而論。）
這樣，漢、晉兩國已成為真正意義上對等的兩國，它們在洛陽附近的決戰，將成為決定雙方今後命運的一場生與死的較量。