自從匈奴人佔領中原，北方有許多人避難到南方來。劉琨的好友祖逖也帶了幾百家鄉親來到淮河流域一帶。在逃難的行列中，祖逖主動出來指揮，把自己的車馬讓給老弱有病的坐，自己的糧食、衣服給大家一起吃用。大家都十分敬重他，推他做首領。
到了泗口（今江蘇清江市北），祖逖手下已經有一批壯士，他們都是背井離鄉的北方人，希望祖逖帶領他們早日恢復中原。
當時，司馬睿還沒有即皇帝位。祖逖渡江到建康，勸瑯琊王司馬睿說：“晉朝大亂，主要是由於皇室內部自相殘殺，使胡人乘機會攻進了中原。現在中原的百姓遭到敵人殘酷迫害，人人想要起來反抗。只要大王下令出兵，派我們去收復失地。那麼北方各地的人民一定會群起響應。”
司馬睿並沒有恢復中原的打算，但是聽祖逖說得有道理，也不好推辭，勉強答應他的請求，派他做豫州（在今河南東部和安徽北部）刺史，撥給一千個人吃的糧食和三千匹布，至於人馬和武器，叫他自己想辦法。
祖逖帶著隨同他一起來的幾百家鄉親，組成一支隊伍，橫渡長江。船到江心的時候，祖逖拿著船槳，在船舷邊拍打（文言是'中流擊楫”），向大家發誓說：“我祖逖如果不能掃平佔領中原的敵人，決不再過這條大江。 ”他的激昂的聲調和豪壯的氣概，使隨行的壯士個個感動，人人激奮。
到了淮陰，他們停下來一面製造兵器，一面招兵買馬，聚集了兩千多人馬，就向北進發了。
祖逖的軍隊一路上得到人民的支持，迅速收復了許多失地。當時，長江以北還有不少豪強地主，趁中原大亂的機會，佔據堡塢，互相爭奪。祖逖說服他們停止內爭，跟隨他一起北伐，對不聽號令、依附敵人的，就堅決打擊。祖逖的威望就越來越高了。
劉琨在北方聽到老朋友祖逖起兵北伐，也很高興，說：“我夜間枕著兵器睡覺等天亮，就是一心要消滅敵人。現在祖逖跑到我前面去了。”
公元３１９年，陳留地方的豪強地主陳川投降後趙國主石勒，祖逖決定發兵進攻陳川。石勒派兵五萬援救，被祖逖打得大敗。接著，後趙的將領桃豹和祖逖的部下韓潛又爭奪蓬陂（在河南開封市附近）城。戰鬥了四十天，相持不下，雙方的軍糧都發生了困難。
有一天，祖逖用布袋裝滿了泥土，派一千多名兵士扛著，運到了晉營，裝作運糧的樣子。最後又派了幾個兵士扛著幾袋米，運到半路上，故意停下來休息。
桃豹在趙營內看到晉兵運來那麼多的米，自然眼紅，就趁晉兵休息的時候，派了大批兵士來搶。晉兵丟下米袋就逃。趙營裡早已斷了糧，搶到了一點米，只能夠勉強維持幾天，但是大家看到晉營裡軍糧那麼充足，軍心就動搖起來了。桃豹趕快派人向石勒求救。
過了幾天，石勒派了一千頭驢子裝運了糧食接濟桃豹。祖逖早就探得情報，在路上設下伏兵，把後趙的糧食全部截奪下來。這樣一來，桃豹再也支持不住，連夜放棄陣地逃跑了。
祖逖領導晉兵艱苦鬥爭，收復了黃河以南的全部領土，後趙的兵士陸續向祖逖投降的也很多。晉元帝即位後，因為祖逖功勞大，封他為鎮西將軍。
祖逖在戰鬥的艱苦環境中，和將士們同甘共苦，自己的生活很節約，把省下的錢盡量幫助部下。他還獎勵耕作，招納新歸附的人。即使是跟自己關係疏遠和地位低下的人，他也同樣熱情地對待。生地的百姓都很擁護他。
有一次，祖逖舉行宴會招待當地父老。人們高興得又是唱歌，又是跳舞。有些老人流著眼淚說：“我們都老了，今天能夠在活著的日子裡看到親人，死了也可以閉上眼睛了。”
祖逖一面操練士兵，一面擴大兵馬，預備繼續北伐，收復黃河以北的國土。哪兒想到昏庸的晉元帝對祖逖竟放心不過，怕祖逖勢力太大了不好控制，派了一個戴淵來當征西將軍，統管北方六州的軍事，叫祖逖歸他指揮。祖逖辛辛苦苦收復失地，反而受到朝廷的牽制，心裡很不舒坦。
不久，祖逖聽說他的好友劉琨在幽州被王敦派人害死，又聽說晉元帝跟王敦正在明爭暗鬥，心裡又是憂慮，又是氣憤，終於得病死了。豫州的男女老少聽到祖逖去世的消息，像死了自己的親人一樣傷心。
祖逖雖然沒有完成恢復中原的事業，但他那中流擊楫的英雄氣概，一直被後代的人所傳誦。