那麼，客家先民究竟經歷了幾次南遷？目前學術界尚無定論。客家史研究權威羅香林提出，客家人經歷了5次大遷徙。有的學者則認為客家人有過6次大遷徙。
這兩種看法的分歧在於：2000多年前的50萬秦軍南下，是不是客家先民的第一次大遷徙。羅香林沒有提到這是客家先民的遷徙。而“六次南遷”論者則認為，秦始皇統一中國以後，為防止南方百越民族進犯，便派屠椎、趙佗率領50萬大軍南下，駐紮在五嶺南北。不久，秦朝滅亡，這些秦軍仍居留駐地，與當地百越民族中的南越人融合後，大部分人成了今天廣東、廣西一帶粵語地區的先民。另一部分便是今天贛南、粵北、粵東地區的客家人的最早祖先。趙佗當年曾任龍川縣縣令。如今在廣東這個純客住縣內，便有四個姓氏是趙佗帶來的北方漢人的後裔。他們認為，50萬秦軍南下是中原漢人的第一次南遷，也是客家先民的第一次遷徙。
客家先民的第二次大遷徙，始於東漢末年的黃巾起義，為避戰亂，中原漢人開始南遷。魏、蜀、吳三國紛爭，黃河流域戰火連年，民不聊生，百姓四處逃難。西晉末年的“五胡亂華”和“八王之亂”，歷經18年，中原士民紛紛南逃。特別是公元311年的“永嘉之亂”，匈奴貴族率兵攻陷洛陽，俘虜懷帝，殺人三萬之眾，後來還逼得晉元帝遷都江南建康。於是，苦於連年戰亂的中原士族百姓，紛紛跨黃河，渡長江，逐漸遷到安徽和江西的長江兩岸。 “洛京傾覆，中州仕女避亂江左者十六七。”(《晉書》王導傳)當時，在百萬南遷的人流中，有70餘萬南渡長江，一部分遷移到江蘇、浙江和福建。 “永嘉之亂，中原士族，林、黃、陳、郭四姓先入閩。”(唐代林諝《閩中記》)“晉永嘉二年，中州板蕩，衣冠始入閩者八族，所謂林、黃、陳、鄭、詹、丘、何、胡是也。”(明代何喬遠《閩書》)另一部分則遷往江西北部，再溯贛江而上，來到贛南地區，有的甚至遷到贛閩交界處。
唐代末年的黃巢農民戰爭和藩鎮割據，特別是黃巢起義軍的征戰，波及長江中下游和南方各省，使客家先民住地成了戰禍的要衝。於是，他們只好再次遷徙，移居到當時未蒙戰亂的江西東南部和福建西部，還有一些則進入廣東東北部。這是客家先民的第三次大遷徙。
第四次大遷徙是南宋末年。當興起於北方草原的蒙古貴族的鐵騎席捲而來時，怯懦無能的南宋帝室，倉皇逃往福建、廣東。這時，定居江西、福建的客家先民，或隨之南遷，流入廣東東北部，或響應文天祥、張世傑、陸秀夫等人的號召，勤王抗元。
元代初期，在元朝統治者的高壓下，客家聚居區人口大減，經濟、文化也受到摧殘。後來，經過明代的休養生息，閩粵贛交界處的客家地區，經濟復興，人口繁衍了。然而，這些地區山多田少，此時已不能滿足發展。到了清代初葉，朝廷實行移民政策，於是客家人便積極響應，大舉南下、西遷。南移者，遷入珠江三角洲及廣東西部一些沿海地區，其中包括今日深圳和香港九龍、新界等地。這是客家人的第五次大遷徙。
第六次大遷徙，源起廣東西部的土、客大械鬥。這是由於居住在廣東台山、開平、四會等地的客家人，人口激增，與當地居民的矛盾日益加劇，終於在1856年爆發了持續12年之久的大械鬥。清朝政府在調解、彈壓之餘，再次移民。於是，由官府撥錢，“成年者每人八兩，未成年者每人四兩，各發執照，使往他處墾殖”，將這一帶的客家人遷至信宜、徐聞等粵西山區和雷州半島，以及今日的廣西合浦、欽州和海南島等地。
本文采用五次遷徙的說法。