客家人的主體是中原南遷的漢人，客家文化的主體承襲了中原文化。但客家先民在南遷及定居後，也不斷吸收和融合南方土著民族的古越文化和畬〔she奢〕族、瑤族等文化。其中，最重要的是吸收和融合了畬族文化。
秦漢時期，廣東、江西、福建是古代百越民族的居住地。從魏晉南北朝至隋唐時期，在今日客家住地的閩、粵、贛三省交界地區，生活著史稱為“蠻”、“蠻僚”、“峒蠻”、“峒僚”的土著居民。據考證，他們是百越民族一個分支的後裔，是今日畬族的先民。但是，直到13世紀中葉南宋末年，漢文史籍、文書上才開始出現畬族的名稱：“畬民”或“輋〔奢she〕民”。客家先民正是在與畬族的共處和交流中，相互影響，相互融合，最後才形成客家民系和客家文化的。
唐代末年的黃巢農民戰爭，延續了九年，波及中原及南方的10個省區，而閩、粵、贛交界處，卻因地處偏僻山區而倖免這場戰禍。於是，西晉末年遷入江西北部的客家先民，紛紛遷到江西南部、福建西部，還有進入粵東、粵北地區的。
隨著大量漢人的遷入，加之這時增設郡縣，封建統治力量不斷擴展和深入，使得居住在這一帶的畬民，一部分被迫遷往他鄉，大部分則與客家先民共同生活。他們在長期的雜處和互相通婚中，不僅血緣混合，而且由於物質文化、精神文化多層面的相互交流、相互吸收，出現了你中有我、我中有你的民族融合，並最終形成了客家民系，造就了獨具特色的客家文化。這方面的例證，不勝枚舉。
語言是文化的載體，是人們的交流工具。客家人講客家話，而今天居住在福建、浙江、江西、安徽、廣東的畬族人民，除了廣東的海豐、增城、惠陽、博羅等縣極少數畬族使用接近瑤族“布努”語(屬苗語支)以外，99%的人都操與客家話接近的畬語，以至有人認為畬族人講客家話。這種有趣的奇特語言現象，就是客家文化與畬族文化交流和融合的結果。
原來，歷史上客家先民與畬族長期生活在交通閉塞的山區，他們進行交流，首先要有通用的語言為媒介，於是導致他們的母語出現了變異，彼此互相靠攏，互相交融——原先講北方語言的客家先民，其母語有所變化，吸收了畬族語彙等等。這裡只舉一例。 “母親”一詞，在廣東梅縣一帶稱“阿娓”〔mei梅〕，在福建長汀一帶稱“娓娓”或“姆娓”，皆用“娓”來稱呼母親，這在漢語普通話和其他方言中都是少見的。然而，在畬語和苗、瑤語中，則多用“娓”來稱母親，其中不難看出淵源關係。當然，在相互交融中，畬族的母語也變了，而且，先進的語言往往起主導作用，畬語向漢語靠攏為多，正是古畬語被漢化的結果。據研究，這一語言混化的過程，始於唐代末年，而在南宋，大量客家先民遷入閩、粵、贛地區後，便已初步完成。換句話說，客家話初步形成於南宋。
在經濟生產與物質文化方面的相互交流和吸收也相當廣泛。客家先民向畬族學習當地的耕作方法和生產技術。例如，開墾梯田；種植適於山坡旱作的稻子“畬禾”和適於山區的早熟水稻“百日子”，以及單季稻“八月白”等；施用草木灰作肥料；將青石燒成石灰施入深山冷水田，使“田得其煖〔暖nuan，實為用鹼性石灰來中和酸性土壤〕；利用田邊地角種植芋頭，等等。畬族的這些墾殖耕作方法，直到20世紀50年代在客家山區中仍可見到。至於在飲食和生活器物方面，如畬民用大瓢作水瓢，以長柄瓢當舀酒的酒瓢等日常器物，也傳給了客家人。
在住房方面，畬民最初用竹木搭蓋簡陋的茅草房，因而畬語稱房屋為“寮”。在與客家人共處交融中，畬族不但有了木結構的泥牆瓦房，還吸收了客家人的建築形式，講究選址方向，甚至迷信風水了。
在風俗習慣方面相互交融的地方更多。其中，突出的例證是生育與喪葬習俗。從前，客家產婦大多請來接生婆，在自己家里分娩。若生下兒子，接生婆將毛筆劈開，用筆管的竹片割斷臍帶，以祝愿男兒長大後勤奮好學，讀書仕進；如生下女兒，則將燒火吹風的吹火筒劈開，用其竹片割斷臍帶，希望她日後好生燒火做飯，料理家務。還有，產婦在坐月子期間，要用溫開水洗臉，不吃稀飯，不吃青菜等等。這些習俗都與畬族完全一樣。
畬族歷史上曾盛行火葬，後來，客家人實行的土葬和“拾骨重葬”習俗，影響了畬民，畬民也普遍實行二次葬。至於葬禮過程的各種禮儀，客家人與畬族也多有相似之處。例如為逝者沐浴，客家習俗是到河邊焚香化紙，再丟幾文錢幣於河中，向河神買水，再順水舀水，拿回靈堂為逝者抹浴。畬民亦有“買水”之俗，但逝者男性為順流取水，以示男在天；逝者女性則逆流取水，表示女居地。
在文化生活方面，客家人和畬族人民都喜唱山歌。畬民不論在閒暇休息、生產勞動、節日喜慶、談情說愛、會親訪友，乃至男婚女嫁、祭祀祖先、舉哀喪葬，無不吟唱山歌。客家人受了畬民的影響，也喜唱山歌，他們在生產勞動、節日閒暇和男女相慕、談情說愛中，常常以歌為樂，以歌傳情。客家人和畬族在唱山歌中互相影響，還表現在客家人給畬族山歌帶來了唐詩的韻味，以及採用七字一句、四句一首的形式，和比、興、雙關、重章疊句等表現手法。
在信仰崇拜方面，客家人有濃厚的崇拜祖先觀念，重視以直系血緣為基礎的宗族關係，講究姓氏淵源，門第堂號，續修祖譜，建立祠堂，修建祖墳，祭祀祖先。受客家人的影響，畬族在崇拜圖騰、篤信遠祖盤瓠〔hu護〕之外，也編纂族譜，甚至也像客家人一樣，把自己的祖先說成是來自中原，出身權貴。
在民族精神方面，表現在婦女身上的民族精神尤為典型。客家婦女和畬族婦女在歷史上都保持天足。她們吃苦耐勞，艱苦創業，勤儉持家，孝順父母，侍奉丈夫，撫育子女，表現了中華民族的優秀品德。客家婦女以中原儒家禮教和思想道德影響畬族，而畬族婦女則以勤勞節約、艱苦創業和淳厚質樸的品德影響了客家婦女。
此外，客家人和畬族男女從前皆以長衫馬褂為禮服，女子喜愛戴遮陽擋雨的竹笠，婚姻禮俗中有許多中原古風，以及共同過春節、上元、二月二、清明、端午、乞巧、盂蘭、中秋、重陽、冬至等節日。從上所述，人們不難看出客家先民與畬族在長期的共同生活中，多層面的文化互動及民族融合。