蒙古貴族在西征得勝以後，主力揮師東進、南下，於至元十六年(公元1279年)滅掉南宋。在同南宋的作戰中，蒙古貴族不斷地從中亞一帶調來軍隊。在東來的蒙古軍隊中，有大批的阿拉伯人和信奉伊斯蘭教的波斯等中亞人。其中主要是士兵和工匠，也有商人和社會上層人物。這些人當時統被稱之為“回回”，歸於“色目人”一類。回回士兵是“探馬赤軍”的重要成分。這些穆斯林隨著蒙古貴族對全中國的征服而散佈於東西南北各地，西北、西南、中原、江南尤多。所以，《明史》說：“元時回回遍天下。”戰爭硝煙熄滅後，他們大部退役，成為普通農民，集中居住，進行農墾。這就是所謂“民屯”。還有“軍屯”，就是軍隊一邊戍守，一邊墾殖。此外，回回工匠也多以軍事編制進行手工業生產。這是造成後日回回“大分散，小集中”局面的歷史根源。如果說唐宋兩朝中國穆斯林在分佈上還只是一個一個孤立的點，那麼在元朝，中國穆斯林在分佈上不僅連接成了線，而且鋪成了面。在雲南省，元時穆斯林業已“盈千累萬”。元末至順年間(公元1330—1333年)，鎮江地方共有戶數3845戶，其中漢人3672戶，蒙古人29戶，回回59戶；共有人數10555口，其中漢人9407人，蒙古人163人，回回374人。無論就戶數還是就人口數來說，在非漢族中回回都佔第一位，高於蒙古族。
在唐宋時期，中國穆斯林大都居住在城市，經濟活動主要限於海內外商業貿易方面。到了元朝則發生了歷史性的轉變。穆斯林不但在城市有，而且在農村也有，並以後者為主。他們不但從事商業貿易，而且從事農業生產和手工匠作，並以後者為主。這為後來回族的形成奠定了經濟基礎。除為官者外，無論在農村還是在城市都以聚居為主。這種聚居方式對於伊斯蘭教的鞏固和發展是非常有利的，同時也促進了穆斯林社會的形成。
元代東來的阿拉伯人和波斯等信仰伊斯蘭教的中亞人，是後來回族的骨干成分。
元朝時期中國西鄰各伊斯蘭國家也在蒙古人的統治之下，中國西部邊界實際上處於開放狀態；同時“色目人”在中國又屬於統治階層，這種情況無疑為伊斯蘭教迅速地向東發展提供了方便條件。
為了便於管理迅速發展的伊斯蘭教宗教事務，元朝設置了“回回掌教哈的所”這一官署。
蒙古開國諸汗大都執行宗教寬容政策。人們可以自由地信奉原有的宗教。各種宗教地位一律平等。但是，每個汗王又有自己所偏好的宗教。據說窩闊台汗比較喜歡伊斯蘭教，其皇后的一個女官是穆斯林。元世祖忽必烈在皇后察必可敦慫恿下，尊崇佛教。元朝的藏傳佛教(喇嘛教)處於國教地位。有一次在議論各種宗教得失的時候，忽必烈把佛教喻為手掌，把道教、儒教、基督教、伊斯蘭教比作手指。在1282年的阿合馬事件以後，他表現出“抑回”傾向。英宗時更加崇尚佛教，歧視伊斯蘭教，至治元年(公元1321年)5月毀上都(位於今內蒙古正藍旗)禮拜寺，改建八思巴帝師殿。泰定帝繼位後，平衡各種宗教，籠絡穆斯林。丞相倒剌沙和平章政事伯都烏拉都是穆斯林。泰定帝元年(公元1324年)由國庫撥銀四萬錠，復建了上都及大同路禮拜寺。
“回回掌教哈的所”是一個中央機關。 “哈的”是阿拉伯語音譯，意為教法執行官。估計在地方行省應有其下屬機構。在中國歷史上，這是第一次設置全國性伊斯蘭教管理機構。 “回回掌教哈的所”的負責人就叫做“哈的”，或稱為“回回大師”，主管宣教、教法等事宜。這一官署大概初置於元初，在至大四年(公元1311年)第一次被廢除。這就是說，該年取消了伊斯蘭教的中央管理機構，各地哈的可自行履行職務，不再有上下的隸屬關係。第二年即皇慶元年(公元1312年)元朝皇帝又發布聖旨，對各地回回哈的的職責作出明確規定，哈的只管“掌教念經”，而回回人的戶婚、錢糧、訴訟等大小公事“悉歸有司”，哈的們不得過問。從中也可以看出，在回回掌教哈的所存在期間，回回的戶婚、錢糧、訴訟等事，如果不是由哈的主管的話，至少他們也要過問。此後，哈的的基本權限由官方准許的只是“掌教念經”。回回掌教哈的所在泰定帝當政的四年裡(公元1324—1328年)曾經復置。文宗繼位後於天曆元年(公元1328年)再次被廢除。此後，這一機構似乎再沒有恢復。哈的所被撤銷後，哈的及伊斯蘭教事務很有可能劃歸宣政院管理。宣政院是元朝設置的管理佛教及吐蕃事務的中央機關。在一些地方，例如河州(今甘肅臨夏)，有其下屬機構。我們可以看到，在宣政院所頒布的具有法律性質的一些規定中，有的內容就涉及伊斯蘭教。
除哈的掌教制外，中國伊斯蘭教的“三掌教制”也始於元代。其具體職能將在後面介紹。
元代伊斯蘭教尚無固定的名稱。稱其為“真教”者有，稱其為“清教”者也有。 “回回教”或“回教”這一稱呼在元代後期可能已經十分通行。不過，元代穆斯林則早已被稱之為“回回”了。在“回回”中如果細分之，又有“答失蠻”、“迭裡威失”、“木速魯蠻”(或“木速蠻”)等等稱謂。 “答失蠻”是宗教學者階層，包括宗教職業人士。 “迭裡威失”是蘇非派托缽僧。 “木速魯蠻”(元代蒙古白話文常常寫做“木速魯蠻回回每”)，是廣大穆斯林群眾。這三種稱謂都是波斯語的對音。
在元代穆斯林中，宗教學者、宗教職業者佔有多大比重，缺乏直接的史料。特別是全國的情況，更不好貿然去說。但在元末的方誌上有些間接的記載。雖有管窺蠡測之嫌，總可以搞清一些問題。元末寧波回回納稅戶科定24戶，其納銀48兩。其中普通穆斯林戶19戶，納銀37.2兩，宗教職業戶二戶，納銀4.8兩，由一般教徒而充任政府譯員(翻譯阿拉伯語)者三戶，納銀六兩。宗教職業者戶同一般教徒戶之比為1：11，即11戶教徒有一戶宗教職業者。普通教徒戶每戶納銀1.96兩，不到二兩。宗教職業者戶每戶納銀2.4兩，高於普通教徒戶。譯員戶每戶納銀二兩，高於普通教徒戶，但低於宗教職業者戶。
元代中國伊斯蘭教出現了專門辦教的人員，這是一個非常重要的新現象。它是由蒙古貴族西征後東侵南下而移植過來的：這些答失蠻、哈的、回回大師、迭裡威失，等等，幾乎完全是隨蒙古軍隊東來中國的。他們在原居地阿拉伯地區或中亞一帶本來就具有現在這樣的身份。
在蒙元初期，中國伊斯蘭教的發展道路有些畸變。同唐宋時期截然不同的是，它存在著被納入伊斯蘭教文化圈的可能性。但在世祖忽必烈推崇佛教後，這種可能性大大地減少了。元代，也只是在元代，中國伊斯蘭教才真正地出現了宗教職業者階層。
元朝社會成員分四個等級，即蒙古人、色目人、漢人和南人。穆斯林是構成色目人的主要成分之一，其地位僅次於蒙古人，屬於統治階層。在政治上，穆斯林是蒙古貴族的依靠對象，當官者頗眾，甚至有的位居宰相。在經濟上，海內外貿易以及“百工技藝”多為穆斯林所壟斷。元朝的中央和地方行省有專門為穆斯林所設之官，純屬因人設事。元朝在中央政府任過宰相之職的穆斯林有17人；在地方政府任過要職的有32人。在司法、蔭敘、科舉等方面，穆斯林所享受的權利高於漢人和南人。答失蠻階層曾經享受過免賦、免差、免役的特殊待遇。這種待遇在某些地方一般回回戶似乎也享受過。
但是，元朝後期穆斯林的社會地位有所下降。
在元本土，從世祖忽必烈開始直至元亡，一直推崇佛教。而有些汗國，由於受伊斯蘭文化的影響，則逐漸伊斯蘭化。
阿難答是忽必烈之孫，忙哥剌之子，至元十七年(公元1280年)蔭襲“安西王”，駐地在西安。大德十一年(公元1307年)因爭奪皇位失敗被誅。阿難答幼時受教穆斯林，因而非常喜歡這一宗教。年長後，他改信伊斯蘭教。他能默誦，並寫得一手漂亮的阿拉伯字。在阿難答的帶動和鼓勵下，他所統帥的15萬大軍的多數皈依了伊斯蘭教。這是元代伊斯蘭教發展史上的重要事件。
在察合台汗國，察合台曾孫八剌在其當政時期也改信了伊斯蘭教，時在至元二年(公元1265年)。據說延祐七年(公元1320年)怯別繼位時，這個汗國正式走上了伊斯蘭之路。
在中國，即使是在元朝，穆斯林都必須學習傳統文化。內地情形尤其如此。一方面，中國穆斯林必須接受傳統文化的教育。不管其主觀願望如何，是主動的抑或是被動的，都必須這樣做。另一方面，對於中國穆斯林來說，科舉同樣是一條不可替代的生活出路。從穆斯林參加科舉，可以看出，傳統文化對伊斯蘭教產生了多麼深刻的影響。
元代有回回國子學，是國家最高學府，隸屬於國子監。至元二十六年(公元1289年)始置。延祐元年(公元1314年)另置回回國子監。凡蒙古、色目、漢人官員子弟皆可入學。學習內容為“四書”、“五經”、詩賦、表章、詔誥等。此外還有外語課程，如波斯語、阿拉伯語等。有一種文字，《元史》稱為“亦思替非文字”，有人認為亦思替非或即波斯文。學校制度(管理規則，教學方法，等等)“皆依漢人入學之製，日肄習之”(《元史·選舉志》)。回回國子學在泰定帝統治時期(公元1324—1328年)學員大增，“公卿大夫子弟與夫凡民之子，入學者眾”。回回國子學的畢業生大都做中央各衙門的翻譯官，“凡百司庶府所設譯史，皆從本學取以充焉”。
元代學校的考試，不管蒙古人色目人，一律是中國傳統文化的內容。延祐二年(公元1315年)元仁宗準依集賢學士趙孟頫〔fu斧〕和禮部尚書元明善所議，國子學貢試之法更曰“升齋”，其等第為六齋。所謂“六齋”，就是六個循序漸進的學習階段，類似現在小學、初中、高中等不同階段。下兩齋為“遊藝”、“依仁”，“凡誦書講說小學屬對者隸焉”。中兩齋為“據德”、“志道”，“講說'四書'課肄詩律者隸焉”。上兩齋為“時習”、“日新”，“講說《易》、、《詩》、《春秋》科習明經義等程文者隸焉”。按季考試，其所習經書課業及格者，可以依次升級。漢人生只有念完“日新”或“時習”齋課程才能充貢舉，而蒙古人生和色目人生只須念到“志道”、“據德”齋課程即可充貢舉。這種規矩叫“私試”。私試歷時數月，漢人學生先後試經疑一道、經義一道、策問表章詔誥一道；蒙古人學生和色目人學生先後試明經一道、策問一道。學校對蒙古人學生、色目人學生和漢人學生的教學內容完全一致，只是要求程度不同。這就是“試蒙古生之法宜從寬，色目生宜稍加密，漢人生則全科場之製”(《元史·選舉志》)。
在元朝，一些穆斯林特別上層分子，既是官僚又是儒士。他們精於詞章，邃於理學。這不能不說同上述教育制度有很大關係。
在中國封建社會，開科取士為知識文化人的晉身敞開了一扇小小的門扉。莘莘學子均擁擠在“科舉”這道狹窄的樓梯上，雖窮畢生精力而於功名之門無緣亦在所不惜。生員們之於科舉，猶之鐵之於磁，其吸引力難以用語言形容。因為一旦登第，名利雙收。書中自有千鍾粟、黃金屋和顏如玉。科舉就需要學習儒家學說。在這方面，伊斯蘭教義學說是無能為力的，俗謂“由儒不由回”。
元朝時期，窩闊台、忽必烈都擬以科舉取士，但未能實行。元朝首次開科是在延祐初年(公元1314年)。蒙古、色目人考兩場，第一場考經問五道，出自《大學》、、《孟子》、《中庸》，用朱熹章句集注；第二場考策問一道，以時務出題。漢人、南人考三場，第一場考明經經疑二題，出自《大學》、、《孟子》、《中庸》，用朱熹章句集注；第二場考詩賦、詔誥、章表；第三場考策問一道，由經、史、時務內出題。如果蒙古、色目人願意參加漢人、南人科目考試，入選者加一等注授官職。蒙古、色目人為一榜，漢人、南人為一榜，分榜錄取。中選舉人，蒙古、色目人榜貼於中書省門之左，稱“左榜”；漢人、南人榜貼於中書省門之右，稱“右榜”。延祐元年，在11行省即河南、陝西、遼陽、四川、甘肅、雲南、嶺北、征東、江浙、江西、湖廣，二宣慰司即河東、山東，四直隸省路即大都、上都、真定、東平，薦舉300人，參加會試。各地名額分配如下表：
在入選參加會試的300人中，色目人佔1/4。會試錄取100人，規定色目人錄取25人，亦佔1/4。因為色目人總數在全國人口比例中大大低於1/4，所以這一措施是有利於色目人的。從另一個角度說，它也有利於色目人的“漢化”。
在上述背景下，元代出現很多著名的穆斯林學者。
贍思，字得之，其先為大食國人。其祖父附元，內遷於豐州(今呼和浩特市東白塔)。後因任官遷居真定(今河北正定)。其父即“從儒先生問學”。贍思九歲開始學習漢文經籍，稍長投師翰林學士王思廉門下。由是學問大進，後任台憲。贍思“邃於《經》，而《易》學尤深。至於天文、地理、鐘律、算數、水利，旁及外國之書，皆究極之”。著述有《帝王心法》、《四書闕疑》、《五經思問》、《奇偶陰陽消息圖》、《老莊精詣》、《鎮陽風土記》、《續東陽志》、《重訂河防通議》、《西國圖經》、《西域異人傳》、《金哀宗記》、《正大諸臣列傳》、《審聽要訣》及文集30卷。 《元史·儒學傳》有其傳。
薩都剌，字天錫，他是元朝頗為著名的大詩人，有《雁門集》傳世。毛晉在跋文中說：
夭錫以北方之裔，而入中華，日弄柔翰，遂成南國名家。今其詩諸體具備，磊落激昂，不獵前人一字。
《元詩選·薩都剌小傳》亦云：
有元之興，西北子弟盡為橫徑，涵養極深，異才並出。雲石、海涯、馬伯庸以綺麗清新之派振起於前，而夭錫繼之。清而不佻，麗而不縟，真能於袁、趙、虞、楊之外，別開生面者也。
丁鶴年，元末人，出身穆斯林家庭。丁鶴年本人，據《明史》記載，“晚學浮屠法”，大約晚年皈依佛教。丁鶴年有詩集傳世，是元末詩壇巨擘。其古體歌行、五七言律，“皆清麗可喜”，多為時人稱道。 “其措辭命意多出杜子美，而音節格調則又兼我朝諸閣老之所長。其入人之深，感人之妙，有非它詩人所可及”(戴良《鶴年吟稿·序》)。丁鶴年由一個穆斯林，繼而學儒，進而學佛，這是丁鶴年的經曆三部曲。而創作和演奏這三部曲的適宜環境，只能在中國。
買閭，字兼善，祖父哈只為官江南，遂家居浙江上虞。父亦卜剌金力主兼善學習儒學。兼善曾出任和靖書院山長。不久，由禮部尚書推薦，敕授嘉興儒學教授。
中國書院之製創始於唐，講學之風興於五代，至宋始盛。宋元間學者多在書院講學，其熱烈氣氛遠在國學、地方官庠之上。書院有官辦與私辦兩種。書院與國學及府縣之學不同，學校的教育目的是為了科舉，而書院則不與科舉直接掛勾，其目的不在於培養官吏的接班人，而在於考究知識，涵養心性。書院的負責人，元代稱為山長，屬定職、定員的學官。除講學外，總領院務。山長由禮部、行省或宣慰司任命。
買閭是由一個穆斯林成長為書院院長和儒學教授的。這一事實本身就是對中國伊斯蘭教歷史趨向的最好詮釋。
元代把清真寺稱為“禮拜寺”或“回回寺”。
泰定帝元年(公元1324年)6月在上都及大同路(治所在大同，今山西大同市)各復建一座禮拜寺。關於大同路禮拜寺的位置，現在很難確指了。
杭州真教寺，是延祐年間(公元1314—1320年)回回大師阿老丁所建。
昆明崇正門內外兩座禮拜寺，是至元年間賽典赤贍思丁治滇時(公元1274—1279年)所建。
揚州普哈丁墓區內，有元代穆斯林墓碑四個，是從城內移去的。碑文以阿拉伯文為主，間以波斯文；有的也有漢文。
泉州發現大批元代穆斯林墓碑，碑文多為阿拉伯文。系統的整理、辨識、考證等研究工作，早在本世紀50年代已經開始。墓碑現存於泉州海交館和廈門大學等處。
在海南島某些濱海地區也發現穆斯林的墓葬群，同時有大量墓碑出土。碑文為阿拉伯文，辨識、考證工作正在進行中。據認為，其年代上限不晚於元代。
至正八年(公元1348年)楊受益撰寫的定州清真寺碑文，至正十年(公元1350年)吳鑑撰寫的泉州清真寺碑文以及同年郭嘉撰寫的廣州清真寺碑文，都是中國伊斯蘭教歷史上最早的漢文碑文，於史於教，均極珍貴。