1206年，成吉思汗(公元1162—1227年)統一蒙古各部，在蒙古高原上建立了蒙古國。在統一蒙古各部和後來頻繁的對外戰爭中，蒙古國逐漸形成了一套具有自己特色的兵制。
蒙古軍的最高統帥是大汗。大汗下面有宗王、萬戶長(蒙古語稱作“土綿那顏”，“那顏”意為“官人”)、千戶長(蒙古語稱作“敏罕那顏”)、百戶長(蒙古語稱作“札溫那顏”)、五十戶長(蒙古語稱作“塔賓那顏”)、十夫長(又稱牌子頭，蒙古語稱“阿兒班那顏”)等各級指揮官。
蒙古國軍隊主要由蒙古軍和漢軍兩大類組成。蒙古軍按十進制編組成十戶、百戶、千戶。千戶是蒙古軍的基本編制單位。一部分千戶分屬於宗王(成吉思汗家族成員)，其他千戶分編成左右兩翼軍，由左右翼萬戶長分掌。在戰爭中陸續被蒙古征服的中亞各族人(統稱“色目人”)後來也編入蒙古軍中。
蒙古軍平時分佈在草原放牧，戰時集中。但戰爭的發展，需要有一支軍隊戍守在已佔領地區，於是從各千戶中籤發部分士兵，組成專用於鎮戍的軍隊，稱為探馬赤軍。由於蒙古人大多不願意遠離草原長期在生活環境不適應的地區作戰和鎮戍，所以在選調探馬赤軍時，各千戶往往以隸屬於蒙古軍籍或淪為私屬人口的外族人充任，造成了探馬赤軍複雜的民族成份。探馬赤軍被派出鎮戍後，仍與蒙古各千戶保持著密切關係，屬於蒙古軍系統。
為了保衛大汗安全，成吉思汗還從各千戶中選調了一萬名精兵組成大汗衛隊，蒙古語稱為Kesig，漢語譯為怯薛。怯薛士兵分編成宿衛千戶、箭筒士千戶和散班八千戶，平時分四班輪流宿衛大汗營帳(稱四怯薛)，戰時則隨皇帝出征，是全軍的中堅力量。
漢軍是蒙古進入中原地區以後招集中原各族人民編成的軍隊，主要來自以下幾個渠道：(1)金朝末年中原地區出現的守土自保的地方武裝，陸續在首腦人物率領下投附蒙古政權；(2)蒙金戰爭中投降蒙古的各種軍隊，如中都(今北京)的糺軍、北京(今遼寧寧城縣西)的契丹軍等；(3)自窩闊台汗朝(公元1229—1241年)時起，蒙古在中原漢人民戶中籤發的士兵，數量在10萬人以上。此外，漢軍中還有一部分降附於蒙古的南宋軍隊。到蒙古國後期，漢軍的總數約在30萬人左右，大大多於蒙古軍的數量。
漢軍的編制也編為千戶和萬戶。各漢軍萬戶所統人數不等(蒙古千戶也是如此)，大者五六萬，小者不下二三萬。漢軍的萬戶長由蒙古大汗指定。漢軍萬戶長之上設立統軍都元帥，由探馬赤軍將領擔任。蒙古大軍出征，都元帥要接受大汗指定的蒙古親王、萬戶長、千戶長等前線指揮官的調遣。
蒙古國在蒙古地區實行的是全民皆兵的兵役制度。蒙古各部成年男子(15歲到70歲)都有服兵役的義務，不管其貴賤，也不論家中人口多少。他們平時進行牧業生產和其他活動，一旦有戰爭，就要根據大汗的需要，或者“空營帳而出”，舉國皆兵，或者抽調其中一部分人出征，被抽調者的奴僕也要隨軍行動。 15歲以下的少年有時也要從軍，以使其從小熟悉征戰。蒙古語稱這些少年戰士為“怯困都軍”(意為漸長成丁軍)。
漢人地區則實行指定一部分人戶當兵的徵兵制度，後來變為世兵制，凡列入軍籍的人戶要世代當兵。
蒙古軍的後勤管理制度主要是設立“奧魯”。奧魯是蒙古語Aurug的音譯，原意為“老小營”、“營盤”，既指軍屬，又指管理軍屬的人。奧魯的職責是保證出征軍隊的食宿供應和管理軍人家屬。蒙古軍(包括探馬赤軍在內)出征時，都在統兵官下設置奧魯官，管理隨軍出征的軍人家屬。漢軍萬戶後來也設奧魯官，管理軍人家屬及為出征軍隊準備武器糧草。
蒙古建國後，成吉思汗為鞏固統治，頒布了一系列法令(蒙古語稱為“札撒”)，其中不少是關於軍事的內容，包括萬戶長、千戶長、百戶長的選用條件和職責範圍，也有戰場紀律的規定和軍隊組織的約束。違反軍法的人有三種處理辦法，一是以財產抵罪；二是罰作敢死隊，以戰功抵罪；三是即時處死。
忽必烈(元世祖，公元1260—1294年在位)在1260年即大汗位，開始採用漢族地主階級的統治方法，並在1271年正式改國號為元，1279年滅南宋統一中國。元朝建立後，忽必烈進行了軍政制度改革，建立了一套比較完備的軍事制度。
忽必烈即位後，為加強中央集權，改變了蒙古國時期大汗、宗王、萬戶長、千戶長等一統到底和都元帥節制漢軍的領導體制，在中央設樞密院，負責調發和管理全國軍隊、籌劃軍事部署和銓選武官，以及為軍隊提供後勤保障。中書省設立兵部，負責馬政和軍事通訊。另外還實行宗王出鎮制度。
樞密院初設於中統四年(公元1263年)，置樞密使、副使、僉〔qian千〕書樞密院事等職。後來增設知樞密院事、同知樞密院事等職。樞密使一般由皇太子兼任，知樞密院事(簡稱知院)則是樞密院實際最高長官。知院和同知必須由蒙古人和色目人擔任，副使以下才參用漢人。
樞密院向皇帝奏報軍情要務，一般情況下不經過中書省。重大的軍事決策，皇帝要召集中書省和御史台等中樞機構官員與樞密院官員一同商議。元朝皇帝每年夏季赴上都(今內蒙古正藍旗東閃電北岸)避暑，樞密院官員大都隨行，只留副使或僉院一二員於大都(今北京)，暫管樞密院事務。重要公文和軍情報告都要轉送上都，由跟隨皇帝的院官處置。如果發生突然事變，留守大都的院官可以調動軍隊和採取緊急措施。
為了保證駐在漠北草原上的各部分蒙古部落的軍政統一，忽必烈取消了蒙古左右翼萬戶長，各蒙古部落的千戶長直接聽命於樞密院。中央派一名知院長年坐鎮漠北，就地處理軍務。
元朝還實行宗王出鎮制度。蒙古國時期分封的蒙古宗王，都有直屬的蒙古千戶和封地。忽必烈對此加以改革，將幾個兒子分派到漠北、陝西、雲南、吐蕃等地為出鎮宗王，不再封給他們蒙古千戶和土地，只授予節制當地軍隊的權力，戰時作為當地軍隊的最高指揮官。出鎮漠北的宗王，地位在坐鎮漠北的知院之上。元朝中期，在鄂州和揚州等地也有宗王出鎮。
元朝的地方指揮系統。在對南宋作戰中，忽必烈設置了行樞密院和行中書省，負責指揮軍隊作戰和鎮戍地方。全國統一後，行樞密院相繼撤銷，在全國設立河南江北、江浙、湖廣、江西、四川、雲南、陝西、甘肅、遼陽、嶺北10個行省。各行省設平章二人，負責一省的軍政事務。平章一般由蒙古人充任，有時也用色目人，漢人不得充當。行省下設萬戶府、元帥府等軍事機構。在遠離行省中心的地區或少數民族聚居地區，設立宣慰司都元帥府，掌軍政和民政。各行省軍隊的調動，必須有樞密院傳旨。如果發生戰亂，先由樞密院傳旨所在行省平章，派兵鎮壓，如一省力量不夠，則傳令附近行省發兵會剿。有時，也在戰事頻繁的地區設立行樞密院，臨時提調從各省調來的軍隊，戰爭結束則撤銷。
元朝軍隊分中央宿衛部隊和地方鎮戍部隊兩部分。宿衛軍由侍衛親軍和怯薛組成。侍衛親軍組織始建於中統元年(公元1260年)。第一個衛軍組織稱為武衛軍，兵員三萬人左右，來自中原各漢軍萬戶屬下的軍隊。以後又改名為左、右翼侍衛親軍，左、右、中三衛。至元十六年(公元1279年)，南宋滅亡，忽必烈調整軍隊部署，增加侍衛親軍兵力，將三衛軍擴充為前、後、左、右、中五衛，後又增設武衛、虎賁衛、忠翊衛、海口侍衛等衛軍機構，以漢軍為主體，稱為漢人衛軍；將原來隸屬於蒙古軍籍的色目“諸國人之勇悍者聚為親軍宿衛”，先後設立了唐兀、欽察、貴赤、西域(又稱阿爾渾)、阿速、隆鎮、龍翊、斡羅斯等衛軍機構，稱為色目衛軍。部分蒙古探馬赤軍人和從草原上流散出來的蒙古人口，也被編入侍衛親軍組織，設立蒙古侍衛與宗仁衛等機構，稱為蒙古衛軍。此外，還在東宮之下(後轉給后宮或樞密院)設立了幾個衛軍機構。到元文宗時，衛軍的總人數在20—30萬之間，漢軍上兵約佔2/3。
侍衛親軍由衛都指揮使司掌管，除東宮衛軍外，均隸屬於樞密院。
怯薛由怯薛長掌管，負責皇帝安全，一般不出征作戰。侍衛親軍既要負責上都、大都兩個都城的安全和“腹裡”(中書省直轄的地區，包括今河北、山東、山西及內蒙古部分地區)的鎮戍，又要隨時準備出征或鎮壓人民起義。由於侍衛親軍的士兵多是各軍中選來的精銳，所以侍衛親軍的戰鬥力較強，是元朝軍隊的核心，代替了蒙古國時期怯薛的地位。
地方鎮戍軍由駐牧在草原上的蒙古軍和分散在全國各地的探馬赤軍、漢軍和新附軍(原南宋軍隊)構成。蒙古軍和探馬赤軍以騎兵為主，漢軍和新附軍以步兵為主。另外還有炮軍和水軍。
蒙古軍仍然保持著有戰事傳檄集合，平時散歸各部的習慣。千戶組織還是蒙古軍的基本組織形式。南宋滅亡後，參戰的探馬赤軍除部分被編入侍衛親軍組織外，都被元朝分派到山東、河南、陝西、四川軍事要地屯駐。探馬赤軍人的家屬也陸續從草原遷往中原駐地。從至元二十一年(公元1284年)開始，元陸續設置了山東河北、河南淮北、陝西、四川四個蒙古軍都萬戶府，立司於濮州(今山東鄄城北)、洛陽、鳳翔和成都，分掌探馬赤軍。四個都萬戶府所屬探馬赤軍的總人數，大約在五萬人至八萬人之間。
忽必烈即位後，為滅宋統一中國，又從中原地區簽軍近20萬人，補充漢軍。全國統一後，元將收降來的新附軍與漢軍混編在一起，摻入部分色目軍人，分佈在各行省戍守，設立了近百個萬戶府、元帥府分管這些軍隊。在一些少數民族聚居的地區，也編組了由當地民族組成的軍隊，如遼東有高麗軍、女真軍，雲南有寸白軍，湖廣有土軍、黎兵、洞兵，福建有畬〔she奢〕軍，吐蕃有吐蕃軍等等。這些民族兵由在當地設置的萬戶府、元帥府等機構兼管，負責維持地方治安。
元朝還有一種專門用來隨大軍出征擄掠財物的軍隊，稱為“答拉罕軍”或“乾討虜軍”，政府不給糧餉，也不入兵籍，實際上是無籍軍，一般多由無賴僥倖之徒組成。
元朝的兵役制度和蒙古國時期的兵役制度基本相同。蒙古各部仍實行成年男子皆兵的製度，其他民族則實行徵兵制基礎上的世兵制——軍戶制度。元朝共有探馬赤軍戶(也稱蒙古軍戶)、漢軍軍戶和新附軍軍戶三種軍戶。
漢軍軍戶的簽發是以民戶的財產和勞動力為依據的，一般從中戶中籤發，一經簽發便為軍戶。由於各軍戶財產和人丁情況不一樣，於是元朝政府又制定了正、貼戶制。根據軍戶的不同情況，以兩三戶或四五戶合出軍一人，出人當兵的軍戶稱正軍戶，又稱軍頭；其他不出人的軍戶則出錢資助，稱為貼軍戶。如果正軍戶沒有當兵的合適人丁，便由有丁的貼軍戶頂替，原正軍戶改為出錢資助。但當正軍戶有了合適的人丁時，便要繼續承擔出軍的義務。
探馬赤軍戶和新附軍戶不實行幾戶合出一兵的製度。但探馬赤軍戶原來的驅口(奴隸)被釋放為民後，必須出錢資助舊主人，從而實際成為舊主人的貼軍戶。新附軍戶沒有貼軍戶。
軍戶履行服兵役的義務，必須以“正身”(本人)應役，不能逃避或以他人代役。如軍人在出征或出戍時逃亡，要到原籍勾取他的兄弟子侄來頂替。軍人陣亡或病死，軍戶可以享受“存卹”的待遇。
軍戶的武器裝備，探馬赤軍仍和蒙古國時期一樣自備。漢軍軍人服役期間，武器和冬夏軍裝及口糧由政府發給，其他裝備和開支則由自己負擔。正軍戶、貼軍戶湊齊出征、出戍軍人的費用後，定期送到軍中，稱為“封椿錢”(又稱封裝錢)。新附軍人的裝備完全由政府負擔，家屬還可以得到政府發給的四斗米、一斤鹽。作為對軍戶服兵役的補償，元朝在賦役方面，對軍戶實行豁免和優待。
軍戶制度使兵役負擔集中到一部分人身上，加上軍官的剝削和壓迫，使軍戶的負擔過重，往往導致軍戶的破產和逃亡。特別是元朝中期以後，軍戶制帶來的問題更為嚴重。不過，在元朝建立過程中，這一制度對保證元軍穩定的兵員和減輕國家軍費負擔，還是起到了重要作用。
元朝十分重視軍隊的後勤建設，對武器的生產和管理、軍糧的保證制定了一整套制度。
在武器的生產和管理方面，元朝設立了軍器監專門管理各種兵器的生產、貯存和發放。元朝規定，武器只能由政府組織生產，任何人不得私自製造武器，漢人和南人還不准私藏武器。漢軍和新附軍只有在作戰或出戍時才發給武器，平時則收藏在倉庫，統一管理。
為解決軍糧供應問題，元朝繼承了以往各代採取過的軍屯制。軍屯地域從邊疆到內地，遍及全國，腹里地區屯田尤為眾多。軍屯由屯田萬戶府、千戶所管理，各級屯田官均由軍官擔任。屯田軍主要是年老體弱、不堪徵戍的蒙古、色目士兵和漢兵。軍屯所用耕牛、農具和種子，多由國家供給，少數由屯田軍自備。屯田所得除供軍食外，還有一部分充當各級軍官的俸祿。軍屯對邊疆地區的開發和保證軍糧供應有一定的積極作用。但由於軍屯官吏對屯田軍的壓迫和剝削，軍屯的經濟效益不高，因此，到元朝中期，屯田制開始逐漸廢弛。
另外，由於元朝是以強大騎兵奪取天下，所以在統一後十分重視馬政建設。除在大都周圍和漠南、漠北草原上設置了大批國家牧場養馬外，還根據需要從民間強制徵調馬匹以供軍用。但強制徵馬往往遭到人民的反對，激起尖銳的社會矛盾。
蒙古國和元朝，都實行軍官世襲制。蒙古千戶長、百戶長等職，由子孫襲任；探馬赤軍和漢軍軍官戰死，子孫襲其原職，病死則子孫降二級襲職。承襲者子孫必須滿20歲，並按規定進行武藝和文化考核。原來，承襲者可以是兒子，也可以是兄弟子侄。由於承襲順序不清楚，經常發生爭執。仁宗時明確規定，必須由嫡長子承襲，其次是嫡長孫。這是第一順序。如果沒有嫡長子孫或嫡長子孫不夠承襲年齡，則改由第二順序，即庶子和兄弟、侄等承襲。嫡長子孫到年齡後，第二順序承襲者要將職位交回他們手中。
實行世襲制的同時，元軍中還實行軍官遷轉法，一般是三年一升遷，出征時則論功行賞。探馬赤軍軍官升遷後，原職位由其弟侄兒男繼任。漢軍軍官升遷後，原職位由他人繼任。
元世祖至元二十一年(公元1271年)規定軍官的品級、各軍府設軍官的人數以及軍官所持符牌的標準。萬戶府、千戶所分成上、中、下三等，百戶所分為上下兩等。侍衛親軍各衛指揮使司與上萬戶府等級相同。萬戶府設達魯花赤、萬戶、副萬戶、鎮撫；侍衛親軍各衛設都指揮使、副使(有的衛也設達魯花赤)；千戶所設達魯花赤、千戶、副千戶、彈壓；百戶所設百戶。草原上的蒙古軍仍保持過去的千戶長、百戶長等職務。
元朝通過發放符牌證明軍官的身份。符與牌是同一概念。當時分虎頭金牌、平金牌、平銀牌三等，又稱虎符、金符和銀符。按規定，萬戶佩虎符，千戶佩金符，百戶佩銀符。虎符又有三珠、二珠、一珠的區別。三珠虎符最高，只有上萬戶府達魯花赤、萬戶以上的掌軍者才能發給。符牌由朝廷頒發。軍官升遷或去職後，符牌必須交回。除符牌外，各級軍官還有印章。
元朝在全國各地設置了完善的驛站(蒙古語稱站赤)。驛站以大都為中心，遍布全國各地。據元代官修的《經世大典》記載，除嶺北和吐蕃的驛站外，全國有驛站1400多處。管理驛站的官員是提領、副使及百戶，在站中服役的稱站戶。站戶也是單列戶籍，與民戶分治，世代相傳，父子相繼。全國有站戶近30萬，與軍戶數相當。由此可見元朝對軍事通訊的重視。
根據地區和交通工具的不同，驛站分馬站、車站、船站、牛站等，邊遠地區有的還設狗站和駱駝站。一般來說，陸路以馬站為主，水路以船站為主。各站都備有交通工具和糧食、肉食，供往來信使使用。此外，還設有急遞鋪，專門傳遞緊急文書。
元朝發達完備的驛站，保證了朝廷軍令、政令的及時傳遞。但由於站役繁重，站戶負擔過重，引起站戶逃亡，加劇了社會矛盾，這也是導致元末農民起義的原因之一。