元朝的前身是蒙古汗國，由成吉思汗所建。當時官制比較簡單，實行領主分封制。其辦法是，把全國牧民按地區編為十、百、千、萬戶，各設長以統領。萬戶長、千戶長都是開國功臣，由成吉思汗任命，佔有不等的封地和封戶。封戶平時畜牧生產，繳納賦稅，戰時由領主率領，隨大汗出征。所以，這種領主分封制實質是一種軍政合一的組織。成吉思汗的私人財產和宮廷事務分屬於四個斡耳朵。斡耳朵是宮帳的意思，由成吉思汗四個妻妾分別管理和繼承。成吉思汗的親軍有10000人，稱怯薛軍。怯薛是“番直宿衛”的意思，也就是宿衛軍。他的成員稱怯薛歹，長官稱怯薛之長。怯薛除保衛大汗外，還負責大汗的日常生活，並兼辦公事，處理國務。怯薛組織中為大汗主管文書的官員稱必阇〔du都〕赤。必阇赤，意為“書史”，也可以參謀國事。司法官稱扎魯忽赤，漢譯為斷事官。元朝統一中國後，國家規模超過漢、唐，蒙古汗國官制已不適應變化了的形勢，為了行使有效的國家管理，蒙古統治者對歷代中原王朝官制，特別是金朝官制，多所借鑒，形成了頗具特色的元朝官制。
元朝中央最重要的機構是中書省、樞密院和御史台。
元朝不採用隋唐確立的三省制度，而是沿用金朝尚書省制度，更名為中書省。中書省是由蒙古汗國時侍衛官必閣赤演化而來，又稱都省，為管理全國政務的最高行政機構。中書省名譽上的長官是中書令，由皇太子兼任，稱“行中書令”或“領中書令”，但並不常設，元代只有四個皇太子兼任此職，而且“首居重器，未嘗事事”(《秋澗集》卷八四)，“名雖如是，實則未聞”(《青崖集》卷四)。實際上中書省的長官是右丞相和左丞相，總領省事，裁奪庶政。元製尚右，右丞相地位高於左丞相。平章政事是丞相的副貳，左右丞、參知政事為執政官，統稱宰執。又有參議中書省事，掌管左、右司文牘，並可參決軍國重事。左、右司，各設郎中、員外郎、都事等官。中書省統領六部。六部皆設尚書、侍郎、郎中、員外郎等。六部職掌與宋朝相仿，惟兵部不掌軍政，只負責郵傳屯牧。至元七年(公元1270年)、至元二十四年(公元1287年)、至大二年(公元1309年)，元朝曾三次設立尚書省，與中書省分權，但時間都不長(三次設置合計八年)，所以終元之世基本上實行的是一省制。
需要指出的是，元代宰執官名運用十分混亂，原因是相當長時間內被用於賞功加官，到元中期惡性發展，從京官到外官，從文職到武職，甚至佞倖、僧道之類，往往都被授予宰執頭銜，有時前面加“遙授”字樣，有時則徑稱丞相某某、平章某某，職官、加官頗難分辨。直到元朝後期，加官宰執頭銜才得到控制。
樞密院是最高統軍機構。除怯薛外，“天下兵甲機密之務，凡宮禁宿衛、邊庭軍翼、征討戍守、簡閱差遣、舉功轉官、節制調度，無不由之”(《元史·百官志二》)。最高長官樞密使，也不常設，實際上的長官是知樞密院事，下設同知樞密院事、樞密副使、僉樞密院事、同僉樞密院事、院判、參議等官。元朝樞密院與宋、金樞密院略有不同，即遇有大征伐，另在用兵處分置行樞密院。行樞密院簡稱行院，是臨時性的，事已則罷。元朝軍隊分宿衛(戍衛京師)和鎮戍(鎮守全國各地)兩大系統。宿衛軍又分怯薛和五衛親軍。怯薛軍入元後仍然保留，處於功勳軍的地位，設怯薛長，歸皇帝親自統轄。怯薛待遇優厚，元朝高級軍政官員多出身於怯薛。所以，官員以怯薛出身者最顯貴。五(左、右、中、前、後)衛親軍是中央常備軍，各設都指揮使、副都指揮使等官，由樞密院管轄。鎮戍軍也由樞密院調動，有蒙古軍、探馬赤軍、漢軍、新附軍，其編制為萬戶府、千戶所、百戶所、牌子四級，分別由萬戶、千戶、百戶、牌子頭統率。各級軍官都是世襲，地位高於文官。
御史台是最高監察機構。忽必烈曾說：“中書朕左手，樞密朕右手，御史台是朕醫兩手的”(《草木子·雜制篇》)。設官有御史大夫、御史中丞、侍御史、治書侍御史。元代御史台地位高於唐、宋，一改以往以低品位官員監察高品位官員的傳統。御史台直屬機構有殿中司和內察院。殿中司設殿中侍御史，主管檢查朝廷禮儀、考核京官。內察院設監察御史，主管刺探舉報各種違法之事，有一定獨立性，稱作天子的耳目之司。元朝還在江南、陝西分設行御史台。御史台(內台或總台)與江南行台(南台)、陝西行台(西台)分轄二十二道，腹裡與河南、遼陽二行省八道隸內台，江浙、江西、湖廣三行省十道隸於南台，陝西、甘肅、四川、雲南四行省四道隸於西台。每道設肅政廉訪司(初設時稱提刑按察司)，置使、副使、僉事、經歷等員。廉訪官分臨所管道監察，稱為分司，每年八月至次年四月出巡，監察地方官吏，複審案件。元代御史台可以自選從總台到肅政廉訪司的官員(需奏皇帝批准)，這在歷朝監察官的設置上是絕無僅有的，反映了元朝監察制度的特點。
元朝是一個開放型的政權，重視利用中外各種宗教加強思想統治，因此設有管理宗教事務的各種機構。最重要的是宣政院和崇福司。宣政院設院使、副使、同知、僉院、同僉、院判、參議等官，主管全國釋教僧徒及吐蕃事務。吐蕃著名佛教領袖八思巴曾為宣政院第一任總領，被尊為“帝師”、“大寶法王”。如吐蕃有事，宣政院另設分院往治。崇福司，一度改稱崇福院，掌管也裡可溫(基督教)事務，管理本教教士和十字寺(教堂)。設官有崇福使、同知、副使、司丞、經歷、都事、照磨等官。據考證，元朝有也裡可溫教寺院72所。道教則由集賢院兼管。江南道教由皇帝敕封的正一道天師掌領。元朝對各種宗教寺院大加保護，主管祭祀典禮的太禧〔xi喜〕宗禋〔yin因〕院同時負責對寺院的修繕。
元朝稱院的機構特別多，主要有兩類。一類設官是院使、同知、副使等。除前面提到的幾個以外，還有宣徽院，掌管皇帝酒膳及朝廷筵宴。光祿寺是宣徽院的子機構。太常禮儀院，掌管禮樂、祭享宗廟社稷、封贈諡號等事。太史院，掌管天文曆法之事。太醫院，掌管醫藥和各種醫藥機構，同時制奉御用醫藥。將作院，掌管官府手工業。通政院，掌管全國驛站，後分置大都、上都兩院。典瑞院，掌管皇帝的印璽信物。中政院，掌管皇后宮中財政、營造、供給。儲政院，初名詹事院，掌管輔翼皇太子之事。另一類設官是各種名目的學士。有翰林兼國史院，負責擬寫詔令，纂修國史。蒙古翰林院，負責翻譯文字。集賢院，負責學校和徵集人才，同時兼管道教、陰陽、占卜等事。下轄國子監和國子學。監負責學的教令，設祭酒、司業、丞等官。學負責教授生徒，以博士領銜管理。又有蒙古國子監和蒙古國子學，不隸集賢院，而歸蒙古翰林院管理。奎章閣學士院，掌管進呈經史書籍，考校歷史，纂修《經世大典》。下轄群玉內司，掌管圖書寶玩；藝文監，主管以八思巴文字翻譯儒學經典。
此外，還有稱府、稱寺、稱司、稱監的機構。稱府的有大宗正府，設扎魯忽赤若干，由諸王為之長，掌管治理諸王、駙馬以下蒙古、色目人的刑名訴訟，也兼管蒙、漢相關的刑獄。侍正府，設侍正府侍、同知，掌管內廷近侍之事。稱寺的機構設卿、少卿。多為主管斡耳朵的機構。如長慶寺、長秋寺、承徽寺、長寧寺、延徽寺等。蒙元皇帝、皇后的斡耳朵各有私產和人戶，死後由親族繼承。除這一類機構外，還有武備寺，掌管兵器的製造和供應。太僕寺，掌管馬政。尚乘寺，掌管皇帝御用車馬。值得注意的是元朝不設大理寺，以其職掌歸入御史台。稱監的機構有太府監，設太卿、太監、少監，掌管財務庫藏。領內、右、左庫藏。都水監，設監、少監、丞，掌管河堤渠防。又在地方分設大都河道提舉司，山東、河南行都水監等機構。秘書監，設卿、太監、少監，掌管圖書。司天監，設提點、監、少監，掌管歷象研究及教學。又有回回司天監，設官同司天監，是少數民族星象學者觀察天象的專門機構。設司的機構有大司農司，設大司農、卿、少卿，掌管農桑、水利及賑濟之事。大都(今北京)留守司，設留守、同知、副守，掌守衛京城。
元朝地方有兩個系統，一是行省系統，一是土司係統。
行省，即行中書省，也簡稱省。元朝以大都為都城，稱河北、山東、山西之地為“腹裡”，直屬中書省管轄。腹里之外，分設嶺北、遼陽、河南、陝西、甘肅、四川、雲南、湖廣、江西、江浙等十個行省。 “省”，最初是官署名，如中書省。行省是中書省分出來的地方最高一級行政機構，設官同中書省，亦有丞相、平章、右左丞、參知政事、郎中、員外郎、都事等。這種制度是從金朝學來的，金朝叫行尚書省，是臨時的，不常設；元朝定型為常設的機構。以後，行省又演化為大行政區的代名詞。明、清時候，行省作為官署名不復存在，但作為大行政區的代名詞則沿用下來。行省下是路、府、州、縣。路分上路和下路，滿10萬戶為上路，不及10萬戶為下路，地理位置重要的地方，不論人口數亦可置上路。路設總管府，長官稱達魯花赤，總管副貳。下有同知、治中、判官、推官等官，下轄儒學(學校)、司獄司、織染局、雜造局、錄事司等分管各項專門事務的部門。府的設置不普遍，有的直屬中書省，有的隸屬於行省，有的隸屬於路。府之下有的直轄州縣，有的不轄州縣。府設達魯花赤、知府(或府尹)為長官，又有同知、判官、推官、知事、提控案牘等員分管各項具體事務。州按所轄民戶多少分為三等，江南、江北標準不一。江南50000戶以上為上州，30000戶以上為中州，不及30000戶為下州。江北15000戶以上為上州，6000戶以上為中州，不及6000戶為下州。州設達魯花赤、知州為長官，其他設官如同府制。縣也按所轄民戶多少分為三等。江南以30000戶以上、10000戶以上、10000戶以下劃為上、中、下縣。江北以6000戶以上、2000戶以上、2000戶以下劃為上、中、下縣。縣設達魯花赤為長官，下設縣尹、縣丞、主簿、尉、典史等官。在比較重要的地方設巡檢司，如浙江行省泉州路設有澎湖巡檢司，管轄澎湖、琉球(今台灣)等地。
土司設置於邊陲少數民族地區。有宣慰司、宣撫司、安撫司、招討司、元帥府、萬戶府、千戶所等機構。設宣慰使、宣撫使、安撫使、招討使、元帥、萬戶、千戶等官，由少數民族首領擔任。有的土司設在行省之內，如湖廣、雲南、遼陽等行省；有的設在行省之外，如維吾爾、吐蕃等。元朝土司的設置，是唐朝羈縻州縣的進一步製度化，以後為明、清兩朝繼承下來，對鞏固祖國的統一很有作用。
元朝以蒙古族為統治民族，把人戶分為蒙古、色目、漢人、南人四等。四等人戶在政治待遇上顯分優劣，從中央官到地方官的設置上都有突出的反映。高級官員基本上為世襲蒙古、色目貴族和極少數漢人官僚所壟斷，而漢人官僚也往往充任副職。如中書省，右丞相必須是蒙古人，色目人可任左丞相，而漢人只能任平章政事。有元一代，非蒙古人做丞相的只有三人。御史台也是一樣，“台端非國姓不以授”(《元史·太平傳》)。台端，指御史大夫。國姓，指蒙古人。至於地方行中書省長官丞相、平章政事，更是非蒙古人不任。元朝還有一個特殊的官名“達魯花赤”，蒙古語“鎮守者”的音譯，按規定由蒙古人(偶有色目人)擔任。中央許多機構，地方路、府、州、縣，非蒙古軍的萬戶府、千戶所，都設有此官。達魯花赤的設置，也體現了強化蒙古貴族統治的特點。