曹魏後期，大權落入司馬氏集團手中。咸熙二年(公元265年)，司馬氏廢魏帝自立，建立晉朝，史稱西晉。建興四年(公元316年)，匈奴貴族劉聰攻陷長安，西晉滅亡。建武元年(公元317年)，司馬睿在南北世家大族的支持下，在建康(今江蘇南京)重建晉的統治，史稱東晉。
西晉初年，司馬炎為鞏固司馬氏的統治，對兵制進行了一些改革。漢魏以來，歷屆統治者鑑於漢初吳楚七國之亂，大都注意不使諸侯王的實力擴張。雖然也分封同姓諸侯王，但都是虛封，特別是曹魏時期，對諸侯王的控制更嚴。據記載，曹魏“封建侯王，皆使寄地空名，而無其實。王國使有老兵百餘人，以衛其國。雖有王侯之號，而乃儕〔chai柴〕為匹夫。懸隔千里之外，無朝聘之儀，鄰國無會同之製。諸侯遊獵不得過三十里，又為設輔監國之官以伺察之。”所以，即使在中央以宗室(如曹真)掌兵權，但因外無屏蔽，一旦中央權力發生轉移，政權就隨之喪失。司馬炎稱帝后決心改變這一狀況，進行兵制改革。改革的主要內容是撤銷地方武裝，大封同姓諸王和任用宗室諸王出掌外軍大權，目的是削弱地方實力，加強司馬氏家族對軍隊的控制。泰始元年(公元265年)，司馬炎開始大封同姓王，一開始就封有27個王，大國五個，次國六個，小國16個。大國食邑2萬戶，置上、中、下三軍，兵5000人；次國食邑萬戶，置上、下兩軍，兵3000人；小國食邑5000戶，置一軍，兵1500人。滅吳統一天下後，司馬炎認為天下大定，應該“偃武修文”，“息役弭兵，示天下以大安”，下令撤各州郡地方武裝，以加強中央集權。與此同時，司馬炎以宗室諸王出掌外軍，如使其子秦王司馬東都督關中，淮南王司馬允都督江、揚二州，楚王司馬璋都督荊州等。這些改革措施，不但沒能加強中央集權，反而使中央集權大為削弱。宗族血緣關係沒能阻止各諸侯王之間的爭權奪利。各王掌有重兵，沒能起到維護中央集權的作用，反而成了中央集權的最大破壞者。兼任都督的諸王，既是方面軍的統帥，又是地方民政長官；既有諸侯王的一套官屬，又有以大將軍身份開府後任用的一批幕僚，軍政大權集於一身，從而刺激了他們分裂割據和爭奪全國統治權的胃口。司馬炎死後不久，就發生了八王之亂。這次動亂歷時16年，先後有八個諸侯王參與。八王之亂動搖了西晉的統治基礎，導致了西晉的滅亡。
西晉的兵役制度是世兵制，中外軍全部兵員都來自軍戶。凡為兵者皆入軍籍，不與民戶相同。軍戶的社會地位較郡縣民戶為低，但尚未被社會賤視，許多士族名流還不恥於與世兵子弟交往，世兵子弟也照樣可以當官為吏。如《晉書·王尼傳》記載，世兵子弟王尼在護軍府任軍士，負責養馬，當時名士胡毋輔之、琅玡王澄、北地傅暢等人都願和他交往，在一起“炙羊飲酒，醉飽而去”。正因為如此，世兵制在西晉時完全可以保證中外軍的兵源，而且世兵的戰鬥力也較強，從而使世兵制進入全盛時期。
西晉建立後，不設丞相，國家的政務由中書省和尚書台負責。在軍事方面，任命重臣為都督中外諸軍事，代表皇帝指揮全國軍隊。日常軍務方面，由尚書台的五兵曹負責。除都督中外諸軍事外，西晉還設有眾多的將軍，如大將軍、驃騎將軍、車騎將軍、衛將軍以及撫軍、輔國、四征、四鎮、四安、四平等將軍。這些將軍都是官階，而非官職，並非一定統軍。真正統軍的武官，一般都要加上都督諸軍、監諸軍、督諸軍的職稱和使持節、持節、假節的稱號。其中以使持節、都督諸軍的權力最大，所屬軍隊中的人事任免、獎懲、管理訓練、作戰指揮以及後勤供應等方面事務，均在其職權範圍內。持節、監諸軍的權力次之，假節、督諸軍又次之。
西晉的中軍駐守京師，其中警衛宮廷和京城的部分稱為宿衛軍，駐屯在京郊，作為國家控制的機動部隊的稱牙門軍。宿衛軍和牙門軍統稱為中軍。宿衛軍主要由左右衛、驍騎、游擊、領、護六軍組成。另外，還有左、右、前、後四軍，屯騎、步兵、越騎、長水、射聲、翊軍六校尉。此外，太子東宮的前、後、左、右、中五衛率也屬宿衛軍。宿衛軍兵力有五萬，後來經過八王之亂，中軍兵力受到削弱，最後在洛陽被劉淵全部殲滅。
中軍統帥是中軍將軍，後分別改為北軍中侯和中領軍。
西晉的外軍是指屯駐在京城以外各地的駐防軍，包括兩部分：一是各地都督府統領的軍隊，一是各封國所置的軍隊。西晉建立過許多都督府，其中最重要的有關中都督、幽州都督、荊州都督、豫州都督、徐州都督、揚州都督、冀州都督、沔北都督。都督一般都有將軍或大將軍官階。各都督府所統軍隊，數量很大，總兵力有30萬人左右，遠遠超過中軍。大的軍府兵力有四五萬人，小的軍府也在萬人以上。各封國所屬軍隊，也屬外軍。西晉共分封了500多個王、公、侯國，封國均可設軍隊。若把所有封國軍隊加起來，也是一個不小的數目。
中外軍制度到東晉開始走向混亂。東晉的中軍名稱一依西晉，還有領軍、護軍、左衛、右衛、驍騎、游擊六軍和五校尉，但兵力大為縮小。與中軍同駐建康的，還有揚州都督所屬軍隊。因此，東晉的中外軍名號雖存，制度卻非常混亂。
東晉的外軍是由都督率領的中央直轄軍。各都督所領兵力多少不一，戰鬥力也強弱不等。總的看來，以北方流民組成的軍隊戰鬥力較強，其中尤以後期的北府兵最負盛名。北府兵是帶有征北、鎮北等將軍稱號的都督軍府所統之兵。東晉建都建康，徐州在建康以北，所以徐州都督多以帶北字的將軍充任，其軍府簡稱北府，所領之兵稱作北府兵。淝水之戰就是依靠北府兵取勝的。後來，劉裕利用北府兵控制了東晉政權，北府兵就演變為東晉的中軍。
東晉的兵役制度仍以世兵制為主，但由於世兵社會地位日趨卑賤，世兵的戰鬥力逐漸下降，這一兵役制度從此趨向衰落。
東晉建立後，由於兵源缺乏，不得不採用調發奴隸、查徵隱戶、搜捕逃民和使用罪犯等手段增補軍戶。這樣，東晉軍戶的成份便大異於西晉的軍戶了。加上當時門閥制度已經形成，封建等級和門第觀念對社會已產生深刻的影響，而軍戶本身所受到的經濟剝削和政治壓迫又比一般民戶更重，生活極為困苦，實際上已接近於賤民階層。在這樣的情況下，世兵因反對壓迫而逃亡的現象越來越嚴重，戰鬥力也越來越弱，士氣越來越低。東晉政府只能轉而依靠招募來補充軍隊。如東晉初年，祖逖北伐，因兵力太少(司馬睿僅給他1000兵)，只能自行招募。北府兵的大多數兵士也是招募而來。到了後期，募兵所佔的地位越來越重要。
招募兵與世兵不同，既非終身為兵，更非世代為兵，待遇也較好。所以，由募兵組成的軍隊，士氣較高，戰鬥力也較強。