東晉恭帝元熙二年(公元420年)，劉裕廢晉自立，建立宋，史稱劉宋(公元420—479年)。宋的後期，政治腐敗，部將蕭道成趁機取而代之，建國號齊，史稱蕭齊或南齊(公元479—502年)。蕭衍滅齊建立南梁(公元502—557年)。南梁又被陳霸先取代，陳霸先建國號陳，史稱南陳(公元557—589年)，最後被隋所滅。宋、齊、梁、陳時期，史稱南朝。
劉宋兵制承襲東晉制度，但也有不少變化。
劉宋建國之初，劉裕親掌兵權。在中央任用寒門出身的人為中書舍人，使之參與機要。另外還設領軍將軍掌內軍，護軍將軍掌外軍。內外軍是以劉裕原來統率的北府兵為基礎組建的，也稱台軍。內軍擔任皇帝的宿衛，外軍警衛京師並隨時準備出征。內外軍相當於魏晉的中軍。
劉宋在京城以外的各戰略要地駐有守軍，由都督率領。劉裕鑑於東晉時荊、揚、徐等軍事重鎮的兵權未能為中央直接掌握，以致朝廷始終為這些重鎮的統帥所左右，遂又走西晉的老路，以宗室諸王坐鎮荊、揚等州為都督或刺史，不少都督都是十二三歲的皇子。這些皇子不能處理政務，皇帝只好派出親信人員出任典籤。典籤有權監督都督、刺史的行為，成為各軍鎮的實際主帥。等到這些皇子長大後，都督和典籤的矛盾開始尖銳起來。因為都督和刺史(出鎮諸王)握有重兵，於是先後叛亂。宗室子弟之間為爭奪皇位互相殘殺。公元453年，宋文帝劉義隆為其長子所殺。從此，宗室內部的戰爭連年不斷，20多年間換了六個皇帝，劉宋的統治被嚴重削弱，最後終於被蕭齊所取代。
劉宋的軍隊編制，以軍為最高建制單位。軍的主將稱軍主，副將稱軍副，一軍大約2000人。軍以下是幢，幢的長官是幢主。軍的基層單位是隊，隊的長官是隊主和隊副，每隊大約200人。
劉宋的兵役制度除仍沿用世兵制外，還兼行徵兵和募兵，募兵是劉宋最主要的集兵方式。宋王朝的台軍就是以募兵為主組建起來的。台軍設有專門的募兵機構——台坊，處理經常性的募兵事務。駐外地各鎮將也廣募義勇，置為部曲，擴大自己的實力。到宋明帝時，連守衛京師的各將軍，不論是否有統兵之職，也都各自募兵，兵役制度日趨混亂。
南齊兵制沿襲劉宋舊制，小有改革，但總的來說比較混亂。
南齊建國之初，鑑於劉宋末年將帥自募部曲，屯聚京師，對新建的南齊政權是個威脅，蕭道成於是接受中領軍李安民的建議，下令各將帥不得募兵，但中央的募兵仍然照常進行。然而，各外鎮都督自開軍府，大權在握，根本沒有執行這一削弱自己實力的詔令。事實證明，戰事一起，各將帥又都自行募兵。募兵不能滿足需要，就強行徵兵，以致徵募並行，給人民帶來深重的災難。
南齊原想接受晉宋王室骨肉相殘的教訓，解除諸王兵權，但當時仍是世家大族佔統治地位，皇室主要依靠掌握強大的軍隊佔據最高地位，一旦兵權旁落到異姓手中，帝位就難保了。所以南齊統治者十分矛盾，儘管知道諸王各掌兵權會導致內亂，但仍不得不以諸王為都督掌兵權。只是通過加強典籤制度來加強對都督的控制和監督。所以，南齊的典籤權力較劉宋時更大，因此，典籤又稱為簽帥或主帥。但是，這種作法，並沒有解決諸王之間和中央與地方之間的矛盾，相反卻激起了諸王對簽帥和皇帝的怨恨。豫州刺史蕭晃一氣之下殺掉典籤，荊州刺史蕭子響則不僅怒殺典籤而且起兵造反。
南齊統治者不但對在外諸王、都督不放心，而且對中軍主帥也存有戒心。蕭道成和劉裕一樣，任用寒門出身的中書舍人掌機要，用侍從武官控制部隊，使領軍將軍和護軍將軍形同虛設。這種作法造成了指揮系統的紊亂，也加深了統治集團內部的矛盾。護軍將軍崔慧景就是因為兵權旁落而心懷不滿，擁立江夏王蕭寶玄叛亂的。蕭齊政權最後在這種內部混亂中滅亡。
南齊末年，雍州刺史蕭衍以其兄蕭懿為東昏侯蕭寶玄所殺為由，進攻建康，代齊自立，建立南梁，是為梁武帝。
樑的兵制主要是沿用宋、齊舊制，以寒門出身的人典掌機要，以宗室諸王掌握兵權(梁時典籤權力已輕)，但也有一些變化。
變化之一是實行新的職官制度，擴大官僚編制，廣泛安插世族子弟為官為將，以調和統治階級內部的矛盾。這樣做的結果是造成了職官制度的混亂，加劇了社會矛盾。
變化之二是士兵的身份更加低賤，軍隊戰鬥力繼續下降。樑的常備軍基本上仍以世兵為主，但世兵為反抗統治，大量逃亡。梁用嚴刑峻法，也無法制止這種逃亡勢頭。梁規定士兵一人逃亡，一家補兵；一家逃亡，親戚鄰里補兵。人民為了逃避兵役，有的投附豪門為蔭戶，有的投附寺院為僧尼，有的甚至自殘身體或生子不養。梁武帝末年竟發展到“發召士兵，皆須鎖械，不爾便即逃散”(《魏書·島夷蕭衍傳》)的地步，這樣用強力組織起來的部隊自然不會有什麼戰鬥力，所以梁對北魏的多次用兵，均以失敗告終。公元549年，侯景叛亂，吳郡太守雖有精兵5000，卻不作抵抗，開城投降；會稽郡兵多糧足，而東揚州刺史蕭大連竟棄城而逃。這些都說明了梁軍士氣的低落和戰鬥力的衰弱。侯景攻破建康，梁武帝被困台城，最後老餓而死，也就不難理解了。
侯景叛亂被平定後，陳霸先掌握了樑的實權，並於太平二年(公元557年)十月自立為帝，建立陳朝。
陳的兵製完全因襲梁朝，世兵制更趨沒落，中央軍隊都來自募兵。地方豪強擁有大量私家部曲，這些部曲軍往往用於國家征戰，是陳的主要依靠力量。陳後主時，下令原來不交稅的軍人和百姓一樣交稅，士兵地位更加低賤，軍隊戰鬥力也更加薄弱。陳後主又用狎〔xia俠〕客文人代替武將掌兵權，自己則日夜與寵妃張麗華、寵臣江總等遊宴后宮，哼唱《玉樹後庭花》。最後，隋軍兵臨城下，陳軍不堪一擊，全軍覆沒，陳後主這個亡國之君和他的眾多嬪妃都成了隋軍的俘虜。
南朝的後勤保障，除來自編戶農民交納的賦稅外，軍屯與州郡公田的收入也是重要的來源。
南朝的軍屯主要分佈在邊境地區，由統兵將領組織經營。如劉裕曾派毛修之修復淮南芍陂〔bei碑〕，屯田數千頃。宋文帝在位期間，劉義欣遣參軍殷肅率領兵士墾出芍陂良田萬頃之多。鎮守襄陽的張邵，也開田數千頃。但總的來說，南朝統治者對屯田並未充分重視，屯田規模不大，分佈地區有限。南朝軍事力量不甚強大的一個重要原因就是缺乏可靠的後勤保障。
屯田之外，各州郡還盛行役使武吏課種公田的製度。武吏同軍戶一樣，終身為吏，世代相襲，平時主要為政府提供勞役，耕種公田，戰時也要當兵。武吏耕種州郡公田，交納課米，也是南朝積蓄軍資的一個途徑。據《宋書·良吏·徐豁傳》記載：“武吏年滿十六，便課米六十斛。十五以下至十三，皆課米三十斛。一戶內隨丁多少，悉皆輸米。”可見這一制度已很完備，規定得也十分明確，便於各地照此執行。