東漢兵制直接繼承了西漢兵制，其軍事領導體制和軍隊編制體制與西漢基本相同，但也有變化和發展。這種變化和發展突出地表現在罷兵政策的實行和募兵制的興起。
公元25年，劉秀即位，建立東漢王朝。劉秀鑑於長期戰亂對社會生產力的巨大破壞，決定採取與民休息的政策，實行罷兵。罷兵的重點是郡國兵。從建武六年(公元30年)到建武二十三年，五次罷省郡國兵。建武六年，罷郡國都尉，都尉原來執掌的權力併入太守，並且取消郡國兵每年秋後的軍事演習。這一措施使郡守從此掌握了軍政大權。建武七年，“罷天下輕車、騎士、材官、樓船及軍假吏，盡還民伍，唯更踐如故”(陳傅良《歷代兵制》)。這一改革，把郡國兵基本上取消了，原來在郡縣服兵役一年的製度也從此取消。建武九年(公元33年)，省關都尉(秦漢時期在險要之處設關置兵把守，領兵者稱關都尉)。關都尉的省撤，等於把關的編制縮小。建武十三年(公元37年)，罷左、右將軍。建武二十三年，罷邊郡的亭侯吏卒。罷兵政策的實行在東漢初年對恢復社會生產起了重要作用，具有積極意義，出現了“兵革即息，天下少事”(《後漢書·光武帝紀》)的局面。但是也應該看到，由於罷省郡國兵，使東漢的國防力量大為削弱，而且造成整個社會的和平麻痺思想。罷兵的消極後果在短期內還表現不出來，但隨著時間的推移和形勢的變化，消極影響就日益明顯。
首先，郡國兵罷省過多，一遇邊郡和內地郡縣發生動亂，往往措手不及，事到臨頭才增兵置將，派中央軍前往征戰。但由於士兵多是招募而來，未經訓練，而且忘戰日久，所以往往失敗。劉秀似乎也對此有所認識，往往過一段時間後，發現罷省過多，又臨時增補。漢明帝時，開始逐漸恢復州郡兵。章帝時，繼續加強對州郡兵的訓練，使士兵素質有所提高。但罷兵的消極影響並未完全消除。相反，由於統治者廢置無常，還導致了兵制的混亂。
其次，罷兵過程中形成的郡守獨掌本郡軍事大權的情況，助長了郡守的割據野心。劉秀統治時期，郡縣地方兵不多，郡守還無力割據。東漢後期，社會開始動盪，郡守自行募兵，勢力坐大，終於形成割據局面。東漢不是亡於農民起義，而是亡於軍閥。東漢末年興兵作亂、割據一方的董卓、袁紹、袁術、劉表、呂布、劉焉等人都是由郡守、刺史發展起來的就是證明。其禍始不能不追溯到劉秀這一政策。
劉秀罷兵以後，遇到邊境或內地有事，中央兵不足以應付，只得臨時徵集。但由於取消都試，徵集來的士兵未經訓練，戰鬥力很低，所以只好轉而依靠募兵。募兵規模越來越大，中央軍均由招募而成，地方郡縣保留的少數軍隊也由招募而成。最後，募兵制取代了秦漢以來的徵兵製成為東漢最主要的兵役制度。
東漢募兵制的招募對象主要是農民、商賈和少數民族。招募的辦法有以下兩種：
一是募以財物。招募士兵往往是臨時遇到非常軍情，所以必須用錢財加以誘惑。劉秀起兵時，任光向他建議募兵，任光說：“人貪財物，則兵可招而致也。”(《後漢書·任光傳》)東漢明帝永平元年(公元58年)招募士兵戍隴右，每人給錢三萬，應募者都是衝著財物而來。不僅如此，東漢統治者還縱容士兵劫掠財物，以此來吸引更多的人當兵。
二是免除賦役。東漢末年軍閥混戰時，孫策就曾以“樂從軍者，一身行，复除門戶”(《三國志》卷四《孫策列傳》注引《江表傳》)為條件，募得士兵萬餘人。
募兵制的盛行給東漢帶來了嚴重的影響。首先，募兵制導致了軍隊戰鬥力的衰弱。由於挑選不嚴，應募者未經軍事訓練，素質不高，加上一旦應募入伍便終身從軍，成為職業兵，導致疲老衰弱之兵充斥部隊，使戰鬥力下降。其次，募兵制給地方豪強和官吏造成武裝割據局面提供了便利條件。東漢初年，地方郡守和刺史還擁兵不多，後來隨著募兵制的發展，他們乘機四處募兵，招兵買馬，建立自己的私人武裝，很快形成割據的趨勢。特別是東漢末年，政治黑暗，社會混亂，流民遍野，地主豪強紛紛擁兵割據，各州郡長官也極力擴充軍隊，割據局面由此形成，東漢也因此滅亡。