自東漢末建安元年(公元196年)曹操遷獻帝於許昌，到隋文帝開皇九年(公元589年)，歷時394年，史稱魏晉南北朝時期。其間歷經魏、晉、南朝(宋、齊、梁、陳)和北朝(北魏、北齊、北周)，是我國歷史由統一轉為分裂和長期戰亂的時期。長期的動亂影響了學校的正常秩序，這個時期學校廢置無常，特別是官學，在數量上大大減少了，學校教育總的趨勢是衰落了，呈現出時興時廢的狀態。但也出現了一些新型的學校。
西晉以前魏國曾立過太學，魏文帝於黃初五年(公元224年)於洛陽正式恢復太學。學制仍沿用漢代舊制。但由於三國紛爭，太學生多半是為了逃避兵役，學業水平較低，百人應試能通過的不過10人。
西晉創立國子學是在晉武帝咸寧四年(公元278年)，並設國子祭酒、博士各一人，教授學生。惠帝元康三年(公元293年)，明確規定官至五品以上弟子許入國子學，而太學則成為六品以下子弟的求學之所。這是我國古代於太學之外專為士族子弟另設國子學之始，也是門閥世族階層所享有的政治特權在學校教育制度上的反映。這種國子學與太學的分立，直接影響了南北朝以後的學校教育制度。
北魏由於政局相對穩定，因此學校教育比南朝發達。北魏重經學，設有國子學、太學，創立四門小學，又開皇親之學。北魏孝文帝仰慕漢族文化，勵行漢化。太和十七年(公元493年)由平城(今山西大同)遷都洛陽以後，更加快了漢化速度，如下令禁穿胡服，改用漢語。還將自己的姓也改為漢姓元氏，並主張與漢族通婚。這些措施促進了教育的發展，在民族融合中起了積極作用。在地方普遍建立郡國學校教育制度為北魏所首創。其方法是，按郡的大小具體規定博士、助教及學生的名額：大郡立博士二人，助教四人，學生100人；次郡立博士二人，助教二人，學生80人；中郡立博士一人，助教二人，學生60人；下郡立博士一人，助教一人，學生40人。並規定博士要博通經典，道德高尚，年齡40歲以上者。而學生則要“先進高門，次及中第”，即先招收富貴人家的子弟，讓貴族享有特權。
在秦漢時已有郡國學校，西漢平帝時曾命令郡國普遍設立學官，但郡國學校教育制度則是創始於北魏。
三國魏明帝時(公元227年)，衛凱奏請置律博士，教授刑律，招收律學弟子員，這是我國古代法律專科學校的開始。後秦姚興(公元394年)在長安設律學，召集各郡縣沒有任專職的官員來學習，選成績優良的回到郡縣任獄訟官。南朝梁武帝天監四年(公元505年)也增設“律博士”，設置律學專門學校。
西晉武帝時立書博士，設弟子員，教習書法，以鍾繇〔you 由〕、胡昭二人為標準。這是我國古代書法專科學校的開始。
南朝宋文帝元嘉十五年(公元438年)開辦了儒、玄、史、文四個學館，就是說，這時候研究儒經的“儒學”、研究佛老的“玄學”、研究歷史的“史學”、研究詞章的“文學”四科並立。雖然這些學校存在的時間並不長，但這種分科的教學制度，對於隋唐時代專科學校的發展是有直接影響的，也可以說這是後代分科大學的開端。
南朝宋文帝元嘉二十年(公元443年)開始設醫學。北魏時也設太醫博士及助教教授弟子。這是我國古代醫學專科學校的開端。
以上這些說明我國古代專科學校已處於萌芽階段，對於以後專科學校及分科教授制度的發展是有影響的。也表明“儒學獨尊”逐漸為“儒佛道”並行的局面所代替；科學技術的傳授開始在學校教育中取得了一定的地位。
魏晉南北朝時期官學衰頹，私學卻呈現繁榮局面，名儒聚徒講學仍佔重要地位，學生人數上百人或幾千人者屢見不鮮。在南朝影響比較大的是齊朝的劉瓛〔huan還〕。劉瓛名氣很大，著名神滅論者范縝(約公元450—約515年)就是他的學生。梁武帝時有五個學館開設，教授儒經，這是私學發展的典型。當時以在潮州的嚴植之最為有名。他很善於講經，層次分明，說理清晰，每次他講課，五館學生都來聽，學生常達千餘人。還真有一番盛況呢！
儒學、玄學、佛學、道教的結合，是這個時期私人講學的特色。如陳朝的徐孝克既講玄理，又通五經，他每日早講佛經，晚講《禮》經與《左傳》，受業者達數百人。講學的形式受到佛教和玄學的影響，梁朝時盛行登講座講經，聽講人數有時多到千餘人。梁朝、陳朝時講學有時在宮殿，有時在寺院。據記載，陳後主曾命儒學大師張譏在溫文殿講《老子》、；後來陳後主到開善寺，又令張譏講學，從臣們坐在佛寺西南的松林下陪同陳後主一起聽講。隴西人王嘉不和世人交遊，鑿崖穴居，弟子受業者數百人，亦皆穴處。泰山張忠，“其教以形不以言”，弟子主要觀看他修養導氣的形態功夫，他不講授課業，這是道教的教育方法，從這裡也可以看出古代氣功教育還很盛行。
科技教育也是當時私學的重要內容。如教授天文學、算學、醫學、藥物學，教學方法也有改進。南朝的王微深入研究本草，常帶兩三位學生去採摘草藥，並親自嘗試以驗證《本草》的可信程度。他繼承了我國古代的醫藥學在採摘草藥工作中重視實踐的傳統。親帶弟子摘採並嘗試草藥，這可以說是一種很好的教育方式。
這時期也出現了婦女講學，如韋逞母親宋氏繼承家學《周官》音義，在戰亂中教學不輟。後來韋逞擔任前秦苻堅的太常官時，在家中為宋氏設立講堂，教授學生120人。宋氏隔絳紗幔而講授，號宣文君。更引人注目的是，在南朝已有被任命為博士的婦女，如吳郡(今江蘇蘇州)韓藺英擅長文辭，宋武帝時她獻《中興賦》，受賞入宮，齊武帝時命她為博士，教六宮書學，當時人們尊稱她為“韓公”。陳後主時，也曾命懂文學的宮人袁大捨等人為女學士，這也是很有意義的事。南齊博學有文才的王融，少兒時代是由母親謝惠宣女直接教授成才的。 《元嘉歷》的創造者何承天，幼年喪父，也是由他博學的母親徐氏進行啟蒙教育後成才的。
這一時期的童蒙讀物也有所發展。范岫〔xiu秀〕著《字訓》，王褒所寫的《幼訓》，已具有童蒙課本的性質。梁武帝時周興嗣所撰的《千字文》拓取王羲之遺書不同的字1000個，編為四言韻語，以“天地玄黃，宇宙洪荒”開頭，依次敘述有關天文、博物、歷史、人倫、教育、生活等方面的知識，是以識字教育為主兼有封建思想教育和常識教育的綜合性課本。 《千字文》自隋代開始，一直流行到20世紀初，是中國歷史上流傳最久的蒙學課本之一。它在內容上，把常用單字組織成通順的能夠表達一定意義的句子，在語言上，押韻自然，結構簡單，易於朗讀背誦，所以有人說《千字文》“不獨以文傳，而又以其巧傳”，獨具匠心。