元中葉之後，中國數學急劇衰落，元末的幾部著作只是對乘除捷算法有所改進。明永樂年間(公元1403—1425年)修《永樂大典》，將前此的中國數學著作按起源、各種數學方法及音義、纂類等分類抄錄。漢唐宋元數學著作在明代大都散佚，清中葉修《四庫全書》，中國古算書多賴此重新面世。
明代八股取士，思想禁錮嚴重，學者們很少留心數學。顧應祥、唐順之是明代數學大家，全然不懂天元術和增乘開方法。景泰元年(公元1450年)吳敬撰《九章算法比類大全》十卷，收集歷代應用題，亦拋棄了增乘開方法和天元術。元明之後，隨著籌算捷算法的完備，珠算術產生並得到普及，明朝出現了一批有關珠算的著作。其最著者為程大位的《算法統宗》(公元1592年)，凡17卷，595問。此書適應商業發展的需要，以珠算為主要計算工具，並載有珠算開方法。此書在以後二、三百年問被多次翻刻、改編，流傳之廣是罕見的。程大位，字汝思，號渠賓，休寧(今黃山市屯溪區)人，曾在長江中下游地區經商，注意收集算經和數學問題，晚年撰成此書。
16世紀末，利瑪竇等歐洲傳教士來華，與徐光啟等一起翻譯《幾何原本》等著作。後來，傳教士們又引入了三角學、對數等西方初等數學，從此，中國數學開始了中西會通的階段。清朝260餘年，留下數學著作極多，都在不同程度上融會中西數學。
清宣城梅文鼎(公元1633—1721年)潛心於中西數學研究，著述甚多，其孫梅瑴成將他的著作編輯成《梅氏叢書輯要》60卷，其中數學著作13種40卷，內容遍及當時中國數學的各個門類，對清朝數學影響極大。
康熙皇帝愛好數學，他禦定由梅瑴成、何國宗、明安圖、陳厚耀等編纂的《數理精蘊》53卷，全面系統地介紹了當時傳入的西方數學知識。上編立綱明體，為數理本源、幾何原本、算術原本等五卷；下編分條致用，為實用數學和借根方比例，以及對數、三角函數等40卷，表4種8卷，同樣對清朝數學產生了巨大影響。此書於雍正元年(公元1723年)印行。
1723年，雍正帝即位，認為傳教士不利於自己的統治，除少數供職於欽天監者外，將傳教士悉數趕到澳門。此後，西學的傳入遂告一段落，中國數學家一方面消化前此傳入的數學知識，一方面忙於整理中國古典數學著作。
1773年乾隆帝決定修《四庫全書》，戴震(公元1724—1777年)從《永樂大典》中輯出《周髀算經》、《九章算術》、《海島算經》、《孫子算經》、《五曹算經》、《五經算術》以及贗本《夏侯陽算經》等七部漢唐算經，並加校勘，《數書九章》、《測圓海鏡》、《四元玉鑑》等久佚的宋元算書也陸續輯出或發現，從此掀起了乾嘉時期(公元1736—1820年)研究整理中國古典數學的熱潮。古書註釋以李潢(？—公元1812年)《九章算術細草圖說》、羅士琳(公元1789—1853年)《四元玉鑑細草》影響較大。而開創性的研究則以焦循(公元1763—1820年)《裡堂學算記》、汪萊(公元1768—1813年)《衡齋算學》、李銳(公元1768—1817年)《李氏算學遺書》最為有名。
18世紀初，法人杜德美(公元1668—1720年)傳入牛頓、格雷果裡創造的三個三角函數的級數展開式。後來，三角函數和對數函數展開式的研究成為中國數學家的重要課題。明安圖(17世紀末至18世紀60年代)、董祐誠(公元1791—1823年)、項名達(公元1789—1850年)、戴煦(公元1805—1860年)等都作出了傑出貢獻。李善蘭(公元1811—1882年)的《方圓闡幽》、《弧矢啟秘》、《對數探源》(公元1845年)在三角函數與對數函數的研究上取得了更大的成就。他創造的尖錐術提出了幾個相當於定積分的公式，在接觸西方微積分思想之前獨立地接近了微積分學。李善蘭，字壬叔，號秋紉，浙江海寧人。幼年即嗜好數學，30餘歲即獲創造性成果。
1840年，列強用大砲轟開了清朝閉關自守的大門，中國逐漸淪為半封建半殖民地社會。西方數學以前所未有的規模大量傳入。 1852年李善蘭到上海，與英國傳教士偉烈亞力(公元1815—1887年)合譯《幾何原本》後九卷、《代數學》13卷、《代微積拾級》18卷等許多西方數學著作，後者是中國第一部微積分學譯著。後來，華衡芳(公元1833—1902年)與英人傅蘭雅合譯了《代數術》、《微積溯源》、《三角數理》、《決疑數學》等書，後者是中國第一部概率論譯著。他們創造的許多術語至今還在使用。李善蘭還融會中西，著述頗豐。 《橢圓正術解》等四種是關於圓錐曲線的研究，《級數回求》等是關於冪級數的研究，而《垛積比類》則在朱世傑基礎上系統解決了高階等差級數求和問題，並提出了著名的李善蘭恆等式。 1872年撰《考數根法》，證明了費爾馬小定理，提出了素數判定法則。他的著作匯集為《則古昔齋算學》，包括14種科學著作。李善蘭是開展現代數學研究的第一位中國數學家。然而，總的說來，時處清末，經濟衰落，社會動盪，有志於現代數學的人沒有與現代工程技術結合的條件，不可能有大量可觀的成果，而士大夫階層更多的人抱有西學為我中華所固有的偏見，不求甚解。此後不久，尤其是維新變法和新文化運動之後，中國古代數學傳統基本中斷，中國數學研究納入了統一的現代數學。 20世紀是中國數學復興的世紀，人們期待，在下個世紀中國將重新取得數學大國的地位。