中國古代官私藏書，總的看來，是供少數人閱讀使用的，這一狀況同封建時代文化事業為少數人掌握是相適應的。清光緒二十四年(公元1898年)維新變法時，維新派主張啟迪民智，提倡新學，仿效西方國家，設立公共圖書館，允許公眾借閱。並要求在中國傳統的經、史、子、集四部之外，收藏西方近現代自然科學與社會科學的書籍。
20世紀初，清政府被迫實行所謂新政，諸如廢科舉，辦學校，設立公共圖書館等皆為其中措施。中國第一個圖書館——浙江藏書樓於光緒二十九年(公元1903年)正式開放。緊接著湖北、福建、湖南三省圖書館在次年開放。光緒三十二年(公元1906年)清政府命各省興辦圖書館，光緒三十三年(公元1907年)江蘇國學圖書館建立。光緒三十四(公元1908年)在天津建立了直隸省圖書館(5月)，在瀋陽建立了奉天省城圖書館(9月)。宣統元年(公元1909年)建立了陝西、雲南、河南、山東、廣西、吉林、黑龍江、直隸(保定)等省館以及京師圖書館。據統計，辛亥革命前後全國各省市建立了近20個圖書館，使我國圖書館事業進入了一個嶄新的時期。
辛亥革命後，1912年廣東省圖書館、1913年安徽省省立圖書館、京師通俗圖書館先後成立。隨後各省都陸續建立了省立圖書館。甘肅1916年成立省立蘭州圖書館，山西1920年成立山西教育圖書博物館，江西1920年成立江西省公立圖書館，綏遠1926年在歸綏(今呼和浩特)成立綏遠省立圖書館，新疆1930年成立新疆省圖書館，寧夏1934年成立寧夏省立圖書館，青海1935年成立青海省圖書館，上海1936年建立上海市立圖書館，貴州1937年創建貴州省立圖書館，四川1940年成立四川省立圖書館，西康1941年成立西康省圖書館，台灣1946年4月成立台灣省圖書館，熱河1941年成立熱河省圖書館，察哈爾1947年成立察哈爾省圖書館。與此同時，1933年和1943年在南京和蘭州分別成立了兩個國立圖書館：一個是國立中央圖書館，另一個是國立蘭州圖書館。中央圖書館1936年9月開放閱覽。次年7月抗戰爆發，該館遷至重慶。 1941年1月建成中央圖書館重慶分館。抗戰勝利後，重慶分館將中西文普通圖書與設備全部移交重慶羅斯福圖書館。 1946年5月中央圖書館遷回南京，1949年改稱南京圖書館。國立蘭州圖書館於1944年7月開放，1945年4月停辦，圖書設備交西北師院代為保管。 1946年9月又奉命恢復，1949年8月改名為西北人民圖書館。
此外有些省、市還在不同地區建立了若干個省立圖書館和市立通俗圖書館，它們依次是：南京通俗圖書館(1927年)、天津市圖書館(1929)、天津市七個通俗圖書館(1929年)、重慶市通俗圖書館、廣西省立南寧市圖書館(1931年)、江蘇省立鎮江圖書館(1932年)、雲南省立昆明市圖書館(1936年)、江西省立九江圖書館(1939年)。至1947年12月底我國共有國立圖書館三個，28個省共有省立圖書館34個，市立圖書館19個。
在各省普遍建立省級公共圖書館的基礎上，一些經濟文化比較發達的省份，開始建立縣級圖書館。據1925年統計，全國公共圖書館共有259個，除了省級圖書館、市級圖書館外，其餘大部分為縣級圖書館。其中東南沿海各省圖書館數量較多，東南沿海地區，以江蘇最發達。江蘇省當時有56個縣級圖書館，蘇州、南通、無錫等地縣立圖書館規模較大，以南通縣圖書館為例，其藏書超過10萬卷，大小館舍達67間房屋，可謂縣級圖書館之最。 1935年普通圖書館903個。 1936年增至1502個。應該說，清末和民國時期是我國圖書館事業發展的新階段。