公元前221年，在中國五千年的歷史上，注定是不同尋常的一年。因為在這一年，一位叫嬴政的秦王，在一大批能臣良將的輔佐下，運籌帷幄，歷經近十年的南征北戰，終於先後滅掉了韓、趙、魏、楚、燕、齊六國，結束了長達兩百多年的諸侯紛爭、烽煙四起的戰國時代，在這片古老的土地第一次實現了真正意義上的統一，嬴政因此成為中國歷史上第一位皇帝。
一個嶄新的國家剛剛建立，百廢待興，擺在秦始皇面前的問題千頭萬緒，令秦始皇很頭疼。怎樣建立一個集權的政權以實現在政治上的高度統一？如何才能使大秦江山千秋萬代？他決定將這些問題交給大臣們在朝堂上討論，希望他們能替他想出好的解決措施。
廷議之時，身為百官之首的老丞相王綰第一個上前奏道：“啟禀陛下，老臣認為，正是因為周文王當初封國立藩，實行分封制，才保得周朝八百年的基業。如今我新朝初建，局勢尚未完全穩定，尤其是燕、齊、楚等偏遠之地，民風剽悍，如不封王鎮守，實難管理。所以老臣建議，請陛下分封諸皇子為王，率大軍鎮守各要地，以實現對這些地區的管理。在臣看來，只要效仿週制，我大秦國祚必然長久。”丞相王綰的奏議得到了一部分老臣的同意。
聽了王綰的一番話，秦始皇思考良久。其實，在這之前，他就對如何治理這個龐大的國家，做了一番深入思考，對周朝的分封制，他也進行了利弊權衡。最終，他認為，春秋戰國之亂的出現，根源就在於周朝的分封制。雖然當初周朝的分封制確實加強了君王對封地人民的統治，但是到了後來，各地封王實力大增，形成尾大不掉的局面。各分封諸王不再受君王的約束，他們為了自己的利益，大肆發動戰爭，封地內的百姓因此難以得到安寧。如今天下剛剛安定統一，如果他再學周文王分封諸皇子，無疑會埋下禍亂根源。因此，他個人並不同意王綰的主張。
秦始皇擺了擺手，望著下面曾經為統一大業立過無數功勞的眾位大臣道：“在朕的眼裡，周朝八百年基業算什麼！朕要的是我大秦帝國千秋萬世，生生不息。請諸位愛卿想想，為什麼幾百年來戰亂不止？周朝的分封制不正是天下大亂的根源嗎？因為周朝分封立藩，出現了眾多國中之國，於是才有了春秋五霸、戰國七雄。如今，天下在朕的手中終於得以統一。朕希望，在朕及朕的後繼者的治理下，天下將永享太平，戰爭將永遠結束，百姓安居樂業。因此，朕絕不能重蹈周朝覆轍，老丞相的提議不可取。”
被始皇帝當眾批駁，王綰的臉面有些掛不住。他本想再爭辯兩句，但看到嬴政滿臉威儀，只好悻悻地退了下去。
秦始皇看了看下面默不作聲的大臣們，明白了他們沉默的原因是害怕說錯了而受到懲罰。為了打消他們的顧慮，於是他面帶微笑地向他們說道：“諸位愛卿還有何其他良策？只管大膽地說出來，讓大家商量。即使說得不對，朕也不會追究任何責任。”
廷尉李斯本來就不贊成王綰的建議，見始皇帝鼓勵群臣諫言，於是他抓住時機向秦始皇進諫道：“皇上聖明，陛下能如此高瞻遠矚，令臣等深感佩服，也讓臣等自嘆不如，同時也是江山社稷、黎民百姓之幸。”
李斯大膽地繼續說道：“這些天來，臣一直被這一問題而困擾。思來想去，微臣覺得應將天下設為若干郡縣，實行新政。在臣看來，實行郡縣制，有諸多好處。例如，一方面，它解除了因分封制滋生禍亂的危險；另一方面，它會使得像燕、齊、楚等偏遠之地，政令暢通，讓那裡的百姓也能享受到陛下福祉的庇佑。”
李斯所說的郡縣制，引起了秦始皇強烈的興趣。在他心中，李斯真是個不可多得的人才，有經天緯地的才華。他知道，這些年來，身出法家的李斯為秦國出謀劃策，貢獻頗多。多虧李斯在身邊輔佐，自己才得以完成了統一六國的霸業。於是，他面帶笑容地對李斯道：“李愛卿所說的郡縣制，倒不失為一個好主意，只是不知這郡縣制如何實施，還請李愛卿向朕和諸位卿家詳細說明。”
於是，在秦始皇議事的朝堂之上，廷尉李斯侃侃而談，將他心中思考多日的郡縣制度一股腦地說與皇帝和眾大臣。聽著李斯的講解，秦始皇時而頷首，時而蹙眉思考；眾大臣也都被他的這一套理論深深吸引，屏氣凝神，仔細聆聽。
郡縣制其實並不是李斯首創，早在商鞅變法時期，為了國家安全，亦因戰備需要，戰國七雄就紛紛在邊關重鎮設立了郡縣。只是那時候的郡縣制，與李斯所設想的郡縣制度稍有不同，古時的郡，級別稍稍低於縣。李斯在吸收前人的經驗之後，加以創新，提出了自己有關郡縣制的獨特設想。經過李斯的講解，秦始皇認識到，實行郡縣制，有利於政治的安定和經濟的發展，因此對於李斯的這一主張，他表示堅決支持。
根據李斯的設想，並且經過眾大臣的一番討論，大秦帝國的郡縣制度就這樣形成了。其基本內容有以下幾個方面：
其一，考慮到大秦帝國疆域遼闊，將天下分為三川、河東、南陽、南郡、九江、彰郡、會稽、潁川、碭郡、泗水、薛郡、東郡、瑯琊、齊郡、上谷、漁陽、右北平、遼西、遼東、代郡、鉅鹿、邯鄲、上黨、太原、雲中、九原、雁門、上郡、隴西、北地、漢中、巴郡、蜀郡、黔中、長沙郡、內史郡等三十六個郡，以方便治理。
其二，各郡設有郡守、郡尉等官職。郡守為一郡最高長官，總攬一郡各項事務；郡尉掌管一郡軍隊及司法權力。
其三，郡的下一級行政機構設為縣，設縣丞、縣尉。縣的下面設有鄉、亭等基層組織。
其四，為加強中央集權統治，使中央政令得以順暢執行，郡守、郡尉、縣丞、縣尉均由皇帝直接任命，不能世襲。
郡縣制確立後，為了加強對地方政權的控制，秦始皇還實行了三公九卿的製度，加強對各郡縣的考核和監察。郡守每年秋冬向中央朝廷申報一年的治理狀況，縣丞同樣也要向郡守上報其治理情況，中央或郡在這時對其下屬進行考核，有功者可受獎賞或升遷，有過者輕則貶，重則免官、服刑，和考核相輔而行的是監察，中央派郡監以監郡，郡縣同樣也派監察人員以監縣或鄉。通過這種自上而下的層層監督，中央政令能較為順利地貫徹到最基層，它基本保證了政令的暢通。
郡縣制的實行，對初生的大秦帝國，其重要性不言而喻；對中華民族的影響，也異常深遠。秦始皇實行郡縣制，大大鞏固和穩定了秦朝的中央集權統治和全國統一。通過官僚體制的運作，國家權力可以自上而下延伸到社會的最底層，一切均以最高統治者的意志為準繩。中央和地方的主要長吏由君主直接任免，避免了貴族階層對官職的壟斷，有利於君主選拔人才。郡縣制不僅大大加強了君王手中的權力，並且有效地避免了戰爭的發生。
秦朝的郡縣制，是中國兩千年封建社會官僚體制的開端，奠定了中國地方政治行政體系的基礎，構建了中央集權式封建王朝的基本框架。另外，郡縣制支撐的國家民族統一的思想一直深深地影響著後世。