在趙匡胤還擔任後周的殿前都點檢時，他便因獲得柴榮的信任而參與到重要政事的商討中，是後周政治核心集團的重要人物。這一時期的經歷不僅讓他學習到了柴榮很多治國的方法，更讓他為自己以後統治國家而得到了鍛煉，對於當時社會的弊病和急需解決的問題有了最早的認識。和柴榮一樣，趙匡胤也是一個非常善於總結和改革的人；而和柴榮不同，趙匡胤在有了自己的計劃之後，可以有機會將其推廣實踐，他通過自己對五代時期國家覆亡原因的總結，為大宋的長久發展奠定了基礎。
建國之後，趙匡胤過著儉樸的帝王生活，因為他不確定自己所建立的大宋是否也會像五代時期的那些國家一樣，只是過眼雲煙，數十年便會夭亡。僅此一點，可見趙匡胤的深謀遠慮便遠勝五代帝王。因為思慮國家發展而時常夜不能寐的趙匡胤經常會跑到大臣的家裡，和他們商議國家大計，這其中最常去探訪的便是趙普。通過兩個人的計議分析，趙普為趙匡胤提出了使國家長治久安的三大舉措：削奪其權，制其錢穀，收其精兵，從政治、經濟和軍事三個方面來達到君強臣弱的目的。
趙匡胤深知地方長官權力過大所造成的危害，對趙普的提議非常贊同，他意味深長地說：“如果我給地方節度使們一把長劍，用來保護大宋的安危，但卻不能保證他不會用這把劍揮向我，那麼我寧願他手無寸鐵。”
確定了這一方針之後，趙匡胤首先從自己最早征伐的荊南地區開始實施。在取得荊南之地後，周保權被押解回開封，在此地設立新的長官成為急需解決的問題。
趙普請示說：“現在荊南已經沒有了最高長官，既然它是大宋的領土，就需要由朝廷派遣官員擔任節度使，來保持這一方的安寧。目前朝臣們也都在紛紛舉薦自己認為合適的人選，但最後選擇誰來擔任，還需要陛下來裁奪。”
趙匡胤沉吟了一會兒，說：“現在朝中人才濟濟，大宋的國威在荊南又得到宣揚，不管任用誰來統理，都不是一件難事。”
這一番話中顯然含有其他的意思，善於察言觀色的趙普知道趙匡胤並不急著設立節度使，便不再請示，等著趙匡胤自己來說明意圖。
過了一會兒，趙匡胤說：“在荊南所設立的支郡衙門，所統領的不止這一個地區，連它附近的幾個州都在其管理下。這樣的勢力範圍，你覺得是不是過於強大了？”
趙普說：“支郡制度歷來已久，一方面是為了保證一方安寧，另一方面可以減少朝廷處理這些瑣事的麻煩，讓節度使來負責這一區域的管理就可以了。”
趙匡胤說：“為了便於管理，而使地方長官勢力不斷增大，一個支郡就代表好幾個州都在一人的統治下，歷代以來割據地方的，也都是因為支郡的權力過大，不再聽命於朝廷。現在看看南方的漢、蜀等國，在數十年前也只不過是唐朝的一個支郡而已，被豢養長大，便成為國家分裂的原因了。”
趙普已經深知趙匡胤的憂慮所在，便說：“把權力下放給地方長官，也是因為唐末的皇帝疏於政事，如果加強管理，就不會造成這樣的局面。”
趙匡胤點點頭說：“不錯，既然上天將統領天下的權力交給我，我又怎麼能因為要偷懶而放任他們呢！所以，在荊南設立支郡的事需要再議。”
趙普問：“現在朝臣都在等著設立荊南的節度使，那這個任命是不是也要延遲？”
趙匡胤說：“任命無須延遲，選擇一個忠實可靠的文臣來管理就可以。不過荊南支郡的範圍要縮減，此地的節度使只能管理荊南，而不能將它附近的幾個州都劃歸在內。其他地區的統領權力都歸於朝廷，直屬京師。”
趙普問：“統領軍隊的防禦使一職又該如何處理呢？”
趙匡胤說：“你曾經對我說，要削奪其權，把軍權交給地方始終是一件不能讓人放心的事。那就重新設立官職，以文臣出任，取代防禦使一職，只有這樣，我在高堂之上才能安心。”
依照這一指示，荊南地區的支郡制度很快便被取消，雖然保留了節度使一職，但其駐地以外的其他州郡不再像以前一樣歸節度使管轄，而是直接由中央政府管理。同時設立的知州一職，取代原有的防禦使來管理軍隊。這一方式從荊南開始，隨著宋軍的征伐腳步而逐漸向全國推廣，到宋軍將南方地區平定時，基本上所有地區的支郡制度都被取消了，大部分地區都劃歸中央管理，大大加強了中央政權的集權，而地方實力被逐漸削弱。
在設立了全新的職位“知州”之後，趙普對趙匡胤說：“官員長駐一個地方，就如同將領長期帶著一支部隊一樣，久而久之就容易形成自己的心腹，慢慢地就會成為盤踞此地的勢力，等其強大便不易剷除。”
趙匡胤問：“選拔年輕的將領擔任軍職可以避免其勢力過大，但又該怎麼樣避免地方官員盤踞一方呢？”
趙普說：“現在很多官員都不願換任，一方面是因為對新任職的地方不熟悉，另一方面就是因為自己的親朋勢力都不能跟隨去新任。我們正可以利用這一點，讓官員的任職實現不斷地流動，每到一處都是新的局勢，便不利他們糾結勢力。”
趙匡胤頷首表示贊同，在知州之後又頒布了新的法令：“凡是在一個地方擔任知州、知縣等職務，滿三年便要換任，不許久任。”
這一方針的出台雖然避免了地方勢力的不斷增強，但也有特殊情況。乾德三年，即公元965年，北海郡知郡楊廷美已經任滿三年，準備換任，但因其為官清廉，深受當地百姓的愛戴，民眾為了挽留楊廷美，數百人前往開封請願，希望可以將其連任。
這樣廉政愛民的官員原本是朝廷之福，可以讓百姓安居樂業本也是朝廷樂見的。但請願此舉卻是在挑戰趙匡胤所設立的“三歲一易”的製度，因此他甚為不滿，對趙普說：“楊廷美任職已滿，為了他一個人而破壞法令制度，是不是值得？”
趙普跟隨趙匡胤多年，深知在他的內心天平是傾向於哪一方的，便說：“楊廷美為官清廉，是百姓之福，但北海郡的百姓想要專美，卻也未必太過自私了。既然是這樣一個受人愛戴的好官，就應該讓更多的百姓可以享受到他帶來的福澤。所以，臣以為應該將他換任到其他地方去。”
趙匡胤對這個回答很滿意，說：“百姓求一個清官也是情有可原，你就代我去將他們勸退，將這個道理講給他們聽，讓楊廷美到別的地方任職吧。”
趙普領命，來到宮門外勸說北海郡請願之民趕緊散去，但是百姓們說：“楊大人造福一方，現在北海郡剛剛得到一點休養生息，卻又要換任，他所建立的基礎可能就會被摧毀。百姓們別無他求，只希望楊大人可以再任三年。”
一再的勸慰也無法讓這些人散去，趙普只能無奈地回禀，趙匡胤一聽大怒道：“法令制度已經制定就不能輕易修改，更何況楊廷美既然這麼深受愛戴，難保他不會自得自滿，在北海郡做出什麼不守規矩的事兒來！朝廷怎麼會因為幾個平頭百姓的請命就將法制改變呢？”
官員深得民心原本是一件美事，但在趙匡胤的眼中卻是造成地方勢力膨脹的苗頭，這是他最忌諱的。趙普見狀，不敢回話；趙匡胤下令：“令請願之民速速退散，否則處以鞭笞之刑！”
被鞭笞一通之後，那些請願的百姓才明白皇帝是不會為他們的願望而修改法令的，只好失望地退去。但這件事又成為趙匡胤的心患。他又在州郡設立通判一職，讓通判和知州一起處理當地的政務，雖然地位略低於知州，但卻可以監督州郡長官，如果發現有什麼問題，可以直接匯報給朝廷。通過通判和知州互相牽制，進一步避免地方長官的一頭獨大。
任用文臣擔任知州來管理一方，是宋代在官員任用制度上的一次大改革，有效地避免了地方權勢過大而威脅到中央的問題；同時，三歲一易和通判的設立，進一步削減了地方權力，使地方官員不易建立自己的勢力。地方州郡長官統治範圍的縮減和實權的減小，高度實現了中央集權的目的。
趙匡胤的這一創舉，其後的皇帝一直都在沿用，雖然保持了國家的穩定，但同時也造成了不少弊病。地方官員權力不足使他們凡事都需要請示朝廷，逐漸增加了朝廷負擔，官員也變得繁冗。而互相牽制的方式雖然可以限制地方官權力，但也造成官員之間互相傾軋，宋代官場中知州和通判因職權的衝突向來不和，簡直成為一道獨特的風景。而這一切對於統治者來說都不足惜，因為他們得到了自己想要的，那就是王朝的穩定延續。