在趙匡胤雄心勃勃的設想中，南北方的收復平定都是他必須要做的事情，他也深信自己可以一統天下。在將南方諸國收入囊中之後，北方政權成為他的新目標。
在十國之中，北漢是唯一處於北方的一個政權，它原本是由劉知遠所建立的後漢延續而來。郭威推翻後漢建立後周之後，劉知遠的弟弟劉崇盤踞在山西中北部，於公元951年，以十二州為自己的地盤稱帝，建立北漢。
北漢地處偏僻而且土地貧瘠，雖然太原城走出來數位皇帝，但因國力衰微，劉崇也不得不向北方的遼國求援，與遼組成戰略聯盟。嚴格來說是以遼為自己的上國，效仿石敬瑭的行為，劉崇將遼帝稱為叔皇帝，而他的繼任者劉鈞更是將其稱為父皇帝，這麼做的原因無外乎希望獲得遼國的軍事支援。
郭威在推翻後漢隱帝之後，曾經將劉崇的兒子劉贇立為皇帝，後又殺之。因為劉崇與後周有不共戴天之仇，在郭威時期和柴榮時期都發動過氣勢洶洶的戰爭，但分別在晉州和高平大敗而歸，嚴重地挫傷了北漢的元氣，這兩次戰爭都是藉助了遼軍的支援才得以進行。而失敗之後的北漢也更為遼所不重視，只能在自己國內強徵壯丁入伍，十七歲以上的男子統統被徵兵，嚴重地妨礙了生產。繁重的兵役加上稅賦，以及每年向遼的進貢，讓百姓不堪重負。
代周建宋之後，趙匡胤對於北漢的態度曾經非常明朗，那就是不需要投入任何兵力。北漢向來都是依託在遼的翅膀蔭蔽之下，作為北方除宋之外的政權存在著。而遼國的實力又強於宋，與其和北漢為敵導致遼國來襲，不如積聚實力，和遼國來一次徹底的戰鬥。如果能夠擊敗遼，皮之不存毛將焉附，北漢也會輕鬆收復。
這種想法趙匡胤一直都在實踐中，並且通過和遼國交好的策略，一度獲得了北方邊境的安穩。但是隨著宋軍在南方的長驅直入，志得意滿的諸將開始將目光投向這個角落，希望可以一舉踏平太原。
作為南征的功臣，曹彬、潘美等人對於征服北漢充滿了信心，石守信、王審琦這些老將認為自己老當益壯，而王全斌、尹崇珂等等後起之秀也不甘落後，在諸將眼中，北漢成為一試高下的試金石，大家都希望可以在這裡顯示一番自己的實力，於是紛紛找到趙匡胤請求北伐。
對於這種現象，趙普對趙匡胤說：“目前國內安定，南方又收復了大片的土地，國力增強了不少。不過對於大宋來說，還遠遠不到和遼國為敵的時候。”
趙匡胤說：“為了能夠安心地南征，我和遼國交好，送給他們不少金銀財寶、絲絹金帛。這些東西是為了換取安寧，不過肯定不能是長期的。遼國人貪得無厭，終究有一天他們會不滿足，揮兵向我大宋的財富，這一仗是不可避免的。”
正是因為認為和遼國的大戰不可避免，所以趙匡胤長期以來都在為此做著籌劃，但是在他的內心，非常不希望發生戰爭。經過幾年的發展，大宋的經濟得到恢復，每年的財政都會有一定結餘。趙匡胤便頒布法令，將每年的財政結餘都保存起來，等到積累到一定的數量之後，就用這些錢去向遼國購買被佔領的燕雲十六州。這一國庫被命名為“封樁庫”，他希望可以通過經濟手段而非戰爭來解決這些問題。
趙普說：“陛下一直都不願意看到戰爭，現在封樁庫中的銀兩也在一天天增多，只要到了足夠的數量，我們就可以和遼國和談。所以到那個時候，北漢的收復也就不在話下。”
但是，晉王趙光義對此卻不屑一顧地說：“我大宋國力鼎盛，用銀錢來購買十六州，雖然可以使百姓免受戰火之災，可是難免滅了自己的威風。現在朝中的大臣都覺得這種手段有辱國威，倒不如打一仗來得痛快。”
趙匡胤說：“打仗固然來得痛快，但投入其中的軍費開支不比封樁庫中的要少。而且遼兵向來勇悍，和南方諸國不同，所以勝算在哪一方也說不定的。遼人需要的只是大宋的金銀，與其這樣冒險，不如用銀錢來買簡單。也可以讓戰火不至於踐踏現在剛剛種下的莊稼，這個道理難道你還不懂嗎？”
趙光義說：“非是我不明白陛下的心意，只是現在諸將都充滿了信心可以和遼國一戰。如果陛下覺得實在不是時候，那麼我看，倒是可以和北漢一試高下。”
趙普說：“近日來，不斷有奏章提到希望和北漢一戰，潘美、曹彬等人也在朝堂上提議過。看來確實有很多人在想這個問題，不知道陛下是什麼打算？”
趙匡胤說：“北漢向來跟我大宋不和，希望他們主動歸降是不可能的，但只要動它，勢必引來遼軍。”
趙光義說：“北漢一直盤踞在山西，這些年來國力衰弱，靠的不過是遼的支持，現在這麼貧瘠，我想遼國也搜刮不到什麼了，就算我們北伐，遼主也不會派多少兵力相救。這樣一來可以試試遼的實力，二來還可以壯我軍威，讓他們知道一下大宋的軍隊有多神勇！”
趙匡胤問趙普：“你對此事怎麼看呢？”
趙普說：“北漢自從國主劉鈞去世之後，一直都在爭奪皇位，現在國內也很混亂，乘亂征伐確實也是一個辦法。”
一番勸說之下，趙匡胤也動了心，北漢在北方邊境存在一天，對他來說就是一種挑戰。更何況他們還不斷騷擾大宋，掠奪財物，既然這樣倒不如發兵北伐，將其收服，也免去了很多後顧之憂。在眾人的力請之下，公元968年，趙匡胤欽點盧懷中等人率領禁軍直奔潞州，在那裡昭義節度使李繼勳、侍衛步軍指揮使黨進、懷州防禦使康延沼等與他會合，又命曹彬為都監，揮兵直奔太原而去。
風聞宋軍來伐，北漢朝廷一片惶恐。劉鈞死後，其養子劉繼恩繼位，但卻不能服北漢朝臣，內部一片混亂，被劉繼元殺死奪位。新王登基之後急忙向遼國求救，遼主雖然收受了宋所進獻的財寶，不打算參與到與宋的任何戰爭中，但礙於和北漢的聯盟關係，又考慮到北漢是自己和宋之間的一道屏障，便發兵援助。
劉繼元派劉繼業率兵在柏谷阻攔宋軍，軍心不穩的漢軍遭遇士氣如虹的宋軍，不堪一擊。盧懷中、曹彬等大獲全勝，消息傳到開封，趙匡胤一聽大喜，遣使去太原命劉繼元速速投降。使者盛氣凌人地對劉繼元說：“如果現在投降，大宋皇帝可以封你為平盧節度使，封北漢統帥郭無為做邢州節度使。這些總勝過你等負隅頑抗，不得全屍吧？”
郭無為聽後非常憤怒，對劉繼元說：“柏谷之戰失利，是因為宋軍剛到，氣勢還在，而遼國的援軍還沒有來，所以才讓他們鑽了空子。只要遼國援軍一到，宋軍一定不是我們的對手。”
劉繼元還在猶豫，郭無為說：“南方諸國被平定之後，他們的國主沒有一個有好下場，難道陛下也想步他們的後塵嗎？”
想到李煜、孟昶等人，劉繼元只能拉著郭無為說：“大漢與我的存亡，都交給元帥了！”
在盧懷中、李繼勳、黨進等人大開慶功宴，準備立即揮戈向太原，將劉繼元擒獲之時，遼國的援軍已經來到太原。這支以騎兵為主的隊伍雖然不是遼軍中最為精銳的部隊，但作戰依舊非常勇猛，與宋軍交戰幾個回合，便將驕氣盈天的宋軍打得落花流水。曹彬看事態不能控制，便忙建議盧懷中撤兵。
宋軍一路逃竄，而遼兵卻在郭無為、劉繼業等人的帶領下一路追趕。不僅沒能攻進太原，反而失去了晉州和絳州兩座城池。原本想要立功的盧懷中、曹彬等人，只能灰溜溜地回到開封請罪。
原本一片大好的形勢，在如此貧弱的北漢卻吃了敗仗，趙匡胤咽不下這口氣，決意要拿下北漢，一雪前恥。經過一段時間的休整，又於第二年（公元969年）御駕親征，企圖將北漢消滅。然而這一次的結果和一年前一模一樣，並沒有因為趙匡胤親征而有所好轉。在遼軍的支持下，北漢又將宋軍趕回了開封。
這兩次北伐的失敗，是宋軍軍心驕奢的必然結果，也是宋和遼的側面交鋒。志得意滿的趙匡胤開始逐漸清醒，明白自己和遼的差距並沒有因為宋收復了南方諸國而縮小多少，宋的實力也並不足以和遼國相對抗。從此趙匡胤又回到了自己最初時候的想法，不再對北漢投入兵力，一門心思將遼國作為自己最大的敵人，在封樁庫中努力存錢，希望可以通過非軍事手段來獲得北方的和平。
在整個太祖時代，北漢雖然一直岌岌可危，但卻一直沒被征服。直至宋太宗趙光義時，公元979年才將北漢徹底滅亡，但趙光義也付出了巨大的代價。北漢的覆亡代表著宋終於實現了除遼之外的一統，柴榮、趙匡胤等人畢生的夢想，終於實現了。