宗即位，召回党进等将伐北汉之师，以政丅治压力迫使吴越献地、漳泉纳土，完全统一南方之后，于公元979年再议伐北汉。鉴于以往三次的无功而返，赵光义做了充分的战前准备，于公元979年正月，集群臣讨论用兵方略，他问枢密使曹彬：“周世宗及我太祖皆亲征太原而不能克，岂城壁坚完，不可近乎？”曹彬答道：“世宗时，史超败于石岭关，人情震恐，故师还。太祖顿兵甘草地中，军人多被腹疾，因是中止。非城垒不可近也。”并建议立即进攻，“国家兵甲精锐，人心欣戴，若行吊伐，如摧枯拉朽耳。”而当时的宰相薛居正不同意其意见，认为北汉有契丹之援，并有固守之志，还有太祖迁其边民，北汉时已穷困不堪，“得之不足以辟土，舍之不足以为患”，所以不同意出兵。赵光义说：“今者事同而势异，且先帝破契丹，徙其人而空其地。正为今日事也。”于是决计用兵。
宋对北汉用兵，契丹主问宋使何名伐之，宋使朗声答道：“河东逆命，所当问罪，若北朝不援，则和约如故；不然，惟有战耳！”虽说宋使是扬眉吐气，不辱使命，过了把瘾，但是宋朝却没有真正做好与契丹作战的准备，只是把重点放到攻太原城上。宋太宗在战前对进攻太原做了详细部署，以猛将崔彦进、李汉琼、刘遇、曹翰分别负责太原城四面的进攻，对攻城器械及后勤补给都安排专人负责。同时考虑到契丹可能的援救，以经验丰富的大将郭进为石岭关都部署，又以开宝年间曾以少对多与契丹作战的将领田钦祚护石岭关屯兵。
二月，赵光义的亲征大军自汴京出发，进攻太原外围州县，所向皆克。
三月，辽军援兵果至。辽冀王敌烈（又译塔尔）、大将耶律沙、耶律抹只（又译穆济）等率兵至白马岭，前有大涧阻隔，对岸郭进军已整装以待。耶律沙欲待后军到再一齐攻击，敌烈与抹只却认为“急击之便”，耶律沙苦劝不听。敌烈等以先锋渡涧。宋将郭进看准机会，率领骑兵猛攻其军，战斗异常激烈，敌烈与他的儿子华格，及耶律沙的儿子德琳、令衮图敏、详衮唐古都战死在阵中，宋军大胜。耶律沙与抹只也被困阵中，如瓮中之鳖，多亏辽大将耶律斜轸（又译色珍）率救兵赶到，射退宋军，二人才“仅以身免”。
白马岭之战是宋辽战争中宋军第一次大规模的胜利，可以说为以后对辽战争拔了个头筹。
之后，北汉再次向辽告急，辽军由于大败，短时间内无力再出援兵。不久，宋太宗至太原，慰劳诸将，并出手诏向北汉主刘继元劝降。
至四月，宋军陆续攻下太原外围州县，使太原成为一座孤城。宋军也连续攻城，天武军校荆嗣率众登城，“手刃数人，足贯双箭，手中炮，折碎二齿”，受到太宗嘉奖，由此亦可见战事之惨烈。太宗又让平时拣选的诸军勇士舞剑为前导，这班武士平时训练有素，剑法精湛，城上人“望之破胆”。
赵光义招法用尽，仍是无法攻下太原坚城。而这时，从石岭关传来了坏消息。刚刚对辽作战立功的石岭关都部署、大将郭进自缢而死！太宗本命郭进守石岭关，田钦祚护其军。而田钦祚在石岭关，“恣为奸利诸不法事”，太宗察觉后，降其为睦州防御使，仍护石岭关屯兵。郭进与田钦祚不协，屡屡揭发他的丑事，田钦祚为此十分憎恨他，白马岭之战时不援郭进，没有进一步扩大战果，平时又屡次□他。郭进武人刚烈，战功高，虽是大将，却也奈何不了相当于“监军”的田钦祚，被他数次□之后想不开，终于自缢而死。而田钦祚报告太宗说郭进是死于中风，太宗也就没有追究，追赠郭进为安国节度使。当时左右都知道怎么回事，就是没人敢说。
太原城虽久攻不下，但宋军策反工作做得好，城中将领偷着出来纳降的比比皆是。北汉已经致仕的左仆射马峰实在看不过去了，夜里撑着病体来见刘继元，“流涕备言兴亡之理”，北汉主才决定纳款投降。
五月初五日，刘继元上表投降，宋得州十、军一、县四十一、户三万五千二百二十、兵三万。之后，例行对伪君伪官赦罪封赏，以刘继元为右卫上将军，封彭城郡公，又以其臣李恽为殿中监，马峰为少府监，郭万超为磁州团练使，李勋为右卫将军。北汉将刘继业在宋军攻城时守城东南面，“杀伤宋师无算”，此时刘继元已降，他仍据城苦战。刘继业本名杨重贵，事刘崇，被赐姓刘，并改名。太宗令刘继元召降，他才放弃抵抗，与刘继元同归宋。太宗大喜，复其姓为杨，只名“业”字，当即授左领军卫大将军，不久又授郑州防御使。杨业后来便成了北宋西北边陲的干城。
太宗既得太原，为了消灭太原的“王气”而迁其民，焚其城，改为平晋县，而以榆次县为并州治所。
至此，历经四次、历时数月的平北汉之战终于结束。
评：
宋开国后，首先讨平二叛，杯酒释兵权，稳定了内部，之后便发动统一战争，以先南后北的顺序，依次平定南方诸政权。按照当时宋朝的国情和与辽的实力对比，先南后北是比较稳妥的。对北汉战略上采取守势，战术上采取攻势，时常骚扰其边境，焚其寨，迁其民，空其地，这些都是很成功的积极防御