宋太祖本想和平统一南方。他以“南北一家，何分彼此”为由，几次召南唐国主李煜入朝，均被其拒绝。太祖非常恼怒，决定灭掉南唐。他扬言：“卧榻之侧，岂容他人酣睡？”意思就是南唐存在，就是侵占北宋的利益。不过南唐国力雄厚，又有长江天险作为屏障，有“江南第一大国”之称，实在不可小觑。为了讨伐南唐，宋太祖做了周密的计划。他用离间计除掉了智勇双全的南唐大将林仁肇，又利用南唐文人樊若冰获取了长江测绘图，并听从樊若冰的建议，在荆州建造了上千艘战舰及黑龙船，用以将来渡江时作为浮桥使用。
经过3年的精心准备，开宝七年（公元974）十月，宋太祖以曹彬为统帅，率水、陆、骑兵浮桥渡江，围攻金陵；同时又命吴越国主钱弘俶带领5万吴越军从东面进攻金陵；另命宋将王明进击武昌，从西面牵制屯驻江西的南唐军队，使其无法东下救援金陵。宋军从北、南、西三面进攻，金陵就成了一座孤城。李煜被困，仍不投降。十一月二十七日，金陵城破，李煜被俘，南唐灭亡。
灭南唐之战，是当时最大的一次渡江作战，也是宋太祖一生最得意的战役。宋军在这次战争中运用的“浮桥渡江”、“围城打援”，成为中国古代战争史上的经典战术。此战之后，宋朝完成了南方的统一，当时已经臣服北宋的吴越和闽，最后灭亡在太祖的弟弟、太宗赵光义手里。