黄河的水患是危害农业生产和人民生命财产安全的主要因素，所以宋太祖把治理黄河作为一项重要任务来抓。乾德元年(963),派神武统军陈承昭，征发京城附近地区丁夫数万人，修筑河堤。乾德四年
(966)夏秋之际，黄河多处决口，泛滥成灾。派殿前都指挥使韩重赟等督率士卒丁夫数万人，历时二个多月，塞治滑州决口，并修复被毁坏的灵河大堤，使黄河水回归故道。第二年春天，鉴于上一年黄河多处决堤的教训，太祖派遣使臣分别带领畿县及附近州郡的丁夫数万人整治河堤，并规定开封府、大名府以及黄河沿岸的十五个州的长官兼任本州府河堤使，负责修治黄河。此后，加固黄河提防形成制度，每年正月开始加固，春末而毕。
宋太祖对水患非常重视，也要求地方官对水患予以高度重视，及时发现水患，报告水患，清除水患，否则将受到严惩。开宝四年(971),澶州黄河决口，东流泛滥至郓、濮等州境内，淹没农民田无数。地方官却装聋作哑，不及时上报，更未积极组织抢修。宋太祖非常愤怒，派人调查。结果属实，通判姚恕处以弃市，知州杜审肇被罢职。
这件事发生后，宋太祖更加重视对水患的防范，他说：“朕每念河渠溃决，颇为民患，故署便职以总领焉，宜委官联佐治其事。”于是，特在沿黄河两岸十七州府设置河堤判官一名，以本州府通判担任。没有通判的地方，以本州府判官担任。开宝五年(972)夏，黄河又多处决口，太祖派颍州团练使曹翰征发士兵及丁夫五万人进行修治，不久，堵塞了所有决口。黄河频繁泛滥，令宋太祖深深为这忧虑。他广泛征求治河意见，曾经亲自召见《禹元经》作者田告，询问治水之道。隐居未仕的王德方呈上修治黄河水害的文字，宋太祖赐予他同学究出身。