此后，尔朱荣的侄子尔朱兆杀掉孝庄帝，拥立了一个傀儡皇帝，掌控北魏政权。高欢很清楚尔朱兆的能力，选择了旁观。
果然，尔朱家族猖狂霸道，不得人心，北方六镇屡屡起义。尔朱兆便找来高欢一起喝酒，商量对策。高欢提议派一个可靠的首领管理他们，如果还有人造反，就惩罚这个首领。正在一边陪酒的大臣不知是计，便提议高欢当这个首领。
高欢佯装生气，起身暴打了他一顿，说：“你算什么东西，现在天下事都听大王的安排，轮不到你说话！”尔朱兆心头一热，觉得高欢忠心耿耿，便接受了这个提议。高欢大喜，生怕尔朱兆酒醒后反悔，赶紧召集六镇降兵，组建军营。
不久，高欢正式与尔朱兆决裂。为了让部属死心塌地跟随自己，高欢伪造尔朱兆的军令，谎称要进攻北方的草原骑兵，又假装军令紧急，催促马上出发，彻底激怒了部属对尔朱兆的怒火。
高欢见群情激愤，趁机宣布起兵。随后，双方又在韩陵（今河南省安阳市）一带摆开战阵。当时尔朱兆拥军二十万，高欢仅有三万人。