孙元良的兵团部原先设在郑州城内。济南战役打响后，他奉命东进蒙城。他带队走后，郑州城防空虚，蒋介石只好将原驻在河南新乡的第十二绥靖公署南迁，搬到了郑州。
郑州是中国最重要的两大铁路平汉路和陇海路的交汇点，它如同巨大十字架的中心，北通北平，南达汉口，西抵西安，东连徐州。郑州是中原的战略要点，历史上就是兵家必争之地。攻克郑州，可使我中原解放区与华北、华东解放区联成一片，为淮海决战创造更为有利的条件。中原军区遵照毛泽东的作战方针，决心夺取郑州。
当时郑州守敌1万多人，并有长期经营的坚固设防。镇守郑州的是国民党军第四十军，军长名叫李振清，外号“李铁头”。他曾经当过解放军的俘虏，对解放军的作战决心深有了解。这时候，国民党军已是四面楚歌，他哪有决心死守郑州，一面在防守，一面做好了逃跑的准备。