话虽如此，高拱对徐阶以及帮助徐阶弹劾他的海瑞仍然不满，专门找机会和徐阶作对，一定要好好地整一整他。徐阶退休后，在江南兼并土地，还放任子弟横行乡里，引起当地百姓憎恨。高拱亲自上疏批判徐阶，说徐阶既然退休了，那就是老同志，应该好好颐养天年。可是他倚仗自己的名望，管教不严，放任族人鱼肉乡里，掠夺民财，他家里的钱估计和皇帝的金库差不多了。这样的人，不处罚怎么行呢？
隆庆五年（公元1571年），高拱起用原苏州知府蔡国熙为苏松兵备副使，因为蔡国熙与徐阶有矛盾，徐阶的三个儿子都被整治，以前侵占的土地也都还给了农民。一个退休的人，没有权力，哪里斗得过炙手可热的高拱，无奈之下，只能向高拱低头，在困境中上疏，言词充满了哀求之情。高拱见徐阶写好了检讨，之前被赶出朝廷的一箭之仇，总算是报了，再追杀下去，把徐家给整垮，实在是没有必要，别人会说高拱残忍，赶尽杀绝；更关键的是，以后自己会不会在政治斗争中失败呢？谁都不敢保证。假如真有那么一天，胜利者也来个赶尽杀绝，后果不堪设想。于是高拱大度起来，修书一封送给徐阶，愿意不计前嫌，重归于好。同时又给地方官员写信：徐大人是老同志了，他的家人要好好关照关照，惩罚嘛，意思意思就可以了，不要过重。这一难过去后，徐阶后来活到了万历年间，明神宗曾经派使者慰问，送给他玺书、金币。