回北京后，嘉靖皇帝又跑到大峪山视察坟地，他在反复对比，究竟哪一处更适合安葬父母，最后还是认定承天府的显陵。夏言这个人过于随意，竟然没有按时呈进居守敕，朱厚熜于是大怒，说他怠慢不恭。夏言意识到问题的严重性，赶紧上疏谢罪，皇帝还是很愤怒，勒令夏言退休，回家养老去吧！夏言没办法，只好离开，几天过去，朱厚熜的怒火总算是熄灭了，又想起了夏言的好，让他回来继续当官。这一进一出，简直跟儿戏似的，说退休就退休，说复职就复职。没想到，过了没几年，夏言又被皇帝赶回家了，原因是他太有个性，连朱厚熜的话都当耳旁风。当时嘉靖皇帝住在西苑，要求来西苑的大臣只能骑马。夏言一想：我堂堂内阁首辅，怎么能骑马上班呢？于是他坚决坐轿子。有一次朱厚熜看见了，心里很不是滋味，怎么？看不起朕？左耳进右耳出！嘉靖皇帝还喜欢穿道士的服装，他想让夏言也换上，便赏了香叶束发巾。夏言对这种东西是抗拒的，坚决不穿：“非人臣法服”，不是大臣应该穿的东西。这也让朱厚熜感到不满，我赐的道服不穿，是不是心里看不惯我信道？