为了平衡政治，朱元璋选择树立刘伯温作为对抗淮西集团的旗手，还亲自鼓吹他的神机妙算。刘伯温是前朝进士出身，比朱元璋大了一辈，在朱元璋集团里几乎算最有文化的。刘伯温担任的太史令一职，一方面负责典章制度，另一方面负责观察和解说天象，在科学不发达的古代有“代言天意”的权力，有一定的神秘性和神圣性。
朱元璋对刘伯温的期待，大约类似于前秦的王猛、北魏的崔浩：酷吏加能吏，以充满智慧的权谋家姿态，为皇帝加强集权的目标效力，包括揽得罪人的脏活。在古代王朝政治下，依靠亲族、老乡在马上打天下之后，君主任用有手段、有权谋但不可能威胁皇权的朝臣来削弱皇族和功臣是很常见的。
扮演这样的角色，当然是难度系数极高、风险也极大的活儿。一方面，他们干的事儿本身就是得罪勋贵集团的。这个活儿干好了叫宰辅之材，干不好就是“佞幸”，然后被彻底打倒。另一方面，皇帝很可能随时让他们背锅，或者觉得他们权力太大了而卸磨杀驴。王猛死得早保住了名誉，崔浩在辅助北魏前三代君主创业和建立制度后，连同姻亲族人一起被杀光。
洪武元年，刘伯温担任御史中丞，负责监察官员。李善长的一位心腹李彬因为比较严重的贪污被捕，按律当斩。李善长找刘伯温多番求情，还提出当时天下大旱正在求雨，期间不适宜执行死刑。刘伯温很明白朱元璋任命自己背后的意图，拒绝了李善长说情，将李彬处斩。但随后的事情便让刘伯温寒了心。