在三个兄弟被父亲所杀的恐惧中当上皇太子，仅仅是李亨一连串苦难的开始，当朝野上下沉迷于盛世的狂欢中，他始终处于死亡阴影的笼罩下。李林甫担忧太子即位对自己不利，不断动摇太子地位，太子党的韦坚、皇甫惟明、李适之、王忠嗣等文臣武将，在李林甫的打击下，或死或贬，全面溃败，皇室孤弱，太子岌岌可危。
唐玄宗并不理解太子的窘境，他以为选几个美女送入太子宫中，就可以弥补自己作为父亲的过失，却不知他们的父子之情早已被政治冲淡。安史之乱后，李亨与唐玄宗分道扬镳，擅自在灵武称帝，不单单是因为形势所迫，更是开元盛世中这场宫廷斗争的延续。
4
李林甫的政治游戏还不仅如此，为了提防更多如王忠嗣一样军功显赫的边将入朝，他向唐玄宗提议“以寒族胡人专大将之任”，由寒族胡人常任边疆各大军区长官。李林甫的理由是，文官贪生怕死，贵族结党营私，唯有胡人骁勇善战，寒族缺乏党援，由他们常任边帅才能让人安心。当然，对李林甫本人最有利的是这些人都不会与他争夺相位。
这一主张，尽管提拔了高仙芝、哥舒翰等威震边关的大将，却为安史之乱的爆发埋下深深的隐患，借此政策上位的就包括野心勃勃的安禄山与史思明。