杨国忠的起来，其实和李林甫也有关系，因为李林甫为了巴结杨贵妃，当下不管杨国忠的才学浅薄，让他与王鉷同为御史中丞。
之后，李林甫发现杨国忠势力将大，当下举荐王鉷为御史大夫。
杨国忠见他举荐的是别人，登时怀恨在心。
天宝十一年，公元752年，王鉷之弟王焊与刑縡图谋作乱，想要杀死李林甫、陈希烈、杨国忠，但，遭到镇压，作乱失败。
李隆基命杨国忠与陈希烈一同审讯。
杨国忠奏称王鉷也曾参与密谋，并借此案牵引李林甫，称他暗中勾结王鉷，想要把他们一网打尽！
最终，王鉷被赐死。
李林甫虽未获罪，也逐渐被李隆基疏远。
同年十月，南诏寇边，剑南告急。
这时，杨国忠兼任剑南节度使。
李林甫便奏请李隆基，建议让杨国忠到剑南赴任，想借机把他调离朝廷。
杨国忠哭着对李隆基道：“臣一旦离朝，必为李林甫所害！”
李隆基安慰道：“你暂且先到剑南处理军务，朕很快就会召你回来，让你当宰相。”
李林甫得知，愤愦发病。
不久，李林甫随李隆基前往华清宫，结果病情加剧。
巫师道：“只要您能见一下皇帝，病情就会好转。”
李隆基本欲前去探视，被侍臣谏止，便让人将李林甫抬到庭院中，自己则登上降圣阁，举起红巾招手慰问。
李林甫已病重不能起身，只能让家人代拜谢恩。
杨国忠刚到剑南，便被唐玄宗派宦官召回朝中，并到华清宫谒见李林甫，拜于床下。
此时的李林甫，知道已无力再对付杨国忠，当下流着泪对杨国忠道：“我很快就要死了，你一定会继任宰相，我的后事就托付给你了！”
杨国忠对李林甫仍非常忌惮，汗流满面，连称不敢。
公元753年十一月二十四日，恶贯满盈的李林甫终于病逝，由诸子护灵返回长安，发丧于平康坊府邸。
不久，杨国忠拜相。
杨国忠拜相之后，诬告李林甫与叛将阿布思约为父子，同谋造反。
安禄山还派阿布思部落的降将入朝作证。
李隆基命有司审理。
李林甫的女婿杨齐宣担心自己受到牵连，便附和杨国忠，出面证实。
这时，李林甫尚未下葬，就被削去官爵，抄没家产。他的诸子被除名流放岭南、黔中，亲党中则有五十余人被贬。
李隆基还命人劈开李林甫的棺木，挖出口内含珠，剥下金紫朝服，改用小棺以庶人之礼安葬。
李林甫这下场，可谓罪有应得，只是他想不到的是，击败他的人，不是什么正人君子，也不是什么聪明之辈，而是依靠关系的关系户！
看来，有时候要整死一个人，无需聪明才智，也无需付出多大代价，只要有关系，就足以整死一个难以整死的人！