起，在南方拥有强大的势力，周边各个小诸侯国都要奉其为尊，但是一次楚国召集各诸侯国君聚会，黄国不愿服从楚国，就参加了齐国为防御、讨伐楚国而举行的齐国、宋国、江国、黄国四国会盟。后来齐国势力日益强大，原来依附于楚国的诸侯国纷纷倒戈附齐，黄国国君也认为：“楚国的郢都距离我有九百里之遥，如何能危害到我呢？”于是背叛了楚国，楚国本就存着与齐国一争短长之心，同时也为了杀鸡儆猴，警诫南方的各诸侯国，于是便以“黄人不归楚贡”为由发兵灭掉了黄国。
几年以后，楚国又出兵讨伐徐国，按照葵丘之会的精神，各诸侯国在牡丘会盟，谋划援救徐国之事。各诸侯国军队会齐之后，并没有直接去援救徐国，而是直接去进攻楚国的与国厉国，逼迫楚国退兵去救厉国，以解徐国的危机。但是这一计策遭到了失败，徐国军队在娄林（今安徽泗州东北）惨败于楚国，齐桓公只好在第二年亲自派军去进攻厉国，虽然没有攻克，但是顺利解救了徐国。
面对如此纷乱难解的局势，齐桓公似乎并没有意识到齐国已经不复当年的攻无不克战无不胜，还没能压制住戎人和楚国的威胁，又将矛头指向了东夷。鲁僖公十六年（公元前644年），齐桓公又在淮水上会盟诸侯，解决鄫国（今山东峄县附近）的问题，同时向东夷示威。于是借助诸侯的力量为鄫国修筑城池，但不巧的是参与筑城的役夫有很多人生病，还有人在夜里登上高丘大声呼喊：“齐有乱！”不仅齐国君臣人心惶惶，连各诸侯国也忧心不已，于是齐桓公没有等到鄫国的城池建成就先撤军回了齐国。
面对戎狄和楚国的连续袭扰，齐桓公已经失去了当初亲率大军追击千里的豪气，也不再有“以此众战，谁能御之？以此攻城，何城不克”的信心，不敢直接与戎狄和楚国的军队面对面对抗，只能以和谈的方式换取和平，以围魏救赵的手段曲折地救援友国。足见齐国虽然仍有霸主之位，但实力已经大不如前，鲁僖公十七年（公元前643年）十月，纵横一世的齐桓公姜小白结束了他传奇的一生，同时也为齐国的霸业画上了句号。