韩信当堂一番论证，把敌我双方的优势劣势讲得清清楚楚，明明白白，自刘邦以下，无不佩服。刘邦尤其高兴，直埋怨得到韩信太晚了，对于自己先前忽略韩信的事情算是绝口不提了。至此，刘邦自己居中调度；以萧何为后勤，主要负责到巴蜀之地收租收粮，保证军队供给；以韩信打前锋，负责冲锋陷阵。汉军上下摩拳擦掌，准备兵进关中。
刘邦在汉中积极为重返中原做准备，因为道路闭塞，包括项羽在内的其他诸侯并不知情。此时的华夏大地一片宁静，人们仿佛又迎来了乱世之后的和平。
然而，不平静的事情并不等于没有发生。由于项羽是个爱憎分明的人，这直接导致了他无法成为一个合格的政治家。在处理齐国的态度和方式方法上，项羽的这种个人主观感情色彩尤为明显，以至于制造出了不可化解的矛盾。
汉王元年（公元前206年）五月，田都拿鸡毛当令箭，得到项羽任命后来到齐国上任。对此，田荣当然不能容忍。田荣不仅坚决拒绝接受项羽自作主张迁齐王去即墨的命令，而且立即率军向田都发起攻击，同时也秘密联络其他收到苛待的诸侯倒项。没有根基的田都面对愤怒的田荣，果断做出选择——逃回楚国。
这时候齐王田巿，也就是田儋的儿子、田荣的亲侄子，因为对项羽的畏惧，对叔叔的反抗行动非常不赞同，竟然主动溜到胶东，要按项羽的安排改做胶东王。不成器的侄子做出的这种背叛家族的行为使田荣凶性大发。田荣带人日夜兼程，终于在即墨追上田巿，并将田巿亲手斩杀，自立为齐王。此时，济北王田安也已经到博阳即位。对于仇人田假的侄子，田荣当然不会放过，立即发起攻击，将田安杀死在战场上。至此，田荣占据了原属齐国的全部土地。
田荣打响了反对项羽的第一枪，自然知道必定会遭到项羽的报复，也自然知道仅凭一己之力绝不是楚霸王的对手。单丝不成线，孤木不成林，田荣开始广建党羽。
在攻打济北王田安的时候，田荣偶然遇到了彭越。自从与刘邦分手之后，彭越手下逐渐积累了一万多人，在巨野（今山东巨野县）深山老林里游荡，没有投靠任何诸侯，也没有参与各路诸侯进攻咸阳的行动。结果，彭越被诸侯们遗忘了，成了天不收地不管的孤魂野鬼。
别人不要的人，但田荣却看中了。田荣发现没有政治倾向的彭越如获至宝，立即派人赐给印绶，拜彭越为将军，请他作为自己的战友去攻克济阴（在今山西荣河县境），协同自己攻打田安。
彭越现在正处于尴尬境地。秦国已经灭亡，天下成了诸侯的天下。虽然躲得了一时，但一万余众的彭越军终究会曝光。没有哪个诸侯会容忍在自己的封地内存在这样一支不属于自己的军队，彭越的属下们也不会愿意长期过这种居无定所的生活。因此，为了生存，彭越急需一个合法身份。虽然田荣有意拿彭越当枪使，但彭越别无选择，只好接受田荣的任命，协助田荣消灭了田安。
田荣率先对项羽发难，惊起了另一位英雄——陈馀。
巨鹿之战后，陈馀一怒之下弃印归隐，在南皮带着好朋友们渔猎，张耳则跟着项羽一直到了咸阳。大分封之时项羽本来不打算封赏陈馀，还是在项羽手下混饭吃的陈馀昔日门客够意思，跟项羽讨封：“张耳跟了您之后也没做过什么，不比陈馀功劳大多少。现在您封张耳为王，却不封名气不逊于张耳的陈馀，这有点说不过去。”项羽琢磨了一下，觉得手下说得有道理，就把南皮等三县封给了陈馀。
按理说，天下那么多英雄没得到封赏，陈馀坐在南皮就得到了三个县，也算不错。彭越也是一无所有，不过陈馀还是不满。因为他举目一瞧，昔日的好哥哥张耳就因为跟随了项羽，如今已经成了赵国的王，连赵王歇都被张耳挤走。想想，上天真是待他不够亲厚。如果是别人封了王，陈馀还不恼，但是张耳夺了陈馀的兵权，是陈馀恨之入骨的仇人。正是因为被张耳夺了兵权，陈馀靠着门客说情才得到三个小县，张耳却是数郡之主。这让陈馀如何能不愤怒呢？
原本张耳势大，陈馀则是不堪一击，只能窝囊着。偏巧，田荣反了。陈馀当然不能放过这个可以利用的机会。他立即派了能说会道的张同、夏说秘密前往齐国，游说田荣。两人见到田荣后，巧舌如簧，说道：“大王，项羽为天下之主，做事太不公道。他把自己的属下封到了好地方，却把原来的诸侯都封到了条件差的地方。赵王原本是我们的王，项羽却把他迁到了代国。赵王的臣子张耳因为被项羽看重，居然坐了赵王的位子。这也太欺负人了。我家主公陈馀对此非常愤怒，特派我们向大王您请求援兵。如果大王能够帮助我们，我们愿意以南皮作为齐国的屏障，不让任何人从我们这侵犯您。不知大王您能否应允我们这个小小的请求呢？”
田荣正愁战友不多，焉有不肯答应的道理？当即拨给陈馀一支队伍。陈馀得到增援，又把自己封地内的士兵全部带上，对张耳发动了突然袭击。
张耳一没有料到陈馀如此恨他，二没有料到陈馀能筹集到攻打他的人马，三没有来得及整顿赵国的防务，结果被陈馀打了个措手不及，一败涂地。
陈馀迎赵王歇复为赵王，赵王歇也上道，大方地把项羽封给自己的代国转封给了陈馀。这一下，主客异位，流落江湖的陈馀重新崛起，成为代王，而刚刚还是赵王的张耳却要亡命天涯了。
去哪里安身立命？张耳左思右想，与随同自己逃亡的属下商议说：“现在，我一无所有了，必须寻求一个靠山。天下诸侯，要么不值得投靠，要么不会重用我，要么不会收留我。只有霸王和汉王，是可以投奔的。汉王跟我有故交，当年他还是布衣之身的时候曾经跟随我；霸王则是实力雄厚，对我有封赏之恩。他们两个人之中，我倾向于投奔霸王。大家没有异议的话，我们就奔彭城去吧。”
张耳手下有个姓甘的老头，姓甘名德，字逢。对于张耳的打算他表示不同意：“主公，您可不应该去投奔霸王啊！我平时喜欢观天象。近来，我发现五星逐渐汇聚于东井，这是印证汉王入关中的事。东井应在秦国，五星汇聚于东井，正表示秦国理当灭亡，先到咸阳的人必然会成为霸主。所以依我看，别看现在霸王势力强大，未来的天下还得是汉王的。因此，您理应投奔汉王。”
五星汇聚于东井，这是古代对一种天象的称呼。五星指的是金、木、水、火、土，古人称之为太白、岁星、辰星、荧惑、镇星。东井又是什么呢？指的是井宿。井宿是南方“朱雀”七宿之首，在西方的十二星座里属于双子座。井宿共有八颗星，其中最亮的叫做井宿三。这颗星明亮，代表国富民安，天下太平，如颜色变化则代表动荡不安。
东井代表秦国，也就是关中的秦地。刘邦入关中，五星聚于东井，这就表示刘邦是上应天命灭秦的人，是上天指定的华夏之主。《史记·天官书》记载了这件事：“汉之兴，五星聚于东井。”
甘德说“汉王之入关，五星聚东井”，东汉班固则在《汉书》中明确地写道：“汉元年十月，五星聚于东井，以历推之，从岁星也。此高皇帝受命之符也。”事实上，班固的记载是断章取义，严重错误。
根据天文学测算，这一次被称为刘邦上应天命的“五星聚于东井”，历史上发生在公元前205年5月18日，也就是汉王二年七月二十一日。这时候刘邦在哪？已经进入汉中，在南郑。发生于“汉元年十月”的说法，提前了九个月，在汉高祖元年十月的时候，只有木星和土两星是在井宿区域，其他三颗行星离井宿还很远。其实甘德所说的“汉王之入关，五星聚东井”，应当解释为“汉王的入关，与‘五星聚东井’一事对应”。后人偏要给刘邦上应天命找解释，硬是将“五星聚东井”的天象提前了近一年。
古人尤其笃信天象。听了甘德的一番星象解说，张耳当即决定：投刘邦去！
这个决定可以说是张耳人生中做出来的最重要的决定之一了。