此时的赤眉军，就兵力数量而论，在天下诸侯当中，当然可以数一数二。然而，和以上三股势力相比，在战力上远远不足。当赤眉军放弃长安之后，樊崇便率领他们进入陇东高原，本以为从此可以天下广大、任我遨游，哪知却碰上了隗嚣的陇西军大将军杨广，其手下骑兵丝毫不弱于刘秀的幽州铁骑。因而赤眉军最终遭遇大败，狼狈向东南方向逃窜而去，杨广率领陇西军一直将樊崇赶出了乌氏、泾阳才鸣金收兵。
邓禹见此，忙派兵进剿赤眉军，试图劫回他们盗掘西汉陵墓之时所获取的财物。哪知樊崇早就占据了天时地利，手握“番须口”这一一夫当关万夫莫开的优势地位，直接威胁右扶风西部的安危。于是，邓禹所部与樊崇大军在郁夷县（在今陕西宝鸡市虢镇之西）交兵，无可置疑，西征军大败而归。
邓禹遭逢大败，本应该修身养性、整军待命，然而此时的长安却因为樊崇的劫掠而贫穷不堪，邓禹数十万大军，已经断粮多时。于是，邓禹决定派遣军队去长安城外找粮食。谁知却在南山脚下遭遇了汉中王刘嘉追赶的延岑残部，又大败。无奈之下，邓禹只能暂时撤出长安。
正当延岑为自己获胜而暗自窃喜之时，却不料汉中王刘嘉竟然从背后杀出，兵败之下，延岑只能向汉中王刘嘉乞降。原本刘嘉就是延岑的主公，只是为了自立，他才带兵逃出。此番刘嘉念其战功，故而并没有责罚他，反而任命他为将军。此后，刘嘉、延岑、李宝三人便准备率领着十余万军队北上，屯兵陈仓道口。哪知却遭遇了赤眉军，双方大战之下，赤眉军不敌，就连大将廖湛也被敌人斩下头颅。樊崇权衡之下，只能厉兵秣马，沿着渭水东进，徐图攻取长安。
他哪里知道，邓禹刚刚遭遇连番大败，早就撤出了长安。赤眉军冒着天寒地冻，进入了一片瓦砾的长安城中，后悔不已。甚至连士气也受到影响，大到将领小到兵士，均生出了归返故乡的念头。就在此时，邓禹也率领部众杀了回来，准备借机捞上一把，打击一下敌人的残兵。只可惜，赤眉军并没有他想象的那么虚弱，不久，邓禹便败逃回云阳，其手下将士也只剩下数千人，时局转换得如此之快，实在是让人难以相信。
而一边的赤眉军，却并没有像汉军一样，被延岑、李宝等人杀得大败，真可谓是“天外有天、人外有人”了。此后，邓禹又杀了汉中王部下前来请求联合的李宝，只因为自己连番失败，李宝傲慢便犯下如此错误。此后，邓禹之败更是一发不可收拾。直到刘秀果断任用冯异为征西将军，代替邓禹，才让西线的战事逐渐转危为安。当然，对于刘秀派遣冯异代替自己，邓禹是很有意见的。冯异不过是半路降将，邓禹则是一直跟随刘秀的忠臣。因此，从心底讲，他是不愿意自己大权旁落的。
冯异到达之后，邓禹便命令部下出战，攻打赤眉军。其中，邓弘为先锋，冯异为后援，主要攻击赤眉军弘农郡一部，敌人诈败，邓弘立刻上当，急忙追击，不料敌人调头便猛烈地攻击邓弘，猝不及防之下，死伤无数。幸好冯异当机立断，率领自己带领的数万将士杀出，才救下邓弘、打退赤眉。
当此之时，冯异急忙向邓禹建议：“大司徒！末将以为我军久战，锋锐已疲，不如撤退回营，来日再战不迟。”哪知邓禹不听，遂再次率军出战，而赤眉军这边，则高兴不已，因为邓禹又一次中了他们的诈败之计。邓禹一路追击，直到回谿谷内，遭到赤眉军伏兵的猛烈攻杀。冯异为后援，当他得到邓禹追进回谿之后，大惊失色。他久经沙场，一看之下，便知晓邓禹中了敌人的奸计，他担心邓禹有失，不顾自身安危，急忙率部也跟着进去支援。可惜，等他到达战场，邓禹早就率领二十四人逃往宜阳，余下数千将士都成了谷中之鬼。
一波未平一波又起，赤眉军知晓敌军必定会前来支援，便布下口袋阵，恰好冯异一头扎入。幸得冯异机敏，一见之下，忙将部队调头，从山坡上冲出一条血路，最终逃回大营。“大难不死、必有后福”，此言实在有理，此次一败，可以说都是拜邓禹错误的战略战术所致，冯异返回军营，毫不气馁，积极备战，同时向刘秀报告军情，刘秀闻讯，亦大为吃惊，幡然醒悟不该派遣邓禹前去征西。沧海横流方显英雄本色，刘秀于危难之时，毅然决定，相信冯异的实力，放赤眉军东进。冯异亦不是一个省油的灯，他决意要报回谿一败之仇，下令紧闭营门，坚壁清野，不许部下出战。同时，他又暗中下令四处搜罗在回谿一战失散的残兵败将，尽可能地让他们归队。很快，就有两万多人聚集到他的麾下。于是，冯异忙向樊崇下战书，会猎于野。这一战，首先樊崇便比较轻视冯异，其次，冯异汉军则是知耻而后勇，他们在冯异这一位当世名将的带领下，以区区两万人马，杀得樊崇三十万大军大败而逃。冯异当即率领大军追击，到了崤山一带，冯异追上了赤眉军。
崤山是古代最为著名的战地之一，以山高谷绝，峻坂迂回，形势险要而闻名天下，是关中三辅至中原诸郡的天然屏障。此山中间有南、北二崤道，亦称南陵、北陵。南陵为夏后皋之墓，北陵有周文王避风雨台遗址。也是孟尝君靠着“鸡鸣狗盗”之处，也是老子西行之地。此番被汉军追击，狭长的古道上，赤眉军单面应敌，而且后退的极为缓慢，在冯异强有力的攻击之下，赤眉军再次大败，无力再战，大量士兵放下武器，向汉军缴械投降。樊崇见大势已去，只好抛弃了老弱眷属，率领主力狼狈不堪地向正东方向逃窜。
到此，樊崇才真正领略了冯异的厉害。率领二十万赤眉残军，逃到宜阳境内。从华阴到崤山，再到渑池，最后到新安，冯异与樊崇的这一场大战终于胜利结束。经此一役，冯异俘获赤眉军男女八万余人，可谓大获全胜。虽然这场会战，单以规模而言，不能与昆阳之战相提并论，但是它的战略意义却极为重大。冯异亦通过这场阻击战，再次展现了他非凡的胆略和高超的用兵技巧，以两万人马，将樊崇的三十万大军杀得四散奔逃、溃不成军，赤眉三分之一的重要骨干成员在战役中被消灭，不得不说，这是一个惊人的奇迹。从此，樊崇的赤眉军主力遭到了重创，其寿终正寝之日已经不远。
刘秀早就在宜阳布置下数十万大军，以逸待劳，当樊崇二十万残军到达宜阳之时，看见眼前突然出现的数十万威武大军，吓得心胆俱裂。只见刘秀亲自统率六军，大摆兵阵，大司马吴汉的精兵列队在阵前，中军随后，骁骑、武卫两军分别列阵在左右两侧。赤眉军看到这种阵势之后，都感到震惊和恐怖。樊崇一世英雄，纵横天下，所向无敌，此番刚刚遭受冯异的猛烈攻击，兵败如山倒，让樊崇自己都难以相信。到了宜阳城下，本以为又可以凭借兵力，夺取城池，过上逍遥快活的日子，哪知刘秀竟然来了个瓮中捉鳖。眼下赤眉军已经是弹尽粮绝，辎重全无，兵马劳顿不堪，士气斗志尽失，樊崇虽然目不识丁，却也对时局洞若观火，为今之计，只有投降一条道路可走，于是，樊崇便派遣刘恭前去乞降。此刻，樊崇已经没有了和刘秀谈判的本钱，刘秀答应饶恕他的性命，眼见大势已去，他便同意了投降。
不日，赤眉军的君臣都自行反绑双手，带着高祖刘邦传下的玺印前来投降，光武帝下诏令把受降事宜交给城门校尉办理。又颁布诏书，祭祀高庙，“赏赐天下继承父亲地位的长子爵位，每人加封一级”。
二月己末日，光武帝刘秀到高祖神庙祭祀，接受传国印玺。历时数年，刘秀终于平定了赤眉军，获取和稳固了河东和关中地区，天下一统指日可待。