然而令粤军没想到的是，衡州乃是衡王昭賨的地盘。昭賨是跟着其兄常年征战，属下都是能征善战之辈，非其他地方军士所能比。之前三千人守桂阳，粤军动用两万人打了十几天才打下。要从桂阳到衡州，必经耒阳，昭賨在耒阳设有军寨，留有三千人马。
粤军本想绕过耒阳，直接进攻衡州，却几次被耒阳守军偷袭了后路，使其主帅大怒，反过头来必要消灭耒阳守军。
耒阳守军驻扎在鹿岐峰上，前临耒水。如要击灭守军，需东渡耒水。粤军主帅手握五万大军，心想对方不过三千人，就是每人吐口唾沫都能将其淹死，只需一阵就能将其歼灭。遂令两万人渡河结营，自率三万人在西岸结营。
粤军早间渡河，除了留下结营之人，其余的人立即进攻鹿岐峰。然而此地楚军常年驻扎经营，已经搭建了许多防御之地，使得粤军首次进攻失败。
柳霏霏行军途中早已打探清楚了形势，到达衡州后并未进城停留，立即渡过湘江直奔耒阳。
衡州离耒阳不过几十里，半日时间便到。柳霏霏抵达衡州时已是下午，再疾行半日，在离耒阳三十里左右的地方天色已经大黑。柳霏霏令士兵休息，吃饼充饥，并派出斥候渡过耒水前往鹿岐峰与守军联系。
柳霏霏待士兵休息一个时辰后，又继续前行，在离粤军约十里的地方停下，并命人刺探粤军消息。
此时已过丑时，粤军除了一些守夜的士兵还在活动之外，其他基本已经休息。柳霏霏心想：“我们一路行军过来，粤军不可能不知。此刻却并无防备，想是以为我不会夜里行军。看来这个统帅和孙羽是一类人。”
柳霏霏对众将说道：“粤军将队伍一分为二，分在耒水两岸，本就犯了兵家大忌，如此一来我们要对付起来也就容易一些。东岸的粤军就交给耒阳守军，他们人虽然少，但是要大乱粤军还是可以。西岸粤军就有我们来解决，他驻扎河边，我们由两边进攻，形成关门打狗之势，务必要多杀伤敌人。”遂将队伍分成两队，分两边向粤军进攻。
粤军此时大多熟睡，哪里料到楚军回来攻击，很多还没明白是怎么回事就已经身首异处了。两边楚军犹如饿虎扑食一般的冲向粤军军营，见人就杀。冲杀一阵后粤军在反应过来，立即起身迎敌。但是此事楚军气势已盛，士兵都杀红了眼，粤军虽然人数占优，却没有气势，只管夺路而逃，哪里有路就往哪里跑，只恨爹娘少生了一只脚，嫌跑的不够快。甚至有些人往河里跑，想要跑到对岸去。
梁敏杀一阵，命人放火烧了粤军军营。火势一起，粤军士兵心下更慌，有些还负隅顽抗的心下也虚了，也是四处逃散。粤军统帅见大势已去，也要逃跑，正好撞见梁敏。
梁敏见其前后有人簇拥，知道必是大官，大喝一声：“哪里逃！”仗剑向那人劈去。
十几个人拥着统帅而走，留下两人挡住梁敏。梁敏大喝一声，右手执剑劈向右边那人，右手边那人提刀来挡，却因梁敏力大，双腿支撑不住，跪倒在地。
就在同时，左手边那人也提刀向梁敏砍过来。梁敏双脚离地，身体腾空而起，重重的踢在左手那人胸口，将其提出一丈多远，口中喷出鲜血，眼见是活不成了。
右手那人被梁敏一剑压跪在地上，双膝疼痛，一时间无法站起。见梁敏一脚踢死人后双脚着地，立即身体向前，扬刀向梁敏双腿砍去。
梁敏双脚刚着地，立即一个翻身向前，同时手中剑从右手那人脖子上划过。那人双膝仍然跪地，身子向前扑倒，扭动几下后便不再动。
梁敏连杀两人，只在片刻之间，粤军统帅却趁机走的远了。梁敏立即追上去，又有两人过来拦住。虽然这些人武功不高，却挡不住人多，这样几次阻拦后，粤军统帅便被下属保着逃远了。梁敏一声叹息，回头继续冲杀。
西岸火光滔天，杀得粤军人仰马翻。东岸那边也杀得粤军丢盔弃甲，大败而走。只是东岸始终人少，不能对粤军造成多大杀伤，只能将其击败。
这一战杀死杀伤粤军一万多人，投降数千人，战果斐然。柳霏霏将投降的粤军将士兵器收缴，然后将人全部放走。梁敏等人不解，俘虏也是换取军功的砝码，为何要全部放走？柳霏霏只是微微一笑。
粤军一路溃败，向南逃往桂阳郡。粤军统帅一路上收拢溃军，狼狈不堪的逃进桂阳城内。这一日内陆陆续续又有战败的将士逃回桂阳，粤军统帅见人数渐渐多起来，心下稍安。
到了傍晚，又有数千人逃回，他们衣着破烂、面色恐惧，大多数赤手空拳，只有少数还带着兵器。城楼上守卫这一日已经看惯了这种败军，毫不犹豫的打开城门放其入内。
这些人进入有大半时，突然带有兵器的士兵将守门的士兵杀死，攻入城门，见着守卫就杀，并砍断吊桥的绳子。突如其来的骚乱使得守卫一阵慌乱，他们哪里想到自己人怎么会杀自己人，难道是被楚军吓傻了？
原来这些人是柳霏霏安排在那群俘虏里的，他们换上粤军的衣服，混在粤军中间。粤军本来人数众多，相互之间不认识的很多，哪里想到这会是对手的计策，反正被放了只管往回跑就是了。待到进入城门后，楚军立即发难，将城门夺下来。
柳霏霏率领大军在后，见计策成功，立即率众将冲入城内。此时天色已晚，城中百姓基本已经关门闭户，楚军进入成内后就直接往军营冲杀。
粤军统帅好不容易逃回桂阳城，心想着可以放松些，饱餐一顿后正想休息，却不料城北攻破。粤军经过昨夜惨败后，心里已经对楚军产生了恐惧。此时楚军再次出现，都犹如见到恶鬼一般，只是拼命的逃跑，根本没人再有抵抗。
粤军统帅更是吓得连忙从侧门逃出，一路向永州跑去。
此战击退粤军五万大军，一举收复桂阳郡，众将士很是高兴。柳霏霏命人守住各城门，防止粤军反扑，让将士好好休息，不得打扰城中百姓。
第二日一早，柳霏霏留下二千人守桂阳，其他人返回衡州，再进入永州。嵇圣潭出城迎接。柳霏霏将部队驻扎在离城五里的河边，自己带着王强、杨沅夕、几个丫鬟和几个护卫入城。柳霏霏离开后，梁敏就是军队的指挥官，所以他没有跟随一起进城。
嵇圣潭入驻永州后，暂时将永州衙门作为办公据点。嵇圣潭带领柳霏霏一行今日州府衙门。柳霏霏问道：“平阳王遗体在何处？”嵇圣潭道：“现平阳王遗体已经入棺，棺椁至于州衙后院。”柳霏霏道：“先带本帅去祭拜一番。”嵇圣潭带着柳霏霏进入内院，一路上撒着纸钱，贴着花环，还有几副挽联放在一间大屋门口。看上面的字，应该是永州城内氏族大户送的，还有一些幸存的将士所送。