四年，成军东讨。初战再失利，未几大捷湘潭。以师不全胜，上疏自劾。已而克岳州，下武昌，大破田家镇，断横江铁锁，乘胜围九江，进规湖口。当是时，湘军威名震天下。会水师陷入彭蠡湖，鄂帅丧师，武昌再失。公曰：武昌据长江上游，必争之地也。急檄湖北按察使胡公林翼，率偏师西援。不克，则悉锐师继之，而自留江西督攻九江。已而悍贼石达开等分道犯江西，破郡县六十余城。公上疏自劾。卒以孤军坚拒死守，贼不得逞。六年，胡公等复武昌。明年，拔九江，军威复振。
公治军，谋定后动，折而不挠，坚如金石，重如山岳。诸将化之，虽离公远出，皆遵守约束不变。自九江未拔，诸军已略定江西郡县矣。公以父忧归，累诏起复视师，不出。既逾小祥，始奉命援浙江。是时公军为天下劲旅，四方有警，争乞公赴援，南则浙闽，西则蜀，北则淮甸，皆遥恃公军为固，虑旌旗他指。天子亦屡诏公规划全势，视缓急轻重去就之。公曰：谋金陵者，必据上游，法当舍枝叶，图本根。遂建议三道规皖。