太平天国将苏州以东至上海之间的地区称为“苏福省”，自1862年秋季李秀成返回天京之后，该地区的防务就被交给了他最信任的将军、最早的拜上帝会教众之一慕王谭绍光。至于他的对手，由于所有外军均于10月26日由嘉定撤回上海，清军在这一地区的战斗全部交由李鸿章指挥，而李与在浙江的左宗棠一样，此时正着力于防止太平军的援军增援曾国荃正在围攻的天京，即完成曾国藩第三步战略计划中自己的任务。在这一时期，李鸿章的部队主要有其自己的湘淮军（带有水师）、一些地方兵勇，以及已故的华飞烈组建的、现由美国人白齐文指挥的常胜军。谭绍光面对这些敌军毫不惧怕，于1862年11月3日向他们发起进攻，同时进军嘉定和南翔。在新由浙江嘉兴而来的陈炳文部队的配合下，太平军曾紧密地包围了黄翼升的湘军水师，但是当李鸿章率部出现，亲自指挥其本部与白齐文的部队救援后，太平军随即被击退。这是李鸿章来到上海以来的第一场胜利，而他的部队此后也一直都保持着这样的势头。
重编常胜军
由于对拖欠军饷一事的怨气与失望，白齐文从一开始就对李鸿章的指挥感到不满。到了10月，两人的不和终于升级为公开的口角。此前，曾国藩曾命李鸿章派程学启到天京增援曾国荃（程曾在曾国荃手下供职一年多），抵御李秀成勤王大军的猛攻。而李鸿章认为，程学启留在东线更为有用，便改派白齐文的四千常胜军前往增援。而让李鸿章气愤的是，白齐文提出只有付清拖欠的巨额军饷之后才肯动身。他的条件未得到满足。而此前，经海军司令何伯推荐，士迪佛立将军批准，英国海军军官奥伦(J. Y. Holland)被任命为常胜军参谋长。白齐文对这一任命表示不满，而且他还发现，程学启在克复嘉定之战中被推为首功，因此怨气愈重。
12月初，李鸿章与士迪佛立接触，商讨是否有可能将这个桀骜不驯的美国人改换为一名英国军官，士迪佛立答应李鸿章，会请示英国驻北京的公使卜鲁斯以及伦敦政府，寻求他们的意见（从1862年8月30日起，英国允许其官员接受清军的官职任命）。李鸿章期望通过这种方式来加强和英国的联系，同时重新掌控常胜军。一个月后，白齐文鲁莽地在其松江大本营发动兵变，正中李鸿章的下怀。白齐文的部队已有两个月未发军饷（白齐文用个人财产筹措了军粮），他的这支常胜军的军官和士兵们在1863年1月3日关闭了城门，威胁要劫掠城池，杀死所有的清廷官吏，然后投诚太平军。白齐文向部下们保证三日之内发齐军饷，然后便冲到上海，去见他的出资人杨坊。杨坊对这个突如其来的要求沉着应对，命令立刻将全部欠款通过汽船运送至松江。但是，运送这笔饷银的汽船从港口出发后，在下一个港口便停泊靠岸，饷银在那里被卸下船来，又运回交给了杨坊。白齐文被如此低劣的欺诈手段弄得恼羞成怒，第二天便再一次找到杨坊，在与他的出资人一阵纠缠之后，他从银库中抢夺了四万元洋银，留下收据后就离开了。此后，松江的士兵得到了军饷，也收回了之前的恐吓。但是李鸿章却抓住了机会，立即将白齐文解职，并逮捕关押了起来。
在白齐文急忙赶往北京（他去北京试图恢复自己的职务，但是并未成功）之后，士迪佛立向李鸿章推荐了英国陆军少校戈登担任新的指挥官。由于戈登正在负责上海地区的测绘工作，想完工之后再行就职，于是士迪佛立在征求何伯的同意之后，任命奥伦在此期间暂时代理指挥工作。李鸿章不仅接受了这一建议，他甚至还和士迪佛立制定了十六条协议，详细规定了重组一支仅有三千士兵的部队，由李鸿章提供军饷，并向李负责。这次重组影响到了这支部队自由军的本质，造成了其军伍内部很多的不满情绪，甚至还影响到了华尔思德，他此后便辞职返回了美国。整个事件还有意料之外的结果，李鸿章以挪用军饷的罪名成功弹劾了原来常胜军的资助人。吴煦和杨坊此后都遭到了清政府的重责。
湘淮军的早期战斗
1863年1月中旬，李鸿章展开了攻势，他命令程学启和郭松林至太仓，并让他的弟弟李鹤章前往常熟。而李鹤章刚开始攻打常熟，太平军守将骆国忠便于1月16日领着万余人的部队举城投降。这使得李秀成急忙布置陈炳文驻防苏州，让蔡元隆赶往太仓接管防务，然后亲自和谭绍光从苏州回援，想要重新夺回城池。反攻常熟之战进行得旷日持久，后来连陈炳文也被从苏州叫来，李秀成和谭绍光在布置好对常熟的包围之后，便返回苏州度过农历新年。
太仓的情况与常熟不同。虽然太仓原来的守将带着两千太平军士兵向程学启投降，但是蔡元隆及时赶到，保证了太仓仍在太平军手中。2月14日，李鸿章部约七千人及奥伦部两千三百名常胜军展开了一次猛攻。在用二十二门重炮连续轰炸五小时之后，他们将城墙炸出缺口，向太平军发动了冲锋。他们迎来的是太平军（现在包括一些从常熟来的援军）的枪林弹雨，共有两千余进攻部队的士兵被击毙、击伤或打散，奥伦绝望地撤回了松江。既然此刻松江暂时仍在手上，李秀成便把全部的精力再次集中于常熟及邻近的福山一线，因为李鸿章正在那里集结他手下的各路步兵及水师部队，还有勃兰(Brennan)少校的五百人及得浦(Tepp)少校的六百人，这两支常胜军部队也在那里集结。带着谭绍光从苏州而来的李秀成，现在亲自接管了收复常熟的指挥工作，直到22日为止，太平军连战连胜，几乎已经收复了该城。
但是之后的一周半时间里，清军重整旗鼓，战事陷入了僵局。在此期间的24日，戈登少校正式接过了常胜军的指挥权。他在接管指挥后的第一个行动便是整肃军务。他的部队现在有五千人，来自不同国家，有一支实力强大的炮兵部队，装备有许多英国陆军司令柏郎(Brown)特别供给他们的火炮。戈登随即找到他的顶头上司李鸿章，建议先切断太平军的联络线，然后再把岸边的太平军逼入内陆，以便形成包围之势。李鸿章批准了这一计划。4月3日，戈登率领两千二百五十人从松江出发。两天后，戈登取得了对太平军的第一场军事胜利，谭绍光和陈炳文在毁灭性的炮火打击之下，被迫从阵线撤退。李鸿章对这位新任指挥官成功击破太平军对常熟和福山的包围圈而感到欣喜，立即建议将他晋升为总兵。（第二十一章已提到，陈炳文此时撤回浙江，协助防卫富阳。）
随着太平军在常熟地区的败退，太仓附近也正要发生戏剧性的一幕。几位蔡元隆手下的将军对取胜不抱希望，便秘密勾结，想要以太仓向李鸿章的弟弟李鹤章及程学启投降。但是蔡元隆及时侦知了这一诡计，便请李秀成派遣了一支两千人的部队，急速驰援太仓。害怕受到处罚的叛乱者们随即提议给清军下个圈套，这个建议立刻就得到了蔡元隆的同意。就这样，在商定投降的那一天，他们为李鹤章及其一千五百名随从士兵打开了一处城门。但是，当最后一股清军进入城门后，太平军便从埋伏的地方跃起进攻，当场抓住五百人，杀掉了其余几乎所有的士兵。李鹤章脚上受到重创，据说是靠着割断马缰才侥幸逃脱。在另一处城门的程学启不知出于什么原因，迟疑未敢进城，而当埋伏的太平军冲杀出来的时候，他的部队反而将这股革命军打得四散逃亡。
李鸿章对这种几乎要了自己弟弟性命的背叛行为大为光火，于是命令戈登前往襄助。戈登于4月29日带着两千八百名常胜军士兵，在一个重炮营、殿后的五百五十名全副武装的英国士兵以及“海生”号蒸汽船的配合下来到太仓，当日便部署部队参加了战斗。三天后的5月2日，在炮兵营以及“海生”号对太仓城西门和北门连续四个半小时的密集轰炸之后，戈登的部队通过一处城墙的裂口，发起了最后的冲锋。一开始，太平军暂时击退了敌人，但是当第三次冲锋的敌军士兵冲过城墙的裂口，并重伤蔡元隆之后，所有的抵抗便告停止。可能是戈登比较仁慈，依照他的命令，幸存的太平军被允许带着妇女、儿童和伤员离开城市，虽然也有一些太平军士兵和平民及外军的俘虏留在城内，遭到湘淮军和常胜军的劫夺和屠杀。在将城防转交给程学启之后，戈登便返回了松江，而他对本部仅四十人战死、四十二人受伤的损失也还比较满意。
李鸿章的下一个目标是刘肇均驻守的昆山，而程学启和戈登已于5月3日对那里展开了攻击。昆山一城是至关重要的必争之地，原因之一在于它是联系苏州与松江、太仓等东线城市的战略交通枢纽，另外该处有一座由两名英国人开设的军火工厂，其产品供给整个太平军。但是在进攻失败之后，戈登必须首先抽身处理自己部队中的不满情绪。他部队中的许多人仍然忠于白齐文，认为戈登篡夺其位，而对他怀恨在心，而且所有的士兵都希望在新的战斗到来之前，先拿出时间来分配在松江堆积着的那些战利品。戈登趁着于5月7日返回松江的机会，又裁撤了一些白齐文原来的军官，并换上英国人代替他们，由此加强了对这支部队的控制。然后，当李鸿章再次要求他们返回昆山战场的时候，他已经完全做好准备，并马上同意了。
防卫昆山的太平军因为谭绍光和陆顺德的增援，暂时将湘淮军的攻势控制住。但是随着戈登率三千九百名士兵到来，以及此后李鸿章亲临前线，李鸿章手下那些久未建功的将军们异口同声地要求展开一场猛烈的直接进攻。戈登对此表示反对，他认为在进攻前首先切断该城与苏州之间的联系，方为上上之策。李鸿章表示同意，随后戈登部及“海生”号开始沿苏州河向西突袭正义镇，然后迅速回师，与李鸿章一起围攻昆山。谭绍光与撤退的太平军以及一些平民试图通过大路撤回苏州，但是“海生”号和数百艘清军舰艇沿着大运河追赶他们，并用炮火猛烈地进行轰击；他们不得不掉头往回逃跑，最后被彻底击溃。到了6月1日，昆山和邻近的阳新附近的太平军已被剿平，李鸿章凯旋返沪。
随着清军的战线不断向西推进，昆山成了新大本营的最佳场所，因此戈登决定将他的基地转移到那里去。另外一个原因是，戈登认为他的部队久居松江一隅之地，战斗士气已然降低。而这一点也随之得到了印证，他的部队中有两千人拒绝转移至昆山，戈登只能从太平军俘虏中调取士兵，替换他们。还有一个原因是戈登与程学启之间突然爆发了矛盾。程学启找了个微小的借口，直接向常胜军的驻地开火，随即戈登下令报复性还击，准备一举歼灭程学启全军。李鸿章无法失去两位将军中的任何一位，便立刻请当时的英使秘书马格里(Samuel H. McCartney)出面调停，事后程学启正式道歉，戈登离开松江前往昆山。
苏福诸城相继陷落，使天王变得郁郁寡欢，他降旨提醒所有的将军们，太平天国已经不再像之前一样光辉荣耀。他接着说，当下这些不好的运数必须归罪于他们不洁的行径以及与真理的背离，他们的行为使得天王在宫中为胜利而进行独自祷告变得徒劳无功。他特别指出，将军和士兵们将钱财据为己有，并且违背了绝不在占领区欺压百姓的命令，这些都是重大的罪过。因此，天国现在的堕落必不可免，但是从此以后，太平军全体要再一次勇敢无畏地与敌人和他们的外国盟友作战。
血战苏州
1863年7月初，李鸿章终于将他的精力全部投入江苏之战中的最后一个目标——收复苏州。他的计划是分三路进军：程学启为中路，从昆山直扑苏州城；李鹤章和刘铭传为北路，经常熟至江阴和无锡一带部署；李朝斌（湘军水师指挥官，此时尚未抵达）为南路，其水师舰队在平望、吴江一带的运河上巡逻游弋。除了这三路进攻部队，李鸿章还令黄翼升的湘军水师及戈登的部队在昆山待命，一方面作为后备军随时驰援，另一方面为三路湘军保卫苏南边界，防止太平军从浙江嘉兴、湖州方向而来的援军到达苏州。
而面对即将到来的进攻，正从西征军归来的李秀成（此次西征情况详见第二十三章）命令李世贤、林绍璋和陈坤书等将领一起驻扎在附近的乡县，向谭绍光提供一切可能的帮助。7月7日，李秀成抵达苏州，与谭面议军情，随后谭仍负责防守苏州，而李秀成则迅速返回已被围困的天京城。即便除去李秀成本部的一万八千名士兵（可被视为后备军），太平军防守苏州的总兵力也有六万人，其中四万在苏州城内，两万在无锡。而他们的对手则是程学启一万两千人左右的部队、戈登三千一百人的常胜军、四百人的中法混编营，以及正在逼近常熟的李鹤章两万五千人的部队。但是，清军在军事上占有优势，他们装备更优，尤其还编配有炮兵，而且部署更为考究，且有水师支援。于是，当战斗在江阴和杨舍打响之后，丹阳和无锡的太平军守将便开始溃逃。这表面上是出于他们对陈坤书残暴统领的不满，但可能也出于他们对胜利感到无望。他们的溃逃迫使陈坤书弃守杨舍。
此前，根据戈登的建议，戈登和程学启的部队被派往收复吴江这个太湖东岸东西交通的必经之地，从而进一步隔绝苏州及天京。而7月25日，他们的部队在大运河上三艘蒸汽船的跟随掩护之下来到了这里，并展开进攻。7月29日，吴江城在浙江嘉兴和湖州的太平军援军到达的两天之前陷落。
程学启不仅击溃了太平军的援军，还下令屠杀了在城内被俘的三千多太平军士兵。而戈登认为屠杀没有任何意义，而且他仍然对此前与程的矛盾受到的调停感到不满，也对李鸿章拖欠军饷觉得愤怒，便带人返回了上海，威胁说如果程学启不受到惩罚，就会辞职。对于李鸿章而言，这种草率做出的威胁是戈登抗拒命令的又一个例证，而当戈登于8月8日突然决定返回昆山，继续指挥部队战斗的时候，两人的矛盾终于爆发。其原因是白齐文的再次出现。白齐文因在北京谋求重新指挥常胜军的努力失败而倍感挫折，于是他于8月2日在上海劫夺了“高桥”号蒸汽船，并跑到苏州去帮助谭绍光。几日之后，他就和太平军的部队一起从嘉兴反攻吴江。戈登由此担心，常胜军中仍然忠于其之前指挥官的官兵会临阵倒戈。
8月18日，江阴战事再起，虽然有陈坤书带着数万人的太平军援军从常州赶来助战，李鸿章的部队仍然于9月13日收复了那里。李鸿章亲自到江阴，与他的部将们商定下一步进攻无锡的计划，而其他的清军部队则进一步对苏州收紧包围。在苏州帮助谭绍光的是另一位早期加入革命运动的老将郜永宽。江西出身的谭绍光与湖北出身的郜永宽早年在李秀成军中相识，结为金兰，此后历经战阵，成为李秀成手下最为勇猛忠诚的将军。尤其是谭绍光，他英勇无畏地坚持太平天国的革命理想，直到生命的最后一刻。现在苏州太平守军约有四万人，而围攻的清军，除了程学启的部队及黄翼升、李朝斌的湘军水师，还有采用西式装备的常胜军及法、英部队约六千人，总人数达到了六七万。即便如此，太平军还是击退了程学启于8月22日展开的第一轮试探性进攻，而太平军在湖岸上修筑的一些堡垒被清军摧毁。从9月23日开始，戈登率领两千九百人的部队展开了连续十天的强攻，而同一天，刚带着李世贤从天京返回的李秀成就亲自指挥部队，将他击退。
也是在此战之中，谭绍光发现白齐文与其说是助力，不如说是个骗子。他的部队毫无军事纪律，难堪大用；而他给白齐文大量的钱，叫他去上海购置军火，结果白齐文却带回来大量的葡萄酒。白齐文此时也意识到他失去了谭的信任，便试探性地接触戈登，意图返回常胜军。在此期间，白齐文仍然以太平军的身份行动，还于10月9日随李秀成一起前往无锡。四天之后的10月13日，李秀成被迫从无锡撤回苏州（同一天，嘉兴的太平军曾短暂地在吴江战胜了戈登的部队）。10月15日，三十三岁的白齐文声明转投戈登。三天之后，李秀成和谭绍光正式允许白齐文及其从属离开苏州，从此结束了他们为期仅仅十周的合作。（有证据表明，戈登当时与李秀成和谭绍光均有联络，可能是他影响了李、谭的决定。）
当从无锡而来的清军逐渐逼近苏州时，李秀成试图召集更多的援军，但是并不成功。唯一让人振奋的消息是从上海传来的，太平天国忠诚的伙伴及盟友呤唎于11月13日劫夺了“萤火”号武装蒸汽船。呤唎对白齐文无情地背叛太平军深感震惊，他提议组建一支忠信军，由外国军官指挥，装配西式武器，并由两艘蒸汽船提供支援，置于李秀成军中，以对抗戈登的常胜军。12月初，当呤唎及一些军官从上海穿过敌人的防线，向无锡附近的李秀成报告时，他们仅找到了一艘蒸汽船（改名为“太平”号），并招募了部分外国军官。李秀成给了呤唎一大笔钱，并调一千名太平军建立新军。11月19日，戈登试图占据苏州城外的几处战略要地，来阻截“太平”号到达战区，但是呤唎并没有走运河，而是将“太平”号驶入太湖，再沿一条小河来到无锡。
清军方面，李鸿章于11月22日来到前线，亲自指挥对苏州的作战，而戈登在诱使谭绍光献城投降不成之后，准备开始发起进攻。11月27日，戈登对城外的一处石制防御工事发起了猛烈的夜袭，但是令他感到意外的是，谭绍光赤着双脚，和一队怒气冲冲的太平军早就在那里严阵以待，他们随即冲进了进攻者的队伍里，左冲右突，杀死敌军两百人（包括几名军官），使戈登遭遇了军事生涯从未有过的惨败之耻。从那一刻起，戈登决心不惜一切手段攻克苏州。
一场胜利无法打消城内守军对注定失败的命运的忧虑。11月28日，李秀成带着四百亲兵从城郊一处军营进入苏州城，同时，城内以郜永宽为首的一些将军也派代表出城，接洽向程学启投降一事。郜永宽与谭绍光因苏州未来防务而产生分歧，建议在次日谭绍光出城与戈登交战的时候，关闭他身后的城门，然后据守城池准备投降。这个提议被接受了。戈登按照计划发起进攻，并成功击退李、谭二将，但是不知出于什么原因，郜永宽并未关闭城门。但是，到这时为止，城外所有的战略要地都已被清军占领或摧毁，苏州城的陷落只是时间问题。
李秀成于11月30日离开。当时他察觉到，郜永宽并不在驻防的岗位上，于是认为不能再信任他了。郜永宽试图说服谭绍光也离开，但是谭绍光誓与苏州共存亡，拒绝离开。让郜永宽有所忌惮的李秀成走后，再也没有人能束缚他了。当天晚上，郜永宽便和其他七名同谋者潜出城外，密会戈登。戈登保证，如果郜永宽能够打开一座城门，便可以保证他的性命无虞。戈登还表示，要生擒那个传奇人物谭绍光。然后，他便把郜永宽一行转送至程学启营中，商定具体的细节。
与此同时，谭绍光已经完全确定郜永宽等将军正在与程学启商定投降一事，他于12月4日把这八名谋反者叫入府中赴宴。吃过饭后，几人在大厅里激烈地争吵起来，激动之下，当时在场的汪安钧突然拔刀，将谭绍光刺死。第二天，郜永宽将谭绍光的人头送至程学启的大营，打开两座城门，投降清军。
刺杀谭绍光一事激怒了五千多广东和广西籍的太平军，他们把怒火发到了郜永宽和他的部下头上。但是湘淮军正冲入城来，因此谭绍光的旧部立刻集结妇女和儿童，准备撤退至无锡。他们被清军一路追击，这些老兵在被清军追杀的同时，还不断砍杀随行的妇女与儿童，以免她们落入敌军之手再受凌辱。只有不到三分之一的人侥幸活了下来。
无论在军事还是外交上，戈登当之无愧为克复苏州之首功，在他的部队开赴无锡之前，他立即要求为自己的部队赏发两个月的军饷。李鸿章听到这一请求后强压怒火，当天晚些时候便派程学启前往戈登处，对他说将会多支付一个月的饷银，而且保证遵守他与太平降军商定的条款。第二天，1863年12月6日（同治二年十月二十六），戈登带着他的常胜军离开，返回昆山大本营。
背叛的屠戮
苏州投降的同一天，李鸿章命令将前来正式投降的郜永宽及他的七名同谋就地问斩。程学启和其他的将军同时进入苏州城，包围了郜的队伍，屠杀了两万人，抓捕了另外大约一千名广东籍士兵，并在得到他们各回本乡的许诺之后，将其释放。至于手无寸铁的苏州百姓，他们的命运是钱财细软被劫夺，房屋被放火烧毁，自己流离失所。
戈登听闻八名投降的太平军将领被处决后勃然大怒，第二天便拿着手枪冲到李鸿章的大本营，只是当时李不在军营之中。戈登留下了写有“奸恶无信”的纸条之后，便带着郜永宽的儿子回到昆山。7日，他发表公开声明，要求李鸿章离开苏州，并辞去江苏巡抚的职务，否则常胜军将夺回所有攻占的土地，交还给太平军。李鸿章又派马格里前往安抚戈登，而戈登一怒之下将指挥权转交给了柏郎。李鸿章对自己的屠杀行径丝毫未觉不安，实际上，李鸿章还因收回苏州，得到了清廷的嘉奖。但是，上海的外国人中间，尤其是1863年12月16日外国领事会晤时所发出的声音则截然不同。野蛮的屠杀使外国的观察家们大为震惊，除此之外，他们还意识到清廷无法信守投降的协定，使戈登的名誉大受折损。当消息传达至伦敦，自由党奋声攻讦保守党，迫使首相巴麦尊(Henry J. T. Palmerston)于1864年5月31日承认其对华政策宣告失败。1864年3月，英国撤销英军官可以在清军供职的命令。但是当几个月后，这一命令传达到中国的时候，戈登已经给太平军致命的一击，而且也准备随时离开他的常胜军了（见后文）。
对于自己的屠杀行为，李鸿章在给弟弟的信中做出了辩解。他说八名太平军的投降领袖拒绝解散他们两万人的部队，还要求得到总兵或副将等高级军职，并坚持占据苏州城的一半，驻扎他们的部下。他们毫无道理的要求揭露了其寻求和平的伪饰，他这才决定处决这八名太平军的领袖，并派程学启进城消灭他们的军队。同样的理由，也出现在1864年2月14日李鸿章对戈登的指责进行解释的公开声明之中。李鸿章希望通过这样的做法，一方面缓和戈登的情绪，另一方面表明自己在太平军败将提出要求，“复萌叛逆”的“极紧极险”的情况下采取屠杀手段的必要性。
他的辩解至少有五个方面的谬误：第一，城内只有两万太平军，而不是二十万，而清军是其三倍之多，他们很难对清军构成军事上的威胁；第二，八名叛将提出的官职“要求”，说是出于其“个人野心”更合逻辑，而绝非“复萌叛逆”；第三，要求城市的一部分用于驻扎军队，也可以很容易地被理解为避免对抗冲突；第四，任何对他们在投降时仍怀叛意的怀疑都站不住脚，因为他们只身来到李鸿章的大营，很容易就被抓捕成为人质；第五，以程学启屠杀其军之前，先处决八位叛将，这会引起比他声称需要使用这种极端处理方式的情况更为“极紧极险”的情况。由于缺乏为其野蛮行径开脱的军事上的合理借口，李鸿章的动机只能被理解为贪婪。两份当时的历史文献证明了这种假设：在记述湘军的历史时，王闿运写道：“复苏州城时，主将所斥卖废锡器至二十万斤，他率以万万数。”毕业于耶鲁大学的容闳此后估计，李鸿章所聚敛之钱财超过四千万元。
弃守无锡及委任呤唎
驻防无锡的太平军在李鸿章湘淮军（无外国军队）的重重围困之下，坚持了三个月。虽然李秀成和他手下的将领们，以及劫夺了“太平”号并开入太湖的呤唎及其忠信军都奋力冲杀，试图突破包围圈，但无锡还是日益陷入孤立无助的境地。1863年12月12日，苏州陷落六天之后，李秀成决定弃守无锡。当清军开进城池时，太平军已经撤退，清军在城内便无情地屠杀了六千名当地居民。与此同时，程学启和李朝斌所率领的大规模的陆军与水师，于1864年1月3日占领苏州以南的平望，准备进入浙江。李鸿章已经命令他们攻取嘉兴、嘉善和湖州，认为这三个地方对于防守刚刚从太平军手中夺回的江苏领地，具有战略性的意义。但是这意味着，李鸿章要在自己职权之外的地区采取军事行动，而浙江巡抚左宗棠也正因为这个原因，对李鸿章的“越权”感到愤怒。
太平军方面，苏州和无锡的失守使革命事业最终胜利的希望更加渺茫，也使李秀成开始寻找新的挽救革命事业的方法。呤唎由于身体原因告假，并未参加无锡之战，现在他也急于返回英国进行治疗。李秀成巧妙地利用这个时机，委托给呤唎一项使命，用呤唎的话说便是：“对外人宣扬太平革命之目的，各领袖之愿望及意见，（太平天国）由英国所受之（不公正的）待遇，及于此运动有关之各事。”1866年，呤唎在英国出版了两卷本的著作《太平天国亲历记》，完成了自己的使命。
戈登回营
李鸿章派刘铭传去收复常州，而自1863年12月19日起，两天之内，刘似乎大有战胜太平军陈坤书部的势头。在轰炸中，太平军新获得的“太平”号蒸汽船中弹起火后报废，船上的部队与其他的太平军一起撤退至丹阳。但是，李秀成、李世贤和林绍璋带着援军赶来，此后的一个月之内，刘铭传只能维持围攻的态势而已。
此时的李鸿章比任何时候都更需要戈登的帮助，便找到新任的海关总税务司赫德(Robert Hart)，请他说服戈登，重新指挥常胜军。赫德便去找戈登，一方面轻描淡写地处理李鸿章在苏州的问题，另一方面恭维戈登，甚至说他是“掌握中国命运的人”。根据一份报道，赫德还给了戈登五万两白银，可以记在英国任何一家银行的账上。戈登的怒气稍有平复，又渴望参加军事行动，于是便于三天后的1864年2月2日去见李鸿章，当面争论其公开承担苏州屠杀之责任（前文所提李鸿章宽慰戈登的声明起到了效果），并要他遵守国际战争法中禁止屠杀战俘的条款。戈登随即恢复了原职，然后写信给卜鲁斯解释其中原因，并请求得到批准。
到这个时候，太平军不仅在天京和杭州被强大的清军包围（分别被曾国荃和左宗棠包围），他们在浙江与天京之间的补给线也变得相当脆弱。狡猾的戈登看到了在太湖以西的宜兴、溧阳一线威胁这条补给线的机会，便于1864年2月19日动身赶往宜兴。虽然当地的太平军顽强地抵抗住了郭松林的湘淮军部队的进攻，但是在戈登军重炮的轰炸之下，驻防的将军终于感到不支，于3月1日撤离宜兴。而次日，剩下的太平军士兵全部投降。郭松林与戈登又迅速赶往溧阳，使得该城也在3月8日向他们投降。李世贤带着他的部队从溧阳撤退，却没有时间带上他在城内的一家老小。戈登又一次展现了充满人性关怀的姿态。他首先命令将李世贤一家护送至昆山，后来还叫人把这一家人带到浙江，交还给了李世贤本人。
陈坤书意图分散围攻常州的清军，便和其他几名将军占领了江阴，并开始向常熟发起进攻。这一计策果然有效。面对西侧翼的新威胁，李鸿章被迫分军，令戈登和郭松林驰援常熟。他们在进军途中路过金坛，郭松林在该处遭到了阻击，而戈登于15日到达那里的时候，得到消息说常胜军的大本营昆山已被围攻。这使得戈登在21日更加积极地发起进攻，想要一举攻占此城，完成任务，再尽快向东救援昆山。据守城池的刘官方造成了戈登部一百人死亡，还击伤了戈登本人及其他十五名军官。此后常胜军撤退以保存实力，应对东面更为严峻的局势。（4月25日，曾国藩从皖南调来的鲍超部收复了金坛。）
3月24日，黄翼升和郭松林攻克了常熟，戈登也从金坛撤退至溧阳。3月31日，在未等到其炮队赶上的情况下，戈登率一千人的部队进攻华墅。这次进攻又被太平军挫败，太平军共击杀戈登部队两百五十二人（包括八名军官），打伤六十二人，并缴获四百支步枪，迫使戈登灰溜溜地退往无锡。4月11日，戈登卷土重来，但是这次他在溧阳方面湘淮军的配合下成功拿下了华墅。有超过九千名太平军士兵被俘，其中大部分后来也被李鸿章的部队屠杀。李鸿章于同一日来到华墅，第二天亲自指挥了针对常熟、江阴一带至丹阳这一区域太平军的扫荡行动。
常州陷落
坚韧不拔的常州守将陈坤书从1863年12月底开始，就一直与刘铭传和黄翼升的清军僵持不下。但是4月14日，戈登的部队部署就位，李鸿章也于次日到达战场，另有一支由英国军官备雷(Bailey)指挥的独立炮兵营于3月25日参与收复嘉兴之后从那里赶来（见后文）。陈坤书发现这些情况后，心中开始感到不安。
虽然八千人的守军在人数上远逊于城外的攻方部队，但是陈坤书仍然率军勇猛地抵挡住了清军于4月22日展开的猛攻。此后两天，太平军一次次地击退由戈登及备雷的炮兵轰炸出的城墙裂口中涌入的一队队清军士兵，双方伤亡人数均不断攀升。太平军人数逐渐减少，许多堡垒也被清军击毁，他们便撤退至城内，但仍然在亲自冲锋陷阵的陈坤书带领下，以肉搏白刃击退敌方的攻势。但是，轰炸不断使城墙形成新的缺口，而新的缺口就需要士兵防守。终于在5月11日，城墙被炸出两个巨大的缺口，而太平军已经没有足够的兵力进行布防。清军部队冲入城中，发现陈坤书仍在血战，一圈忠诚的太平军士兵将他围住，正用自己的身体保卫着他的生命。他们一个个地倒下，最后就只剩下陈坤书一个人。由于已有严令要生擒陈坤书，清军士兵只能小心地接近他们的目标，在几个士兵都被他手刃之后，最终十名士兵一起才将这位勇猛的老将按倒在地，将他抓捕。他被带到李鸿章面前后，拒绝向抓捕他的人下跪，还傲慢地嘲讽说，若不是外国军队的介入，仅凭李鸿章的部队是不可能从他的手里夺取常州城的。他的自叙状的最后一句话是：“欲保常州以为金陵犄角，奈事不成，只有尽忠。”陈坤书确实如其风评所说的一样，是个贪婪、霸道和残忍的军人，但是他的军事生涯也因其作战的勇猛，以及最终让他英勇就义的对革命理想的忠诚，而变得格外与众不同。
收复常州之后，李鸿章和他的部下都得到了清廷慷慨的封赏。戈登也因其对战斗做出的突出贡献被晋升为提督，并获得功牌旗帜。而此役也成为他在中国内战中参加的最后一场战斗。
解散常胜军
在复职之后，戈登先后参加了无锡、宜兴、华墅和常州四个城市的收复之战，每次战胜之后都会发生屠杀战俘、降兵和城市中平民的事件，而这些都赤裸裸地违背了李鸿章对他做出的许诺。如在常州，除了数千战死的太平军，还有一万两千余人被清军屠杀。戈登对此感到厌恶，却又无力阻止这种毫无人性的流血事件，甚至无法禁止他自己的人参加入城之后的掠夺。常胜军的品格、军纪和战斗力均已经堕落到无可救药的地步。同时，军事上的局势也发生了变化：苏东地区（即太平天国苏福省）的收复，使得天京完全成为孤岛，破城克复指日可待。即便没有外国军队向清军提供帮助，太平天国革命运动的覆亡也已经是大势所趋。由于李鸿章在提供军需补给和军饷时不断采取拖延的态度，而且有时为太平军服务反而获利更高，这种诱惑使得其部队越来越难以维持原有的秩序，戈登看不出他的部队将来能堪当何用。也许在攻陷常州四日之后的5月16日，当他的军队返回昆山驻地时，他就已经下定决心要解散常胜军。也许是出于历史的巧合，正在这个时候，伦敦关于撤销允许英国军官接受清军职务委托的命令传达到了中国。戈登衷心地欢迎这个命令，并立即于1864年5月31日解散了常胜军。
李鸿章在浙北的行动
前文提及，在1863年11月无锡和苏州激战正酣之时，李鸿章派出三支部队进入浙江（未得到浙抚左宗棠的同意而擅自进入），去攻占几处对防御江苏具有战略价值的城市。到了12月，这些部队已经占领了平湖、乍浦、海盐和澉浦，并且已经包围嘉善。在收复无锡和苏州之后，1864年1月，李鸿章命程学启部与备雷的炮兵队一起前往嘉善，指挥最后的进攻。面对这样的强敌，嘉善的太平军无能为力，只能献城而降。此后所有湘淮军部队合兵一处，开始围攻嘉兴。
嘉兴三面被围，英勇的守将廖发寿（继任陈炳文成为守将）通过仍然畅通的西侧路线，向驻防湖州的黄文金求援。这个时候，至少有十八位太平天国诸王在湖州避难，他们竭尽全力试图靠近被围困的嘉兴，但是湘淮军不断移动，干扰和阻截靠近的援军，同时程学启和备雷集中火力轰炸嘉兴，迫使其投降。最后，在3月25日，一发炮弹击中了城内的军火库。在爆炸引发的混乱中，清军士兵没有受到丝毫阻碍就翻过了城墙，城内太平军在惊慌之中从西门逃走，最终逃到了湖州。廖发寿被俘，随后英勇就义。其他被困城中的太平军士兵皆惨遭屠杀。程学启在激战中头部左侧受到重创，被抬往苏州医治。这位原太平军将领终于在4月15日不治身亡，时年三十五岁。
嘉兴的失守使杭州暴露了出来，迫使太平军于3月31日弃守杭州城（前文已述），至此，太平军只有湖州一城在手。虽然左宗棠从其军中派出多支部队协助李鸿章，但是这座太平军最后的堡垒仍然坚守了五个月之久。其中一个原因便是郭松林和李朝斌的湘淮军失期未至。在收复常州之后，郭、李二将受命在备雷的炮兵队的帮助下，夺取太湖东南岸边的长兴。6月27日，太平军由守将刘官方带队逃走（也有报告说刘官方战死于是役）。一个月之后，郭、李二将才与湖州方面的部队会师，共同发起进攻，并在1864年8月27日逼走湖州城中的太平军领袖。
次日，在占领湖州城之后，除了一些与太平军残部的小规模战斗，李鸿章和左宗棠都完成了自己在曾国藩收复天京的大战略中分配到的任务。