五日之后，陈显良等人还是没能奈何打了三个多月的广州城，但广州城内黄粱维的七万大军，如今也只剩下三万多疲惫之师了，可面对随时可能出现在广州城下的清军援军，陈开和李文茂已是决定放弃广州城了。
咸丰四年九月三十日，陈开和李文茂率领本部人马西去肇庆，而陈显良着决定继续攻打广州城，可自陈开和李文茂走后，有些义军看近二十万大军都没能奈何的了只有七万人马的广州城，以为清廷气数未尽，就直接溜出义军。有的落草为寇，有的又干回了老本行，跟随陈开和李文茂西去肇庆的大概有五六万人马，而跟随陈显良继续攻打广州城的，也还有四五万人。
肇庆的天地会梁培友部，本有些支撑不住清军的围剿，但梁培友十月时与赶到肇庆的陈开李文茂部汇合后，又是大败数路围剿的清军，一时间声势又是如日中天，之后陈开等三人沿江进入广西继续征战，而在陈开等人进入广西开辟新的地盘时，李士稷得知陈开和李文茂率部与陈显良分道扬镳时，马上兴奋的率军直奔广州城，此时李士稷南下广州的大军除了赣州带来的五万人马外（还有八千人马留在了韶州府），一路投奔募集的人马也有三万多人了，就在李士稷马不停蹄的南下广州城时，依然选着继续攻打广州城的陈显良部，却在广州城下被清军大败。
陈显良在陈开和李文茂走后，又是猛攻了广州城七八日，而此时在广州城内的黄粱维却已经通过洋人和即将赶到广州的两万福建清军取得联系，十月九日时，还在继续攻打广州城的陈显良突然接到斥候禀报，说广州城东面有两万清军正向广州城杀来，最多还有一个多时辰就要杀到广州城下了，陈显良听此如遭晴天霹雳，虽然陈显良也知道会有清军赶来支援，但陈显良觉得如今天下烽火四起，清军即使为了广州这座重镇拼尽全力，也不会有太多清军赶来支援，而要不是陈开和李文茂没有带着五六万人马出走广西，自己又何惧这两万清军援军，想到这，陈显良不由有些怨恨陈开和李文茂二人。
但现实已容不得陈显良多想了，陈显良也的确是以他最快的速度召集他仅余的四万多人马，但广州城内的黄粱维似乎早知道陈显良撤退是因为清军有援军赶来，也是马上组织广州城内的清军出城与陈显良野战，陈显良显然没料到被他打了三个多月都没脾气的黄粱维这时竟敢出城与他野战，一时间，陈显良的四万多人马被黄粱维带出城的两万多人马打了个措手不及，陈显良这时的心情真是屋漏偏逢下雨天，但因为清军的援军，陈显良偏偏又不敢组织阵势与黄粱维野战，只得留下一万人马摆好阵势阻拦黄粱维，谁知黄粱维竟也分兵追来，陈显良心中那个恨啊，只得再次留下一万人马阻拦黄粱维，陈显良想想三个月前自己的风光，不得不感慨风水轮流转啊。
这两万人马被黄粱维拖住后，等到两万清军援军赶到，两万天地会义军很快就被剿灭，面对数千投降的天地会义军，两广总督叶名琛直接下令全部砍头示众，一时间，黄埔江都变成一条血江，而率领剩余的两多义军逃跑的陈显良在撤到花县之后，又清点了下剩余的人马，竟发现只剩一万多人了，看来一路上还有不少人觉得跟着陈显良没有前途，直接逃跑了，看到这个结果的陈显良不由仰天长叹，却也觉得前途渺茫，不知怎么办才好。
次日，一路马不停蹄的李士稷终于率大军赶到花县，而还停留在花县不知如何是好的陈显良在得知花县外突然出现近十万身份不明大军时，竟吓得要率亲兵偷偷逃跑，但在陈显良还没来得急逃跑时，李士稷却早已在得知这一万残兵败将是陈显良的人马后，马上出信使希望能与陈显良见面详谈一番。
当日下午，在被陈显良改成水陆大元帅府的原花县县衙内，李士稷走入后直接坐在大堂之上，微笑着看着坐在一边不知说些什么好的陈显良说道，陈大元帅不是领着数十万大军正在围攻广州城吗？怎的如今只领着一万人马驻扎在花县，莫不是陈大元帅早知本王要来，特在此迎接本王不成，陈显良听此心中大骂你李士稷装什么逼，不过嘴上却是苦笑道，越王说的不过是数月前的事了，十数日前，陈开和李文茂二人带着五六万人马出走肇庆，在下只得独自带着五万多人继续攻打广州城，谁知昨日有福建的两万清军赶到广州城下，在下一时不防，被清军大败，如今只得带着一万多残部在此残喘偷生了。
李士稷听此也是皱眉，如此说来，广州城内有多了两万清军，陈显良听此回道，正是，如今广州城内加上这两万援军，还有五万多人，越王要是仅凭这八万人马要打下广州城，怕不是件容易的事啊。陈显良说道这顿了一下，又继续说道，不过在下虽然如今只剩一万多人，但只要在给在下一段时间，也定能再次聚集五六万大军，到时在下与越王合作，共十万多大军，定能攻下这广州城。
李士稷听此盯着陈显良不说话，只把陈显良看得背后都开始冒冷汗，才突然笑道，要是本王与陈帅合作攻打这广州城，那又与谁为统帅，日后要是打下这广州城又谁说的算呢，陈显良听此沉默一番后说道，越王兵多将强，自然是越王说的算，李士稷听此哈哈大笑道，既然如此，陈帅的人马在攻城之时可能听本王号令？陈显良听此又是一番沉默，然后说道，越