过了五十多天,刘兰成简选军中矫健者一百五十人,前往北海抢掠。距城四十里,留下十人,让他们多多地割草,分为一百多堆;距城二十里,又留二十人,各执大旗;距城五六里,又留三十人,埋伏在险要之处;刘兰成自己带了十个人,夜,距城一里许埋伏;剩下八十人分别布置在方便之处,约定听到鼓声就抢掠人口和牲畜,迅速离去,并及时焚烧草堆。
第二天清晨,城中远望没有烟尘,都出城打柴放牧。中午时分,刘兰成率十人直抵城门,城上钲鼓之声大作;刘兰成伏兵四出,抄掠杂畜一千余头及打柴放牧的人而去。刘兰成度量着抢掠得手的人已经走远,徐徐步行而还。城中虽然出兵,但是害怕有伏兵,不敢急追;又看见前面有旌旗、烟火,于是不敢前进,撤退回城。既而城中知道刘兰成一共就没多少人,后悔没有穷追。
过了一个多月,刘兰成谋划攻取郡城,又以二十人直抵城门。城中人竞相出城追逐,走了不到十里,綦公顺率大军赶到。郡兵奔驰回城,綦公顺进兵包围,刘兰成出面招谕,城中人争相出降。刘兰成抚存老幼,礼遇郡官,见宋书佐,也对他礼遇如旧,并给他旅费,送他出境,内外平安。
当时,海陵贼帅臧君相听闻綦公顺占据北海,率其众五万人来争战;綦公顺兵少,闻之大惧。刘兰成为綦公顺献策说:“臧君相现在离我们还很远,必定不设防备,请将军倍道兼行,袭击其营。”綦公顺听从,亲自率领骁勇五千人,带着熟食,倍道突袭。将要抵达臧君相大营时,刘兰成与敢死士二十人前行,距敌营五十里,看见敌军出来抄掠的人挑着担子回营,刘兰成也与他的人挑着蔬菜、粮米、炊具,假装成抢掠部队士兵,跟着一起走,择空而偷听探察,得知他们的暗号口令及主将姓名;到了黄昏时分,与贼比肩而入,挑着担子巡视军营,知其虚实,得到他们新的暗号口令。于是在空地燃火煮饭,到了三更时分,忽然在主将幕前交刀乱下,杀一百余人,贼众惊扰;綦公顺兵也杀到,急攻,臧君相仅仅逃得一命,俘虏斩首数千人,缴获其物资、粮食、盔甲、武器,得胜而还。由此綦公顺党众大盛。后来,李密占据洛口,綦公顺率众归附,李密战败,綦公顺投降唐朝。