过了五十多天，刘兰成简选军中矫健者一百五十人，前往北海抢掠。距城四十里，留下十人，让他们多多地割草，分为一百多堆；距城二十里，又留二十人，各执大旗；距城五六里，又留三十人，埋伏在险要之处；刘兰成自己带了十个人，夜，距城一里许埋伏；剩下八十人分别布置在方便之处，约定听到鼓声就抢掠人口和牲畜，迅速离去，并及时焚烧草堆。
第二天清晨，城中远望没有烟尘，都出城打柴放牧。中午时分，刘兰成率十人直抵城门，城上钲鼓之声大作；刘兰成伏兵四出，抄掠杂畜一千余头及打柴放牧的人而去。刘兰成度量着抢掠得手的人已经走远，徐徐步行而还。城中虽然出兵，但是害怕有伏兵，不敢急追；又看见前面有旌旗、烟火，于是不敢前进，撤退回城。既而城中知道刘兰成一共就没多少人，后悔没有穷追。
过了一个多月，刘兰成谋划攻取郡城，又以二十人直抵城门。城中人竞相出城追逐，走了不到十里，綦公顺率大军赶到。郡兵奔驰回城，綦公顺进兵包围，刘兰成出面招谕，城中人争相出降。刘兰成抚存老幼，礼遇郡官，见宋书佐，也对他礼遇如旧，并给他旅费，送他出境，内外平安。
当时，海陵贼帅臧君相听闻綦公顺占据北海，率其众五万人来争战；綦公顺兵少，闻之大惧。刘兰成为綦公顺献策说：“臧君相现在离我们还很远，必定不设防备，请将军倍道兼行，袭击其营。”綦公顺听从，亲自率领骁勇五千人，带着熟食，倍道突袭。将要抵达臧君相大营时，刘兰成与敢死士二十人前行，距敌营五十里，看见敌军出来抄掠的人挑着担子回营，刘兰成也与他的人挑着蔬菜、粮米、炊具，假装成抢掠部队士兵，跟着一起走，择空而偷听探察，得知他们的暗号口令及主将姓名；到了黄昏时分，与贼比肩而入，挑着担子巡视军营，知其虚实，得到他们新的暗号口令。于是在空地燃火煮饭，到了三更时分，忽然在主将幕前交刀乱下，杀一百余人，贼众惊扰；綦公顺兵也杀到，急攻，臧君相仅仅逃得一命，俘虏斩首数千人，缴获其物资、粮食、盔甲、武器，得胜而还。由此綦公顺党众大盛。后来，李密占据洛口，綦公顺率众归附，李密战败，綦公顺投降唐朝。