年间，船队便扩展至大小船舶十余艘，部属五千余众，为一时海上一霸。
仅数年，闻舟山为清军所破，鲁王部将血战定海，十八万军民为清军所屠，定海城内，仅不及千户用于收尸，那黄斌卿留在岛上的眷属儿女尽皆殉节而死，无一遗孑，时寨众皆感叹程寨主神断，当年决然出走方救得一众身家性命，正所谓福祸相依，乃时也、运也，命也、数也。
这程敬生平忠事黄斌卿，因鲁王戕害故主，又使爱女殇于定海，故对官家之事心如死灰，誓言既不事鞑虏亦不事大明，在香江自立，号香江义寨。
李成栋以清廷之名招抚不从，叛清后以大明之属诏之亦不从，程敬特立独行，横霸海上，遇到官民汉夷海船，不纳号费规银者，一概强征，稍有反抗，即劫夺之，财货没收，人则绑为肉票。
于是数年间香江义寨之名大盛，远近来投者众，而这个时节，岭南一带本就不靖，海疆更是官府鞭长莫及之处，官兵水师忙于内战，更是无力围剿，只能听任其渐渐做大。
然而数年之后，平南王尚可喜大军南下，围城十月，肇庚寅之劫，屠戮羊城军民七十万，这香江一带，既是海上交通要冲，亦为海盗聚萃之地，又近羊城澳门，官府自然是不会放过。
尚可喜平定南粤后，旋即发兵扫清地方。
不久之后，尚可喜与澳门互通粮饷，派遣朝廷水师与澳门佛郎机海船合攻香江水寨，程敬人丁虽众，仍不支官军和夷船合击，被迫放弃水寨远遁南洋。
程敬身长八尺相貌堂堂，平日处世公道，于部属心目中自有威仪，所带亲兵部属，皆常年亲自教导之属下，其近卫之士，自威虏侯府时就为亲信之人，故程敬末路之时，部属大部仍景从不弃，甘愿随之漂泊海外。
程敬部众在这南洋之地，虽人地两生环视皆敌，但当地土著并不强大，加上部属仍然能戮力同心，因此一直在这婆罗洲洋面以打劫为生。
后漂泊日久，为长远计，程敬率部属一路向南，至婆罗洲东南海外见一方大岛，见此处山势盘延千里，便在一处依山临水之地登陆，经与当地人探闻，此岛在苏禄之西南千里，苏禄人唤作遐来勿斯。
程敬略通文书，方知此岛即为《岛夷志略》之遐来勿也，（后世称之为西里伯斯，即苏拉威西）的地方，此方物产丰盛，四季如春，程敬欲在此地安顿，逐率部属上岸，四处打探此地山形水势。
又学当地土人，煮芋薯为食，酿椰浆为酒，派部属出海交易，重操盗商之业，再临海建木栅水寨，伐林拓地从事稼禾，终于安顿下来。
数年间，程敬复招土著与之交易，贩运人口，势力再盛，然天不假年寿，部属刚刚安顿，程敬便染时疾，卧床不起。
久病之后，程敬知时日无多，于是托付寨中大事于二女，此时两女已经长大，多年驰骋海上，且深得其父枪棒武艺真传，平日也帮协寨中事务，颇得众人之望。
程敬弥留之际，招二女及部众于堂前，当众宣长女黄香姑为大统领，总领山寨事。
旋即又对众人说，鞑清乃国仇，大明是家恨，程某忠事唐王黄大人，最终落得背井离乡无所依托之境，故吾等子孙后代，绝不事人主，无论大明大清皆然，又瞠目大呼，大丈夫当独行于世，傲然天地之间，方为人子！言毕而终，临终尚不瞑目。
部属众人闻老千总遗言，无不感同身受，皆痛哭于堂前。感慨之余，众人当即拥戴黄香姑于堂前接任寨主。
未己，众部属佐将，以程家两女婚配之事纷争大起，或贪其权势财物，或觊觎其美貌，为了平息众人的纷扰之心，不欲姊妹婚事引发寨内不和，两姊妹一日大集寨众，当众宣布此生终身不再婚配，只一心主持寨务。
众人中有土著女眷者，当众高呼两姊妹为“圣女”，谓之为“大圣女”和“二圣女”，并顶礼膜拜，渐次随之者众，各旗把总佐将见势亦随之叩拜“圣女”，至此两女婚配之扰方才平息。