在这样的大环境下，倭寇、海盗以及内陆的反贼，乘势而起，越发使得民不聊生，国将不国。
那一年，有一伙势力强大的倭寇攻上泗洲山，岛上官兵与之血战，最后敌不住，损失惨重，被迫撤离。
从此，泗洲山就再也没有官兵驻守。
不过后来传说，那伙倭寇在霸占了泗洲山大半年以后，被来到岛上的“四海神龙”卢隐杀了十几个大小头目，赶出泗洲山，此岛就成了无人岛。
总之，由于大明国力日渐衰落，而今舟山群岛除了舟山本岛之外，驻有卫所官兵的岛屿不超过十个，且多数都在舟山本岛周边，比如说朱家尖岛、岱山岛、金塘岛、横岛、桃花岛，最远就是衢山岛。
泗洲山远离舟山本岛，官兵鞭长莫及。
王默、风昆吾、叶尊、叶奴四人上了东海龙船以后，要不了多久，便离开了大黄龙岛，从小黄龙岛南面水域过去。
小半个时辰后，先是从一座小岛东面过去，很快就到了叶尊所说的大悲山，也就是泗洲山。