海商真是把何忠給恨透了。
果然如王覺所料，或者說就是在王家的推波助瀾之下，海商們的內訌出現了。
先是葉家欠了吳家的錢，具體欠了多少不清楚，據說得有好幾萬兩，然後葉家一時還不出來，吳家便有些惱怒，說了些狠話。
然後葉家就以吳家去年勾連倭寇搶掠之事相威脅，吳家就真的怒了，糾合了數百人，突然暴起，攻打葉家老家溫州府瑞安縣橫塘。
橫塘就在飛雲江畔，入海極為便利，這也是葉家能夠從小小一個漁村發展成為沿海大海商的根本原因。但是也正因為入海十分便利，倭寇有了吳家領路後，便輕鬆地登陸，殺向葉家所在的橫塘。
倭寇接連攻破了兩座塢堡，大肆掠取財物與女子。
雖然吳家只是攻打橫塘的葉家，沒有敢攻打縣城，但給整個浙江造成了極大的震動——吳家白日攻打葉家，竟然官府都沒人敢救，或者沒人願意救，竟然坐視葉家被攻破，死傷達百人。
後來還是當地衛所兵姍姍來遲，這才使得葉家沒有被滅門。
何忠知道後，大發雷霆，命沿海諸軍搜捕吳家案犯，但此時吳家已經逃往外海，與盤踞海島的倭寇合流。
浙江的海商們便以此為理由，集合起來上書給皇帝，聲稱是何忠逼迫太甚、抽稅太重，這才使得海商們為了利益產生爭鬥。
這件事情，在京師也引發了大討論，對於海商們以往與倭寇勾連的罪行，是否要輕輕放過，還是嚴查以往行跡，予以嚴懲。