戰至午前九時，明軍終於用木槓撞破一扇城門。信古所部明兵多半不善火器，城門開啟之時，本應以鳥銃掩護，可能慌亂之間火藥搗得不是很結實，銃口放出的竟是黑煙。明兵一陣混亂，義弘父子趁機領兵殺出城外，信古所部不敵敗走。國器見大部分倭兵出城追殺信古所部，城內空虛，引兵再來攻城。島津忠長趕緊帶人防守，但手下兵馬太少，死守肯定不敵，於是他下令殺出城外與明軍展開肉搏。很快，忠長所部便被圍困數重。危機之時，寺山久兼命火槍手射擊國器所部後隊，加以襲擾。明軍果然中計，後隊被襲受驚大亂，前隊不明情況，回顧後隊。忠長所部趁機死戰，明軍前隊慌亂間節節敗退，忠長則領兵於後追擊。藍芳威見國器所部敗走，倭軍正在後面追趕，於是想引兵斷敵後路，誰知又有一批倭軍趕來增援，芳威不敵敗走。
都司馬呈文、遊擊郝三聘見數支部隊戰敗，撒腿便跑。一元見大勢已去，只得下令撤退，明軍隨之潰散，倭軍於後一陣掩殺，明兵死傷無數。信古所部三千人馬僅剩五六十，芳威所部損失六七百，其餘各部也死傷無數。國器敗至望津寨，謂一元道：“吾兵可復守望津，否則前功盡矣”，一元道：“此地孤立，倭