為福建和廣東一帶的移民，由此該地習武之風盛行，民風強悍，鄉民聽說日軍要南侵後，紛紛自行組織義軍起來保衛自己的家園。其中，以苗栗生員吳湯興、塾師徐驤等人為突出代表，在臺北陷落後，各路義軍紛紛在新竹會合，加上前臺灣鎮總兵吳光亮、棟軍防軍營傅德升、棟右營謝天德等清軍，新竹城內一時間旌旗招展，人馬遍野，城內的抗日力量接近萬人，頗為可觀。
吳湯興，字紹文，原籍廣東，其父早年移民臺灣。吳為家中長子，為人豪俠仗義，在鄉里頗有名氣。吳湯興自幼就聰明好學，很早就中了秀才，但因家中貧困，只得一邊耕讀，一邊教書，生活也算平靜。甲午戰爭爆發後，吳湯興見清軍節節敗退，日本又對臺灣懷覬覦之心，料定和日寇必有一戰，心中激憤，後來揮筆寫到：
“書生殺敵渾無事，願與倭兒戰一番！”
由於吳湯興和丘逢甲是遠親，後來丘逢甲在臺北組織抗敵的時候，吳湯興也受命在當地募集義軍。當他聽說臺北被日軍佔領，於是便率隊北上新竹城，正好和各路義軍及清軍諸營不期而會。由於吳湯興在當地小有名氣，後來就被公推為抗日義軍總統領。
六月十一日，吳湯興集合各軍，召開祭旗誓師大會。當天，各軍整佇列營，在場地的中央，特搭建了一個三丈的高架，高架上設—面大鼓，吳湯興命擂鼓三通後，萬人齊呼“抗擊倭寇”！聲勢直上雲霄。隨後，吳湯興和其他統領歃血為盟，立約法數章，有事以鼓為號，各莊聞鼓音後立刻齊集公所，守望相助。大家約定齊心協力，打擊日寇，保衛家園。由於這些義軍大都來自新竹、苗栗二縣，故常稱之為新苗軍。
新苗軍的行動大大鼓舞了臺灣民眾的抗敵熱情。臺灣知府黎景嵩聽說新苗軍沿途截擊日軍，很受鼓舞，便也召集臺灣、彰化、雲林、苗栗四縣的官紳一起商議，大家籌款招募兵勇，後組成一軍，號稱“新楚軍”，副將楊載雲（原籍湖北）被任命為統領。新楚軍的營制和營規仿自湘軍，雖然是新募兵勇，但也初具規模。
黎景嵩對新苗軍也很支援，併釋出告示為之籌集糧餉竭力維持。這樣，新苗軍與新楚軍便開始聯合行動，準備共同打擊南下的日軍。
再說日軍這邊。日軍於六月二十二日攻佔了新竹城後，但發現陷入了義軍的包圍之中，並遭到義軍的數次反攻，雙方在此僵持了近一個月。直到後來日軍完成了對臺北一帶的大掃蕩後，大部隊開始進駐新竹，以準備更大規模的南侵。
得知日軍即將南下後，劉永福派吳彭年率七百黑旗軍北上支援新苗軍與新楚軍，吳彭年到達彰化後，當地民眾歡欣鼓舞，紛紛出城迎接。吳彭年本是浙江餘姚人，後定居廣東順德，其人頗具文韜武略，膽識過人，有湘軍當年的儒將之風，吳本人也一直為劉永福所器重。
吳彭年的到來，對支援新苗軍與新楚軍共同作戰起到了很大的鼓舞作用。不過，這次北上的黑旗軍人數甚少，只有七百人，而且其副統領李維義和吳彭年意見不和，擅自拉走一半人去做了新楚軍的副統領，很大程度上也削弱了黑旗軍的戰鬥力。
八月十日，日軍開始向頭份發動進攻。頭份一地，乃是新苗軍和新楚軍的大本營，當時有五千人左右。此地有一山名叫筆尖山，山勢險峻，宜守不宜攻，新苗軍和新楚軍就駐在此地。此役日軍藉助開花大炮轟擊，並用騎兵衝擊抗日聯軍的大營，結果新楚軍的副統領李維義的大營先被攻破，李維義心裡慌張，竟帶隊首先逃脫，結果各軍隨著後退，最後一退而不可收拾。
這時，只有楊載雲率部奮死抵抗，雖然當時他已經被撤去新楚軍的統領之職，但仍舊不避槍彈，誓死搏鬥，與陣地共存亡，最後身中數彈，英勇犧牲。
後來有詩讚曰：“公本血性奇男子，丹心捧日才不群。初寄專閫拜登壇，詎料金牌召孔殷？公憤奮臂衝前故，身冒炮火甘自焚。嗚呼！新楚軍，統將準？藍翎遊擊楊載雲。”
楊載雲戰死後，黎景嵩因無力支付餉銀，只得將新楚軍和新苗軍都交給黑旗軍的吳彭年來統領。但吳彭年當時從臺南所帶兩月之餉早已用完，兵荒馬亂中，兵餉難以籌集，幸好得到當地民眾的熱情支援，“城內外人民皆蒸飯到營，供給三餐”，各軍才得以維持。
日軍攻下苗栗之後，開始進攻臺灣府城彰化的必經之地大甲溪。日軍偵察前騎去探路的時候，遭到吳彭年和徐驤所部的伏擊，死傷五十餘人，狼狽逃回。次日，日軍再次猛攻大甲溪。正當黑旗軍和新苗軍和日軍正面交鋒並打退日軍進攻的時候，忽聞後路李維義大營槍聲大作，一片混亂。