日军三路进兵，嘉义、凤山(高雄)相继陷落。义军纵然粮弹两缺，陷入绝境，仍决心抵抗到底。嘉义失守之后，义军退守台南城北34里的曾文溪，溪南岸有一条高丈余的长堤，而北岸则是不便步行的沙地，地势有利防守。刘永福决定以此为保卫台南的最后一道防线，调集黑旗军主力和各地义军约4000人前往守卫。从彰化南下的徐骧在卑南招募了700高山族勇士，也加入到曾文溪防线。10月19日凌晨，伏见宫贞爱带领的混成第四旅团1.2万大军抵达曾文溪。此时黑旗军已经严密设防，在南岸修筑了防御工事和掩体，在北岸则埋下了地雷。日军见正面攻击不免吃亏便重施故伎，涉渡曾文溪上游，在凌晨5点迂回到守军右翼，黑旗军和义军奋起迎战。眼见人数占绝对优势的日军步兵在猛烈炮火掩护下推进，徐骧感慨：“如果我们还有子弹一千发，便可以支撑一天一夜，可是到哪里去找子弹呢!”他身先士卒，带领高山族勇士组成的“先锋营”奋勇冲杀。不幸头部中弹倒地，这位从北部的新竹一直转战到台南的抗日志士仍挣扎着站起来高呼“丈夫为国死，可无憾”，随即壮烈牺牲，时年37岁。
徐骧牺牲之后，寡不敌众的黑旗军力不能支，曾文溪防线遂被突破。此时台南城粮弹皆蹙，已经陷于混乱之中，刘永福当夜乘英国轮船被迫内渡厦门。10月21日，台南沦陷。数天后，在彰化战役中中弹的日军近卫师团长北白川宫能久亲王也伤重身亡。在历时5个月的战斗中，装备简陋、缺乏训练的台湾义军凭借满腔爱国热情，宁死不屈顽强抵抗，使得日军先后投入了5万大军，2.6万杂役人员和海军的联合舰队，付出了伤亡3万多人的巨大代价，而日军在此前的甲午战争中的伤亡只不过1.6万人。