与此同时，淮河北岸小蚌埠战斗也很激烈。2月8日，日军先以飞机、大炮猛轰北岸守军113师的阵地，将河岸防御工事全部摧毁。随后千余日军在炮火掩护下，乘民船和汽艇实施强渡。守军顽强抵抗，两次击退渡河日军。当晚23时，日军又进行夜间强渡，一度登上北岸，攻占了小蚌埠镇。
第113师师长周光烈令第337旅反击，激战至9日1时，恢复了阵地。10日拂晓，日军再次发动大规模强渡进攻，经几小时激战，上午10时，渡河日军攻占了小蚌埠镇。师长周光烈指挥部队向日军多次冲击，反复拼杀。第337旅窦光殿旅长命令：“不到战死，没有我的命令，决不准后退！”
该旅官兵抱定必死的决心，同日军展开几次惨烈的肉搏，消灭日军五百多人。张儒彬团誓死不退，全团高唱《义勇军进行曲》冲进敌阵，与日军展开肉搏。张儒彬团长左腿负重伤，仍大声鼓励战士们：“弟兄们，在津浦南段牺牲，虽死犹荣，一息尚存，就要决战到底！”
双方反复争夺多次，小蚌埠终于被日军占领。战至傍晚，枪声停息了，全团仅有一人生还！12日，日军占领了临淮关、蚌埠等地。
第五战区司令长官李宗仁闻讯，不禁为之一惊。他赶紧带着参谋长徐祖诒来到前沿阵地，登上一处高地，俯视着淮河。只见宽阔的河面上，湍急的河水滚滚东流。
李宗仁举起望远镜，望着远处的原野村庄、战火硝烟，轻声说：“淮河是徐州南面最后一道屏障了，不能丢啊！”
徐祖诒说：“德