1938年3月20日，日軍第10師瀨谷支隊南進連陷臨城(今薛城)、棗莊、韓莊後，不顧第5師和第10師長瀨支隊在其兩側進攻受阻，孤軍深入，向台兒莊突進，企圖一舉攻佔徐州。李宗仁以第2集團軍總司令孫連仲率部固守台兒莊，第20軍團軍團長湯恩伯率部讓開津浦鐵路正面，轉入蘭陵及其西北雲谷山區，誘敵深入，待機破敵。3月23日，日軍由棗莊南下，在台兒莊北側的康莊、泥溝地區與守軍警戒部隊接戰。24日起，日軍反覆向台兒莊猛攻，多次攻入莊內。守軍第2集團軍頑強抗擊，與日軍展開激烈的爭奪戰。第五戰區以第20軍團主力向台兒莊機動，拊敵側背，與第2集團軍形成內外夾擊之勢，並令第3集團軍進至臨城、棗莊以北，斷敵後路。日軍為解台兒莊正面之危，速以第5師阪本支隊(相當於團)從臨沂馳援，進至蘭陵北面的秋湖地區，即被第20軍團第52軍卷擊包圍。4月3日，第五戰區發起全線反攻，激戰四天，殲滅日軍瀨谷支隊大部、阪本支隊一部共萬餘人。其餘日軍殘部於7日向嶧城、棗莊撤退。
此次戰役，歷經月餘，中國投入兵力20多個師計12萬人，其中台兒莊方面6萬人；日軍投入2個師8個團約3萬人，其中台兒莊方向7個團。中國軍隊擊敗日軍第5、第10兩個精銳師團，以損失近2萬人為代價，取得殲敵萬餘人，俘虜719人，繳獲大炮31門，裝甲汽車11輛，大小戰車8輛，輕重機槍1000餘挺，步槍10000餘支。而日軍日軍損失坦克30餘輛，火炮70餘門、坦克40餘輛、機槍數百挺、步槍萬餘枝。沉重打擊了日本侵略者的凶焰，極大地鼓舞了全國軍民堅持抗戰的必勝信心，為抗日戰爭做出了巨大貢獻——