此時，守衛臺兒莊的國軍部隊有孫連仲的第二集團軍，還有齊子波和湯恩伯的第二十軍團迂迴策應。
第二十軍團是抗戰爆發後於1937年9月新組建的一個軍團，軍團長齊子波、副手湯恩伯，下轄13、52、85三個軍及一個騎兵獨立團。該軍團是蔣介石的嫡系，也是何峰最早組建的一支老部隊，裝備精良。
當臺兒莊一線國軍將士奮力血戰，將敵人阻於運河北岸，為聚殲頑敵創造有利條件的時候，軍團長齊子波和副手湯恩伯因暗受蔣介石密令，為儲存實力坐視第二集團軍等雜牌部隊與日軍火拚，所以該部行動較緩。這點李宗仁清楚，何峰更是也心知肚明，只是不好得罪老蔣，沒到關鍵時刻也沒有逼他們。
臺兒莊戰役自3月23日開始，至28日，日軍在臺兒莊一線作戰的部隊不斷增兵，已有步、炮、裝甲、騎、工兵等萬餘人，其實力遠遠超過守軍。
臺兒莊戰況，每天都在牽動著蔣介石的心。日軍進攻臺兒莊的意志和進攻狀況，使蔣介石對臺兒莊一線的防禦十分擔心。29日，蔣介石給何峰和李宗仁發去電令：“臺兒莊屏障徐、海，關係到第二期作戰至巨，故以第二集團軍全力保守。即有一兵一卒，亦須本犧牲精神，努力死拼。如果失守，不特全體官兵應加重懲，即何峰總督戰長官、李長官、白副參謀長、林次長亦有處分。”
同日，李宗仁再次電令齊子波和湯恩伯：“著貴軍團長應以一部於30日對嶧縣佯攻，以牽制該敵南下，另以一部速向泥溝、北洛前進，協同孫軍團解決臺兒莊方面之敵，並極力破壞鐵路、公路、遮斷嶧縣與臺兒莊敵之聯絡。若再不聽從命令，致誤戎機，當以軍法嚴辦。”
但齊子波和湯恩伯卻沒有按照長官部的部署，迅速南下夾擊敵人，而是仍舊在抱犢崗山區逡巡不前。李宗仁三令五申，要其南下，齊子波和湯恩伯卻置之不理。
“何總督戰長官，這仗沒法打了！” 李宗仁氣憤地道。
“德鄰勿躁！我派馬上武元甲少將去第二十軍團，看誰敢違命，。” 何峰見齊子波和湯恩伯太不象話了，命武元甲少將傳自己將令。
武元甲少將趕到第二十軍團，他與齊子波是老熟人，也不客套馬上向齊子波和湯恩伯傳達了李宗仁的軍令，便將何峰的手令遞給二人，齊子波看後沒有做聲，亳無表情地遞給湯恩伯，湯恩伯接過一看；何峰的手令只有八個字，誰敢做韓復榘第二。
何峰派武元甲親臨第二十軍團，齊子波當然不敢違抗何峰將令，湯恩伯也知軍法難違，兩人此時才被迫督師南下。
4月3日，各兵團按作戰命令發動總攻。蔣介石命令第五戰區全體參戰部隊，“限令4月10日前擊退臺兒莊當面之敵，首先擊退敵人之部隊者，賞洋10萬元，出力將士從優敘獎，如限期內不能擊退該敵，師長以上各級指揮官一律以軍法從事。”
接著何峰和李宗仁司令長官也重申此令，電謂：“委座嚴令諒已奉悉，我們亦對首先立功部隊各加賞10萬元，望各努力，勿幹法紀。”
同時，程潛也對第一戰區所屬在臺兒莊參戰部隊發出命令，宣佈獎賞。
臺兒莊血戰已經進行了10多天，堅持臺兒莊正面抗擊日軍的國民黨“雜牌軍”鬥志頑強，表現出驚人的戰鬥力，連一向排擠“雜牌軍”的蔣介石對之讚賞不已，這點也大出敵板垣徵四郎師團長和第十師團師團長礬谷廉介意料之外，倆人自認是中國通，原來想利用中國五戰區部隊番號繁雜，各不相統，進攻不力推諉，互不相援。僅以6萬之師大膽纏住五戰區近30萬主力部隊，希望各個擊破，為大日本帝國建不世奇功。不想就是武器裝備極差的國民黨“雜牌軍”讓日軍陷入苦戰。騎虎難下的板垣徵四郎師團長和第十師團師團長礬谷廉介又雙雙建議；日本大本營以第五師團和第十師團為中心，匯殲合圍中國五戰區近30萬主力部隊。
但中國軍隊搶先一步動手了，4月5日，31師向莊內日軍瀨谷支隊大舉反攻，日軍力戰不支，當夜逃離戰場。4月7日，坂本支隊仍在莊內頑抗，在中國軍隊夾擊下，已傷亡慘重，乃於當夜燒燬彈藥，突出臺兒莊，向北潰逃。
4月6日而第二十軍團運動到敵側背，發起強攻，身在前線的敵板垣徵四郎才感到大事不妙。率第五師團和第十師團交替掩護後撤。
臺兒莊戰役從臨沂阻擊戰算起，前後近一個月，中國守軍以傷亡近4萬人的代價，擊潰了日軍精銳部隊第五、第十師團對臺兒莊的進攻，殲敵2萬多人，取得了抗戰以來空前的大捷。