黃維兵團本是增援部隊，反而被圍，大為恐慌，向蔣介石呼救求援。
11月28日，蔣介石令杜聿明兵團和李延年，劉汝明兩兵團實施南北對攻，以求解黃維兵團之圍。
敵軍為解救黃維兵團，戰鬥力較強的李延年兵團3 個軍於12月2 日開始試探性進攻。3 日起，開始全線進攻。
我軍堅決抗擊敵軍前進，雖然敵眾我寡，但由於我軍拼死阻擊，一週之內，敵軍進展緩慢，傷亡慘重。
黃維兵團究竟是蔣軍中具有較強戰鬥力的部隊，被我軍四面包圍後，很快調整了部署，穩住了陣腳。包圍圈裡的敵人，一面利用其空中優勢和強大的炮火對我軍實施襲擾，一面不斷強化防禦工事，構築大量的土木工事和永備工事，在短短的時間內形成了比較強固的防禦體系。
11月26日起，我軍進一步壓縮對黃維兵團的包圍圈，把敵人壓縮到了在以宿縣西南的雙堆集為中心的橫寬不足15華里的狹小地區以內。
27日，敵人集中4 個主力師，在飛機、坦克和大炮的掩護下，傾全力企圖從雙堆集東南方向突圍。敵人可以抽出的機動兵力全都用上了。我軍堅決痛擊，粉碎了他們的突圍計劃。
敵人突圍不成，再次調整部署、進一步加強工事，準備死守待援。
12月6 日下午4 時30分，我軍東、南、西3 個集團，同時向被圍之敵發起總攻。我軍依靠緊密的偵察，利用縱橫交錯的交通壕、散兵坑，充分發揮步炮協同的威力，對敵人展開進攻。雖然敵人依賴大量的地堡群、堅固工事和各種兵器組成的嚴密火網阻擋我軍向前發展，並不斷在坦克、火炮支援下反撲，仍擋不住我軍猛烈的進攻。敵人的陣地一塊接一塊地被瓦解。敵人控制的地盤正在縮小。
一週以後，黃維兵團已被壓縮在甚小的包圍圈裡。 12 月12日，劉伯承、陳毅兩司令員發出了《促黃維立刻投降書》。設在邯鄲的人民廣播電臺，進行反覆廣播，極大地瓦解了敵人軍心。
黃維拒絕投降。
12月15日17時整，我備集團部隊發起最後攻擊。訊號彈劃破天空，炮聲震撼大地。我南集團中野六縱隊銳不可擋，連克敵陣，迅速突破敵人雙堆集核心工事。我東西集團穿過敵人的火網，越過敵人的塹壕、地堡群組成的陣地和用汽車築成的防線，向南集團會合。3 股鐵流很快會合在一起。敵人的指揮中樞被摧毀。無數蓬頭垢面、衣衫襤樓的敵人從冒濃煙的地堡裡爬出來，向我軍舉手投降。有一股敵人企圖向西面突圍，被堵住全殲。我軍戰至15日夜11時左右，圍殲戰基本結束。敵兵團司令黃維、副司令兼八十五軍軍長吳紹周被活捉。敵兵團副司令胡璉隻身逃脫。至此，國民黨軍隊主力兵團之一的黃維兵團12萬人，除少數漏網外，全被我軍殲滅。淮海戰役第二階段勝利結束。
淮海戰役第二階段，自11月23日至12月15日結束。在這一階段中，中野和華野緊密配合，協同作戰，完成了全殲黃維兵團的任務，並將杜聿明集團的3 個兵團包圍在永城東北青龍集、陳官莊地區，殲滅了突圍的孫元良兵團。
12月18日，黨中央向參加戰役的全體指戰員發出賀電，指出：“你們繼淮海戰役第一階段的偉大勝利之後，又取得了第二階段的偉大勝利。自11月23日至12月17日止，你們解放了戰略要地徐州，全部殲滅了國民黨最精銳兵團之一的黃維第十二兵團4 個軍10個師及1 個快速縱隊，生俘該兵團司令黃維、吳紹周，爭取了黃維兵團一一○師廖運周部起義，包圍了由徐州向永城方向逃竄的杜聿明部邱清泉、李彌、孫元良諸兵團，並殲滅該敵三分之一以上，給予從蚌埠向北增援的李延年、劉汝明請兵團以嚴重打擊，迫使其向淮河以南迴竄，從而使杜聿明完全孤立於永城東北地區，糧盡援絕，坐以待斃；同時，又解放了淮陰、淮安，攻克靈壁，使淮河以北全境除杜聿明部所據永城東北地區之小塊據點以外，均獲解放，對於今後的作戰極為有利。凡此偉大成績，皆我英勇將士努力奮戰，前後方黨政軍民一致協作的結果，特向你們致以熱烈的慶賀與慰問之忱。尚望團結全體軍民，繼續努力，為全部殲滅當面敵軍而戰。”
黃維兵團的被殲滅，在南京國民黨統治集團中，引起了極大的震動，失敗主義情緒籠罩整個國民黨統治集團。李宗仁後來說：“民國37年（1943年）12月中旬，徐蚌會戰己近尾聲，中共全盤勝利勢成定局，京、滬震動，
人心惶惶，陰沉氣氛瀰漫全國。至此，蔣先生固然