主力一部回師肅清蘇北、蘇中各城市偽軍，創造連成一片的蘇北、蘇中大塊根據地，為爾後長期作戰準備戰場。
當日，華中局饒漱石等回電，指示黃克誠“三師不宜調返蘇北”。
9月5日，劉少奇從中央電示華中局：頑軍進佔大城市與交通要道，我欲阻止頑軍前進已很困難或不可能，而桂頑進佔城市與要道後，暫時亦不會向我根據地深入進攻我軍。因此，我欲求殲滅頑軍一路，暫時恐無機會，以此配合談判更不可能，在此情況下，請你們考慮黃、譚意見，將三師部隊抽調（或再加二師之一部），向東肅清蘇北敵偽據點，造成將來作戰的有利條件，似乎是必要的，否則主力部隊將陷於無事可做的地位，以前黃克誠主張三師部隊首先肅清蘇北敵偽後再西調的意見似乎也是對的。
這時，毛澤東代表中共中央赴重慶與國民黨談判，劉少奇留守中央，因而劉少奇的意見自然是代表了中央的意見。
未幾，黃克誠率三師主力迅速開拔，晝夜兼程，回師蘇北。
其實，早在西進津浦路途中，黃克誠便從長遠計較，考慮肅清蘇北殘敵的需要，將師參謀長洪學智先行派返蘇北，相機組織準備攻取兩淮的作戰。
蘇北。新四軍第三師駐地。
黃克誠彙集各方蒐羅來的情報，分析敵情，準備發起兩淮戰役。
淮陰、淮安，蘇北歷史名城，還是蘇北政治、經濟、文化中心，南北水陸交通的樞紐。
抗日戰爭爆發後，國民黨江蘇省政府一度遷移至淮陰。日本侵略軍後來又佔領這兩座縣城，作為其屯兵要地，用以分割我蘇北、蘇中、淮南、淮北各根據地之間的聯絡。兩城經過日軍幾年的苦心經營，工事完善堅固。日寇投降後，長期盤踞蘇北的偽軍潘幹臣、吳漱泉接受國民黨政府加委，分別被改編成國民黨第六軍第二十八師和淮安獨立旅，他們會同偽保安團、常備旅等地方武裝，據守淮陰、淮安兩城。
淮陰、淮安兩城相距僅十七公里，面對運河，水深城固。其中淮陰城高八米，淮安城高達十二米，兩城之上有日軍構築的堅固工事，在城四角和城門上則築有炮樓，城內主要街道路口也修築了地堡。兩城四周皆在運河、護城河基礎之上，增設鹿砦、鐵絲網等，在城外還附設了衛星據點，由此兩城皆構成了以城牆為骨幹的嚴密防禦體系。
黃克誠認真分析了敵我態勢後，決定首先集中兵力，殲滅淮陰之敵，爾後移兵淮安，予以各個擊破。
根據地群眾聽到新四軍要打兩淮的訊息，歡呼雀躍。他們自願組織起來，踴躍支前。各地方都組織了擔架隊、“反攻動員委員會”、運輸隊、工程隊等，光是擔架隊員就達數萬人之多。聽說部隊翻越城壕有困難，上萬民工立刻雲集一處，在三天之內就挖通了三十里長的水道，將城壕裡的水全部放完；為戰時及時搶救傷病員，地方醫院晝夜加班，增設了一千餘張病床；廣大婦女晝夜趕做軍鞋，慰問子弟兵；文藝工作者也爭先恐後，抓緊時間趕排節目，到攻城部隊慰問演出……
隨著攻城時間的臨近，民兵、老百姓從四面八方奔向兩淮，趕牛車的，拉土炮的，推小車的，匯成了人民戰爭的海洋。
早在8月底，按照黃克誠的指示，洪學智和十旅旅長兼政委劉震率十旅以及淮海軍分割槽新二團、師特務團已經逼近了淮陰城下。同時，蘇北的地方見《黃克誠回憶錄》（上），解放軍出版社，第316頁。
武裝射陽獨立團，淮陰、漣水警衛團，也從東、北兩面配合，進逼淮陰。
8月27日至31日，新四軍及地方武裝首先掃清了淮陰城外圍之敵，進而向守敵發出通牒，敦促其繳械投降，但守敵偽軍二十八師潘幹臣部拒不投降，雙方暫時處於相持狀態。
潘幹臣自恃已被改編為國民黨軍隊，氣焰極為囂張，還求援到兩架國民黨飛機，在淮陰城上空飛來飛去，以示其威。
黃克誠決定先拔掉這顆釘子，挫敵銳氣。
9月6日下午。淮陰縣城。
經過一上午時緊時鬆的炮火之後，守敵開始有些懈怠。
這正中新四軍攻城主力、十旅旅長劉震的下懷。原來，自圍城以來，淮陰守敵最害怕新四軍夜間攻城，因而每當黃昏、入夜、黎明時分，他們就嚴加戒備，時刻警惕新四軍夜襲，敵人還專門在一些地段安置了照明燈。劉震知道了這種情況後，果斷決定：出敵不意，將總攻時間定在下午兩點，整個上午利用炮火麻痺敵人，待其疲憊鬆懈，再發動總攻。
劉震從望遠鏡裡看到敵人呈現松