部過路東進皖東北。我感到劉少奇同志電報與中央軍委前電不盡一致，為弄清指揮關係以確定部隊行動，我打電報請示毛澤東同志。毛澤東同志回電指示我服從中原局胡服（即劉少奇）指揮。接毛澤東同志電報後，我立即將三四四旅及所屬六八八、六八九兩個主力團留給彭雪楓部（後編為新四軍第四師第十旅），自率三四四旅之六八七團、新二旅之五團、六團和教導營東進皖東北。
在我到達之前，一九三九年四月成立了蘇皖區黨委，金明同志任書記。當時皖東北地區已有好幾支我黨領導的抗日武裝部隊。張愛萍同志在這裡組建了新四軍第六支隊的第四總隊，張愛萍任總隊長兼政委，並以八路軍、新四軍駐皖東北辦事處主任名義，領導當地的抗日救亡活動。一九三八年七月，八路軍一一五師第六八五團主力改編為蘇魯豫支隊，一九三九年春，山東縱隊挺進支隊編為蘇魯豫支隊四大隊。一九四○年五月，蘇魯豫支隊在彭明治、吳法憲（後為朱滌新）率領下，由蘇魯豫邊南下，於一九四○年六月初到達蘇皖邊區，該支隊之胡（炳雲）、田（文揚）大隊已先期挺進皖東北。還有一支部隊是早先開闢邳、睢、銅遊擊根據地的山東八路軍隴海南進支隊（後改編為蘇皖縱隊隴海支隊），負責人是鍾輝、韋國清、孫象涵、李浩然等同志。蘇皖縱隊司令員兼政委江華同志也從山東帶了一批幹部和部隊到達皖東北，劉瑞龍同志也到達皖東北參加領導工作。此外，淮海區還有一部分與黨失去聯絡的同志，聯絡知識青年和愛國人士，組織了一批武裝，展開抗日救亡活動。劉少奇同志曾於一九四○年六月六日向中央報告：“我在皖東北之部隊，系統指揮不統一，內部外部情況均複雜，請中央及朱、彭令黃克誠同志速來蘇皖地區統一指揮，任軍區司令。如能多帶兵力來為更好，否則不能完成任務。”
我於一九四○年八月七日率部到達皖東北後，於八月十日到達盱眙縣中原局駐地，與劉少奇同志會面。遵照中央指示，研究蘇皖地區我軍各部隊的統一編制、統一指揮問題。決定將淮河以北、津浦路以東所有我黨領導的武裝部隊，統一整編為八路軍第五縱隊，由我任司令員兼政委。第五縱隊轄三個支隊，每個支隊轄三個大隊（團），共二萬餘人。第一支隊由蘇魯豫支隊編成，支隊司令員彭明治，政委朱滌新，政治部主任吳法憲。第二支隊由新二旅之五團、六團和三四四旅之六八七團編成，支隊司令員田守堯，政委吳信泉，副司令員常玉清，政治部主任李雪三。第三支隊由八路軍隴海南進支隊和新四軍第六支隊之第四總隊編成，支隊司令員張愛萍，政委韋國清，副司令員孫象涵，參謀長楊志雅，政治部主任張震球。
遵照中央關於“八二路軍到華中後，堅決爭取控制全蘇北”的指示，我很快地結束了部隊的整編工作，即著手部署開闢蘇北地區的工作。第五縱隊一支隊已先期進入淮海區，開闢淮海區的抗日局面。第二支隊之六團留在皖東北開闢工作，其餘各部相繼挺進淮海、鹽阜地區。一九四一年一月“皖南事變”後，根據中共中央統一整編新四軍的指示，八路軍第五縱隊奉命改編為新四軍第三師，我任師長兼政委，彭雄任參謀長（一九四三年二月後為洪學智），吳法憲任政治部主任。原第五縱隊之一、二、三支隊，分別改為第三師之七、八、九旅（一九四一年九月，第三師之九旅與第四師之十旅對調建制）。一九四一年秋，張愛萍同志任副師長（一九四四年九月，張調任第四師師長），一九四五年九月，劉震同志任副師長，洪學智同志任副師長兼參謀長。一九四四年從全師抽調骨幹連隊組建了師特務團。一九四五年三月，為支援皖江地區的鬥爭，組建了一個獨立旅，並新組建了兩個特務團，同時在淮海區組建新一、新二團。
按照中共中央指示，為了對付敵後鬥爭的各種嚴重情況，積蓄力量，發展壯大自己，自一九四二年十一月起，我們實行了精兵簡政、主力地方化和一元化領導，成立了蘇北區黨委，統一全蘇北黨政軍的領導。我任區黨委書記，金明任副書記（一九四五年金明南下後為李一氓）。精簡了機關，充實了連隊。鑑於當時地方部隊成分比較複雜，紀律鬆弛，幹部缺乏帶兵和作戰經驗，我們決定實行主力地方化，先後以四個主力團分散編入地方部隊。這樣一來，迅速加強和鞏固了地方部隊，使地方部隊主力化。地方部隊升級為主力後，又組建起新的地方部隊。主力地方化和地方主力化的結果，不僅鞏固了地方政權，加速了地方建設，同時，也使主力和地方部隊發展壯大起來。新四軍第四師第十旅在豫皖蘇失利後，於一九四一年九月與第三師第九旅對調，歸入第三師建制。