，取得了津浦路西佔雞崗首戰殲敵一個團的勝利，以後又給頑軍予以重大打擊，有力地策應了我軍恢復豫皖根據地的鬥爭。1944年冬，根據黨中央和軍委的指示，他部署了開闢蘇浙皖邊區的鬥爭，由粟裕率部渡江南下，成立蘇浙軍區，取得了粉碎日偽軍多次進攻和3 次天目山反頑戰役的勝利，擴大了江南反攻的前進陣地。1945年夏，他被選為七屆中央委員。8 月，遵照黨中央、延安總部的指示和命令，張雲逸率領華中軍民迅速向敵偽展開了戰略反攻，取得了重大勝利。
抗日戰爭勝利後，根據黨中央的“向北發展，向南防禦”的戰略方針，他組織領導了蘇南、浙東、皖中、皖南的機關、部隊北撤和主力北上的工作。10月，他率領新四軍軍部到達山東臨沂。12月中旬，中央書記處批准由陳毅、饒漱石、張雲逸、黎玉、舒同五人為常委組成華東局，領導華東地區的鬥爭。1946年1 月，新四軍軍部和山東軍區合併，他任副軍長兼軍區副司令員。他一方面在黨中央領導下爭取國內和平民主，揭露國民黨破壞和平發動內戰的陰謀；一方面領導華東軍民做好自衛戰爭的準備。6 月，全面內戰爆發，他領導了山東軍民配合野戰部隊進行自衛戰爭，粉碎敵人的軍事進攻。1947年1 月，中央決定取消新四軍番號，成立華東軍區和華東野戰軍，他任華東軍區