央軍委工作，先後擔任過中央軍委一局局長兼紅軍第一方面軍副總參謀長、粵贛軍區司令員兼政治委員。1933年“八一”建軍節，中央革命軍事委員會授予他二等“紅星獎章”。同年“福建事變”後，他以中華蘇維埃臨時中央政府代表的名義，與福建人民政府方面的代表談判，達成了一系列協議。接著他又擔任中共駐十九路軍的軍事聯絡員，為黨同十九路軍、福建人民政府建立抗日反蔣統一戰線作了大量的工作。1934年10月，中央紅軍開始長征，他擔任中央軍委副參謀長兼作戰局局長。1935年初，他協助劉伯承參謀長組織部隊完成了突破烏江的任務。1935年9月，中央紅軍同四方面軍會合後，黨中央決定由中央紅軍主力組成北上先遣支隊繼續北上，他任北上先遣支隊副參謀長，到達陝北後任西北革命軍事委員會辦事處參謀長，協助周恩來工作。1936年2 月，任中國人民紅軍抗日先鋒軍副參謀長，東征期間，他負責後方負責聯絡、後勤工作。紅軍西返時，他任渡河司令部司令員，親自佈置迎接部隊回師河西各項工作。保證紅軍順利西渡黃河。
1937年春，張雲逸受黨中央派遣到華南，爭取地方實力派和各界人士共同抗日，為實現黨的抗日民族統一戰線而鬥爭。他在香港，利用各種關係和場合，對在香港的愛國民主人士宣傳黨的方針政策，同他們共商團結抗日救國的大計。6 月，他從香港到廣西桂林，同李宗仁、白崇禧進行商談。同時，經李宗仁介紹，他又同四川省主席劉湘在桂林的代表張斯可商談。接著前往廣州同廣東當局談判。他按照黨中央的指示，為爭取香港、廣西、廣東、四川的地方實力派和愛國人士支援國共合作，實現抗日民族統一戰線，做出了重大貢獻。
抗日戰爭爆發後，為落實中共中央關於將南方各省紅軍游擊隊改編為新四軍的方針，張雲逸親自到澳門同葉挺取得聯絡，接著又到福建閩西地區向鄧子恢、張鼎丞等傳達了黨中央的方針，深入紅軍游擊隊做細緻的政治思想動員。為組建新四軍作了大量工作。1937年12月，新四軍軍部在漢口成立，他被任命為參謀長兼第三支隊司令員。1938年2 月，他根據黨的指示，到福州、漳州同國民黨當局進行談判，使之同意在福州設立新四軍辦事處，釋放被捕的共產黨員，追回被繳去的閩中游擊隊，和“漳浦事件”中我何鳴部被抓去的人員和槍支，將這些人員和閩北紅軍游擊隊一起，帶到安徽巖寺編為新四軍第三支隊。12月中，他率領軍部特務營到達第四支隊司令部所在地舒城的東湯池，向廣大幹部傳達貫徹黨的六屆六中全會精神和中央的東進皖東、皖中敵後，建立抗日根據地的決定，以軍部特務營為骨幹，將無為、廬江地區的抗日武裝統一改編為新四軍江北遊擊總隊，擔負開展皖中地區的抗戰任務。1939年夏，他兼任新四軍江北指揮部指揮、指揮部前委書記，指揮江北部隊開赴津浦路西和路東地區，展開了敵後游擊戰爭，開啟了皖東敵後的抗戰局面，開闢了以定遠的藕塘為中心的津浦路西遊擊根據地和以來安的半塔集為中心的津浦路東遊擊根據地，新四軍江北部隊發展到7000人，初步完成了向皖中、皖東敵後的戰略展開任務，為進一步建立皖東根據地打下了基礎。1939年11月底，中原局增補張雲逸為委員。1940年春，他按照黨中央和中原局關於皖東反磨擦鬥爭的指示，粉碎了安徽李品仙和江蘇韓德勤等頑固派的軍事進攻，鞏固了淮南抗日民主根據地。11月，中共中央決定中原局、東南局合併，改稱華中局，張雲逸為委員，主持皖東的工作。12月，他同徐海東、羅炳輝對“掃蕩”的日偽軍採取“誘敵深入，敵退我進，敵守我攻”的作戰方針，取得了皖東反“掃蕩”的重大勝利，江北部隊由七千餘人發展到一萬餘人。
1941年皖南事變後，中共中央革命軍事委員會發布了重建新四軍的命令，任命他為新四軍副軍長兼第二師師長。4 月，根據中央軍委決定，新四軍各師成立軍政委員會，他任第二師軍政委員會書記。1942年2 月，淮南軍區成立，他兼任軍區司令員。在此期間，遵照黨中央、華中局及軍部的指示，他為提高部隊的軍事、政治素質，加強黨的組織建設、地方政權建設和民運工作等方面，為淮南抗日根據地的鞏固與發展做出巨大的貢獻。對此劉少奇在1942年3 月召開的華中局第一次擴大會議上作報告時曾提出表彰。1942年夏，他奉命到新四軍軍部專任副軍長。在1943年底到1945年秋，新四軍代軍長陳毅去延安參加整風和黨的“七大”期間，由他主持全軍軍事工作。他指揮二師、三師一部的皖東反頑鬥爭