幸好，旅長徐海東知道他是個做部隊思想政治工作的行家裡手，十分支援黃克誠的工作。
徐海東專注於打仗，部隊有人鬧情緒，思想出了問題，彙報給他，他總是大手一揮，說：“找政委去！”
有時，記者來前線訪問徐海東，他也說：“找政委去！”
黃克誠在軍事問題上雖然儘量少講話，但由於他已經與三四四旅同甘共苦，榮辱與共，融為一體了，所以他很快發現三四四旅作戰方式有問題。
三四四旅大多沿用過去對付國民黨軍隊的那一套打法，與日軍作戰，猛打猛衝，對於毛澤東提出的山地游擊戰並不在意，顯得勇猛有餘，靈活不足，戰鬥中多次吃虧，這支英雄之師經受了幾次挫折。
1937年底到1938年初，三四四旅奉命開赴正太路以北，開展敵後游擊戰爭，建立抗日民主政權。
這期間，三四四旅同日軍進行了兩次較大的戰鬥。
一次是盂縣牛村之戰。六八七團在團長張紹東指揮下，打了一場運動戰。
雖然殲滅了敵人一部，但是由於我軍策略、戰術水平不高，部隊也遭較大傷亡。
不久，三四四旅為配合晉察冀軍區反“掃蕩”，在平山縣溫湯與日軍大戰一場。溫湯戰鬥，因為旅長徐海東病重，由黃克誠負責指揮。這一仗原本計劃將溫湯日軍五百餘人全殲，但是仗一打起來，各部隊之間配合不好，亂了套，不僅沒有在預定時間內全殲日軍，反而受到增援日軍的重炮轟擊。由於廣大幹部戰士缺乏避炮經驗，全旅傷亡較大，六八八團團長與一營營長雙雙陣黃克誠為此深深自責，看到部隊兩次受挫，他就勸說大家研究新戰法，避免再打被動仗和陣地仗。
然而，很多人聽不進去。
黃克誠也不急躁，還是耐心進行說服工作。
就在這節骨眼上，三四四旅發生了一起重大政治事故。
1938年3月，三四四旅奉命南下晉東南，進入太行山區，配合劉伯承、鄧小平領導的一二九師作戰。
部隊在山西平定、昔陽地區行軍時，徐海東、黃克誠率部走在前面，由主力六八七團殿後。
六八七團團長張紹東本來是個善動腦子的紅軍指揮員，從紅軍時期到抗戰初期，一直是三四四旅中的一員勇將。但是，他擅自違背中央有關抗日民族統一戰線的政策，在部隊駐地搞起了“打土豪”！而且從中漁利，進而嫖娼！不僅如此，他還把團參謀長蘭國清拉下了水。紙裡包不住火，旅部知道這個情況後，決定整頓隊伍。張紹東聽到訊息後，心裡發慌。他就把連以上幹部集中起來，以看地形為名，騙出駐地。在半路上，張紹東和盤托出自己的打算，脅迫他們一起叛逃。
六八七團畢竟是支老紅軍主導的團隊，張紹東的陰謀當即受到政工幹部的抵制，不少幹部也站在了政工幹部一邊，苦勸張紹東改變主意。
但是張紹東最終不知悔改，看見絕大多數人不想跟他叛逃，他只好帶著蘭國清等少數幾個人逃跑了。
部隊全部由政工幹部拉回了旅部。
這件事令徐海東、黃克誠大為惱火，也使三四四旅這支英雄部隊蒙受了恥辱。
朱德總司令聞訊，也大為惱火，這不但會影響軍心士氣，而且會影響八路軍的聲譽啊！
朱德親自來到三四四旅指導工作，他總結性地感慨道：“部隊的政治工作必須深入喲！”
一番話，使黃克誠深受震動，覺得肩上的擔子更重了。三四四旅進入太行山區後，黃克誠被任命為太南軍政委員會書記，與徐海東一起，指揮部隊開始在太行山南段堅持抗日遊擊戰爭，放手發動群眾，建立抗日民主政權。
4月間，日軍糾集三萬餘人，分九路大舉進攻晉東南地區。晉東南地區烽火連天，如何粉碎日軍九路圍攻成為國共兩黨關注的焦點。
徐海東、黃克誠率三四四旅配合兄弟部隊在內線開展游擊戰，實行堅壁清野，使日軍逐步陷入處處撲空、飢餓疲憊和被動挨打的境地。
三四四旅歷經長樂村、虒亭鎮、張店鎮等戰鬥，給予日軍以有力打擊，在反“九路圍攻”作戰中顯露鋒芒。經過二十三天的反擊，日寇的九路圍攻被完全粉碎。
7月6日。沁河畔町店。
驕陽似火，路旁的柳樹無精打采，柳枝低垂，彷彿睡了一般。
隨著陣陣轟鳴聲，數十輛汽車從遠處蠕動而來。膏藥旗斜插在駕駛窗旁，迎風作響。
汽車隊在町店停了下來，一群群日本鬼子從車上鑽了