在法國，聶榮臻不僅經歷了求學和做工的艱苦，在思想上，也在進一步探索著國家和個人的出路問題。1921年10月，聶榮臻來到比利時，進了費用比較低廉的沙洛瓦勞動大學。此時的他，思想上正發生著急劇的變化，這種變化使他越來越不能平靜地坐在課堂裡專心致志地學習了。他開始感到，出國勤工儉學時所抱的那種“實業救國”的願望實在是不現實的。中國的經濟命脈和工業系統幾乎都被帝國主義及其走狗控制著，加上國內民族資產階段十分軟弱，要發展民族工業，不改變軍閥統治的政權，只能是一種幻想。聶榮臻翻來覆去地想：中國是這樣一個現實，你的科學技術學得再好，即便是成為工程師，回國以後又有什麼用？聶榮臻的思想充滿矛盾，遇到的事情很多，覺得一切都和原來的設想不一樣。正在這時，他接觸馬列主義的機會也又多起來，當時，共產主義運動在法國和比利時的影響很大，此外，他還能經常看到國內辦的一些革命報刊，如《嚮導》週報，正是在這些因素的影響下，聶榮臻的思想發生了較大的變化。
1922年8月，由同在沙洛瓦勞動大學學習的劉伯堅和熊味耕兩人介紹，聶榮臻加入了旅歐中國少年共產黨，為了保密，他使用了化名“向上”。1923年初，由趙世炎、劉伯堅介紹，他又參加了中國共產黨。入黨以後，聶榮臻放棄了在沙洛瓦勞動大學的學習，於這年暑假回到了巴黎。從此以後，他和周恩來等同志一起辦雜誌，在勤工儉學生和華工中宣傳馬克思列寧主義，同形形色色反馬克思主義思潮進行鬥爭，還在旅歐華人中積極從事建立統一戰線的工作。在旅歐團的組織中，聶榮臻先後擔任過兩個職務：旅歐青年團執行委員會委員和團的訓練部副主任。從1920年1月到1924年9月，聶榮臻在法國和比利時勤工儉學四年零九個月，這是他完成世界觀的根本轉變、真正走上革命道路的起步時期。
1924年9月22日，聶榮臻取道莫斯科，準備適應國內革命形勢迅猛發展急需大批幹部的要求，輾轉歸國。10月，聶榮臻進入東方大學學習。東大的課程包括十月革命史、世界革命史、工人運動史、政治經濟學等。1925年2月，根據共產國際的通知，聶榮臻和其他同志一起，被抽到蘇聯紅軍學校中國班學習。當時，共產國際，包括斯大林，以及中國共產黨的有識之士，開始看到：在中國革命中，我們黨必須掌握武裝的重要性，提出不僅要為中國革命培養一般工作幹部，還要注意培養軍事鬥爭幹部。同時，在國內，孫中山先生接受蘇聯顧問鮑羅庭的建議，在黃埔辦起了軍官學校，黨需要一批懂軍事的同志去幫助辦好這所學校。聶榮臻就是在這種背景下被抽調學習軍事的。這個中國班對外保密，與東大沒有什麼聯絡，已納入紅軍編制系統，同紅軍同穿同吃同住，只是生活待遇特別優厚，這實際上是一個為中國培養高階軍事人才的訓練班。歷史就這樣帶著某種偏愛似地選擇了聶榮臻，這是他由一個普通農家子弟成長為共和國元帥道路上的重大契機之一。
當年第一批進紅軍學校學習的，除了聶榮臻以外，還有葉挺、熊雄、範易、顏昌頤等二三十個人，這批人幾乎都在革命戰爭中犧牲了，聶帥是最後辭世的一個。
軍事學校設在莫斯科城裡，很注意保密，要求嚴格，訓練緊張，經常在野外進行軍事演習，學習戰術、技術，有時也打靶，白天晚上還輪流站崗放哨。學校教官全部是從紅軍各單位抽調出來的，幾乎都是相當於將軍級別的紅軍高階指揮官，他們有內戰時期的實戰經驗，講得內容很實際，深入淺出，加上理論學習與實際訓練互相穿插，近半年的學習，使聶榮臻在軍事理論方面獲益匪淺。這一段學習為他今後的將帥生涯奠定了牢固的基礎。
1．4 黃埔軍校的教官
1925年8月，聶榮臻和王一飛、葉挺、熊雄、範易、李林等同志一起離開莫斯科，先乘火車到海參崴，然後坐輪船從海參崴到上海。由於這批人是學軍事的共產黨人，蘇聯方面特別強調保密，到海參崴以後，他們住在蘇聯遠東海軍司令的家裡，不準上街。乘船去上海時，大家都化裝成學生的模樣。不過，儘管他們在船上謹小慎微，還是被日本特務發覺了，當船到長崎暫停時，當地報紙就登出訊息，說有一批在蘇聯學習軍事的中國學生最近回國。聶榮臻和大家都非常緊張，紛紛準備好了口供，準備到上海登岸遇到危險時好應付。那時的上海，正是張作霖奉系軍閥統治著，他忙於“窩裡鬥”，無暇顧及其他。出乎意料的是，這批學生透過海關時，只是被查驗了護照，簡單翻了一下行李就放行了，這的確是