血統，但在習俗上已經是個不折不扣的鮮卑人了。其家居白道之南，經常鬧妖怪，“數有赤光紫氣之異”，鄰居都勸他父親高樹搬家，高樹不肯，大大咧咧地說誰知道這不是吉兆呢？居之自若。高歡剛出生，他母親韓氏就去世了，高樹只好把他寄養在親戚尉景家裡。
高歡年輕時窮得丁當響，可是長得帥，最引人注目的是一口閃亮的大白牙。某日在城上執勤時，被大姓匹婁家的女兒昭君看上了。丫頭她爹匹婁內幹本不情願把女兒嫁給高歡，但耐不住昭君死磨硬纏，勉強從了。內幹有三個女兒，大女兒嫁給段榮、二女兒嫁給竇泰、三女兒嫁給高歡——這個是最窮的。高歡娶了昭君後，才有了馬，為鎮上隊主，後來又轉為函使，乾的是相當於今天郵遞員的活，經常在懷朔與洛陽之間往來遞送公文。這一行他幹了六年，但仍然只是個小郵遞員，在當時沒有任何社會地位。偶爾收郵件的單位主管高興了，也會請他吃肉。因為吃肉，還曾引出過一場風波。一次令史麻祥賞他肉吃，高歡不習慣站著吃（恐怕他也不知道洛陽城裡還有這樣的規矩），坐下就大嚼。麻祥大怒，認為這是不尊重他，就把咱們未來的北齊神武皇帝拖出去打了四十大板。
在懷朔鎮上，高歡有幾個至交好友，如鮮卑人段榮、竇泰，羯人侯景，匈奴人劉貴，戶曹使孫騰以及司馬子如、賈顯智等人。他們後來都成為高歡父子建立的東魏、北齊政權的支柱。
懷朔鎮被攻破後，高歡投奔了上谷的杜洛周起義軍，但他對杜的行事很不齒，暗地裡和他的死黨尉景、段榮、蔡俊等人策劃謀殺杜洛周。然而高歡的計劃敗露，這幫人只得倉皇出逃，杜洛周派騎兵緊追不捨。高夫人昭君跟著先生逃亡，抱負著一兒一女，騎著一頭牛混在這支逃亡隊伍中。然而小孩子不知道體諒大人的難處，逃亡路上，高家大公子高澄鬧彆扭，無數次地從牛上掉下來。他爹爹又氣又急，在多次警告無效後，竟彎弓搭箭要射死他。這可把他媽媽嚇壞了，只得呼叫孩子他姨爹段榮幫忙。段榮跳下馬來，把孩子拎上自己的坐騎，高歡這才作罷。這一幕，和當年漢高祖劉邦逃難時，把兒子漢惠帝、女兒魯元公主推到車下去有異曲同工之妙。這大概就是傳說中的英雄氣概。
高歡先逃到葛榮那裡，呆了一段時間，覺得葛榮也不是他理想中的領導，又溜走了。放眼天下，像樣點的英雄好漢似乎只剩下秀榮的契胡酋長爾朱榮。於是高歡不遠千里，逃到秀榮去投靠爾朱榮先生。此時，他的鐵桿哥們兒劉貴等人已經在爾朱榮那裡混得很不錯了，他們向爾朱榮極力推薦高歡，差點把他的本事吹到天上去。因為這幫人的吹噓，爾朱榮對高歡也很有點好奇。
所以高歡一到秀榮，爾朱榮先生就親自接見他。然而此刻的高歡，剛經歷了一路勞頓，又擔驚受怕，蓬頭垢面，憔悴得要死，沒有引起爾朱榮的興趣，《北齊書》上說是：“先是，劉貴事榮，盛言神武美，至是始得見，以憔悴故，未之奇也。”
劉貴既然已經把牛吹到那個份上了，自然不能不負點責。他自掏腰包給高歡置辦了新行頭，再次引他去見爾朱榮先生。這次，爾朱榮決定在馬廄裡面試高歡，題目是給一匹脾氣暴躁的烈馬修毛。高歡大拍馬屁，把作為道具的馬服侍得舒舒服服，既不踢人也不咬人，全身放鬆讓神武皇帝輕輕鬆鬆地完成了任務。修完毛後，高歡起身道：“御惡人亦如此馬矣。”爾朱榮一聽，嗯，這話說得有點味道了，要不咱們找個沒人的地方細聊？於是兩個人跑到爾朱榮的臥室講悄悄話，高歡道：“聽說你有十二山谷的馬，色別為群。你蓄養這麼多馬，準備幹啥？”爾朱榮：“我這個人天生低調，不喜歡張揚……要不你說說看？”於是高歡就說開了：“俺覺著你是想造反。方今天子愚弱，太后淫亂，孽寵擅命，朝政不行。以明公之雄武，乘時奮發，以清君側為名，霸業可舉鞭而定。你看俺說得對不對？”
爾朱榮：“嘿嘿……看來咱們可以談點更深層次的問題了！”於是兩個人從中午聊到半夜，極為投機。從此爾朱榮以高歡為親信都督，每每參預重大軍事謀劃。
此時，京城洛陽發生了重大變故。
隨著魏孝明帝的日漸長大，他和其母親，執掌朝政的靈太后胡氏，圍繞著最高權力的歸屬，發生了一系列爭執，雙方的矛盾逐漸發展到了無可調和的地步。史書稱：“魏靈太后再臨朝以來，嬖倖用事，政事縱弛，威恩不立，盜賊蜂起，封疆日蹙。魏肅宗年浸長，太后自以所為不謹，恐左右聞之於帝，凡帝所愛信者，太后輒以事去之，務為壅蔽，不使帝知外事。通直散騎常侍昌黎谷士恢有寵於帝，使領左右；太