青時代起就“倜儻任俠”，義氣重諾，酷愛酣飲賭博。一直胡混到四十歲，其父在長安患病去世。他在長安守喪三年，由於身無長技，又有一身公子哥的壞毛病，地方官很瞧不起他。為此，哥舒翰“慨然發憤折節，仗劍之河西”。畢竟自少生於邊陲，哥舒翰勇武善鬥，深為大將王忠嗣所賞識，推薦他為衙將。
哥舒翰自年青時代起就喜讀《左氏春秋傳》和《漢書》，深受書中人物放蕩不羈、慷慨豪邁的精神薰陶，做事磊磊大方，待人疏財重義，深受士兵擁戴。在新城討伐吐蕃時，同列有個副將不聽指揮，哥舒翰大怒之下當時就用木棒把此將打殺，軍容為之一振。
苦撥海一役，吐蕃精騎從山頂排三列兵隊疾馳而下，哥舒翰一人立於馬上，手持半段槍逆其鋒而擊，三列人馬無不摧垮，大敗而去。自此，哥舒翰聲名大振。
天寶六年（公元747年），朝廷授哥舒翰為隴西節度副使，仍於邊境抗禦吐蕃。吐蕃軍隊當時常常四出搶掠。每到秋天麥熟之時，吐蕃就會派出大批精銳騎兵去唐軍積石軍屯田的地方去搶麥子，幾乎次次得手，並洋洋得意地把積石軍麥田稱為“吐蕃麥莊”。由於每次吐蕃兵都是勁騎有備而來，唐兵都不敢當其鋒芒，眼睜睜自己辛苦一年的麥子被吐蕃軍隊搶走。哥舒翰上任，得知這一情況後，就派將領暗中在積石軍埋伏兵馬，設下伏擊圈，靜待吐蕃軍上鉤。吐蕃五千騎兵驟至積石軍營壘，同往常時節一樣，唐兵皆龜縮於營內。吐蕃軍人笑語喧譁，像拿自家東西一樣大肆搶掠。不料想，營門忽然大開，哥舒翰率唐兵縱馬馳擊，吐蕃人馬不久就被殺大半。剩下的殘兵拼命往外逃，又被埋伏的唐兵半路邀擊，最終“匹馬不還”，五千吐蕃精騎一個不剩，全命喪唐兵之手。
哥舒翰打仗時善使長槍，在與敵兵戰鬥中，他每次追及敵將，就以大槍搭在對方肩上，然後大喝一聲，待敵人驚顧之時，槍頭掉轉，直刺入喉，往往挑起三五尺高才扔於馬下。哥舒翰有個家奴名叫左軍，才十五六歲年紀，也勇猛非常。每次哥舒翰把敵將挑下馬，左軍就下馬揮刀，斬落對方首級，以做回營報功之用。爺倆兒配合默契，天生一對戰場上的凶神惡煞。
同年，兼任河西、隴石、朔方、河東四鎮節度使的王忠嗣受人誣陷，唐玄宗把哥舒翰喚至長安問訊有關他這位老上司的事情。
王忠嗣的父親王海賓也是常年與吐蕃對戰的唐朝名將。王忠嗣年僅九歲，其父就於戰鬥中陣亡，由於犧牲之狀非常慘烈，並使唐軍在戰役中大獲全勝，王忠嗣作為功臣子弟被接入宮中撫養，自小與後來的唐肅宗關係很好，一起讀書遊玩。王忠嗣還是個毛頭小夥子時，唐玄宗有一次和他講論兵法，他“應對縱橫，皆出意表”。玄宗讚歎不已，感慨說：‘你日後必為良將“。此後，王忠嗣在河西與吐蕃數戰，皆大勝。天寶初年，王忠嗣又大敗突厥葉護部落，烏蘇米施可汗的首級也作為戰利品懸於唐朝長安城下。尤其在朔方、河東兩鎮，王忠嗣頻戰頻勝，加之駁兵有方，真正是“長城”大將。“忠嗣佩四將印，控制萬里，勁兵重鎮，皆歸掌握，自國初已來，未之有也。”
物極必反。宰相李林甫對王忠嗣非常嫉恨，“日求其過”，此外，唐玄宗當時急切地想攻克吐蕃的石堡城，親自召問王忠嗣進攻方略。王忠嗣回奏：“石堡險固，吐蕃舉國而守。攻此堅城，必死數萬士兵方可。臣恐所得不如所失，不如休兵秣馬，見機行事。”好大喜功的唐玄宗心中很不高興。李林甫見此機會，忙派王忠嗣從前一個下屬到京城告狀，說王忠嗣先前講過“我與忠王（後來的唐肅宗）一起長大，當擁戴他為太子”。玄宗大怒，派人立即把王忠嗣逮至朝廷，嚴加審訊，準備處以極刑。
唐玄宗以哥舒翰代王忠嗣為隴右節度使，並於華清宮召見他。君臣一席話，雙方很感投緣。臨別時，哥舒翰極言王忠嗣無罪，玄宗起身不聽。哥舒翰一步一叩頭，跪地哀求玄宗，“言詞慷慨，聲淚俱下”。“帝感而寬之”，免去王忠嗣死罪，貶為漢陽太守（一年後，王忠嗣暴死，時年僅四十五歲。可見，只要涉牽皇家宮庭紛爭，無論怎樣也難逃一死）。
哥舒翰上任後，首先在青海設神威軍，並築應龍城，擊退吐蕃軍的進功，使吐蕃不敢再進犯青海。八寶八年，朝廷以朔方、河東等地十萬多軍卒全歸哥舒翰統領，集中力量進攻吐蕃的石堡城，在付出數萬人傷亡的代價後，終於佔領該城（正如王忠嗣所預料，得不償失）。萬骨枯後，一將成名。唐玄宗授哥舒翰為特進、鴻臚員外卿，賜物千匹，並賜大宅美田以彰其功。
哥舒翰一直與安祿山以及安祿