漢朝的聯絡與溝通遠不如在漠南的呼韓邪那樣快捷便利;再者,郅支又自恃勢力比呼韓邪強盛,所以附漢的願望也不如呼韓邪那樣誠懇急迫。雖然在甘露三年、四年,郅支單于二次遣使奉珍寶入漢朝獻,但是漢朝因為呼韓邪單于的親自入朝而逐漸疏遠郅支,對於呼韓邪的使者則更為優待,開始冷落郅支的使者。呼韓邪對郅支與漢朝通好的動態也非常重視,為了鞏固與漢朝已經建立起來的友好關係,在黃龍元年(前49年)春正月,呼韓邪再次入漢朝見宣帝,受到了與初次入漢時的禮遇與賞賜。同年十二月,宣帝去世,元帝即位。初元元年(前48年)六月,呼韓邪上書宣稱民眾飢困,請求漢廷援助,其中也不乏試探元帝即位後對他的態度的因素。元帝立即命令雲中與五原郡輸谷二萬斛資助,以表示朝廷對他一如既往的全力支援。顯然,郅支與呼韓邪在爭取漢朝的支援的競爭中,已經明顯地敗下陣來。
郅支單于見到呼韓邪單于與漢朝的關係日益親密,並得到了朝廷出兵輸谷的全力支援,自度既無法間離漢與呼韓邪的關係,又缺乏統一匈奴的實力,於是率部眾從右地再向西遷徙至今伊犁河流域一帶,遣使至烏孫,企圖勸誘母親為匈奴人的小昆彌(烏孫王號)烏就屠叛漢。不料烏就屠不為所動,斬殺郅支來使,送首級於漢西域都護府處,同時發兵八千人迎擊郅支,被郅支擊敗。郅支隨後又北征烏揭(在今額爾齊斯河上游及我國新疆北端)、堅昆(在今葉尼塞河上游),西征丁令(指當時活動於額爾齊斯河上游與巴爾咯什湖之間的的東部丁令),兼併了三國之兵,在堅昆設立王庭,勢力稍微得以恢復。此時,郅支單于距離漢朝更加遙遠,愈加怨恨漢朝支援呼韓邪而不援助自己,於是困辱漢朝使者江乃始等,並遣使赴漢,以朝貢為名,請求漢朝遣還其侍子。初元四年(前45年),元帝應郅支的請求,遣衛司馬谷吉等送還郅支單于的侍子。郅支見其子安全而歸,再無後顧之憂,索性殺死漢使谷吉等人洩憤,從而與漢朝公開為敵。然而郅支的實力究竟有限,又聽說呼韓邪日益強盛,深恐受到襲擊,因此想再度西遷,遠避漢朝與呼韓邪。恰好在此時康居王屢受烏孫的欺凌,想依靠匈奴的聲威恫嚇烏孫,於是遣使至堅昆,準備迎接郅支到康居(在今哈薩克南部及錫爾河中下游)。由於害怕遭受攻擊而惶惶不可終日的郅支單于突然受到康居王的邀情,大喜過望,立即率部眾西遷,途中又受到嚴寒的襲擊,到達康居時部眾僅剩三千多人。
康居王素來尊敬郅支,所以在郅支抵達康居後,將女兒嫁與郅支;為了報答康居王的好意,郅支也將女兒嫁與康居王。郅支隨即借兵於康居,數次出擊烏孫,深入到烏孫都城赤谷城(位於今伊塞克湖西南的伊什提克),殺掠人民,驅掠牲畜而去。烏孫懾於郅支的兵威,不敢出兵追擊,烏孫西部千里之地空虛,無人再敢居住遊牧。
郅支剛剛在康居立穩根基,狂傲殘忍的性格立刻暴露無遺,肆意欺辱其恩主康居王,又屠殺康居王女、貴人及百姓數百人,支解屍體,投入都賴水(今塔拉斯河),河水為赤!郅支又大肆徵發康居百姓,在都賴水畔修築郅支城,每天被迫服苦役者五百多人,歷時二年方才完工。郅支又遣使者分赴大宛諸國,勒令納貢財物,諸國都不敢抗拒。康居王眼見大權旁落,追恨莫及,深悔當日不該引狼入室,卻又無可奈何,唯有忍氣吞聲地苦捱時光。
就在郅支單于殺漢使谷吉等,西遷康居後,漢廷見谷吉等一去不返,誤以為在邊塞被呼韓邪的部下所殺,因此嚴厲追查呼韓邪的來使。呼韓邪憑空濛受不白之冤,不免心存疑懼。等到漢廷查清事實真相後,為了安撫呼韓邪單于,於永光元年(前43年)派遣騎都尉韓昌、光祿大夫張猛送還呼韓邪侍子,以免其生疑。這時,呼韓邪在漢朝大力扶持之下,原氣已經恢復,前來歸附的部眾日益繁盛,也有足夠的兵力自衛,不需再畏懼郅支單于,加之塞下野獸射獵將盡,因此想北歸單于庭。韓昌、張猛唯恐呼韓邪北歸後難以約束,於是與呼韓邪及大臣登山鄭重盟誓:自今以後,漢匈和為一家,世世代代不得相詐相欺。敢於違背盟約者,受天不祥! 盟約之後,呼韓邪率領部眾第三次重歸單于庭,匈奴內部各部落紛爭混戰的局面逐漸地平定下來。
再說郅支在康居的殘暴統治,肆意欺凌烏孫、大宛諸國,不僅激起康居貴族與百姓的怨恨,而且也直接威脅到漢朝在西域的利益。但是,元帝一直憂慮距康居路途遙遠,不願耗費巨資出兵征伐,所以前後三次遣使至康居,請求郅支歸還谷吉等人的屍體,同時勸說郅支重新歸附。然而,這一切努力都被郅支毫不容情地予以