這事兒以後，就上奏說那些不可信，不能給他們大權。光武帝聽了裴遵的話，就後悔了，把賜給賢的西域都護印綬收了回來，另外封賢為漢大將軍。這事兒辦得，可真有點出爾反爾，不太地道。賢這下可生氣了，雖然把印綬交回去了，可還自稱大都護，騙那些國家。
那些國家也不知道是真是假，就只能聽他的。賢這小子越來越囂張，想把西域都吞了，就跟那些國家要這要那，稍微不滿意，就派兵去打人家。這些國家哪打得過他呀，沒辦法，就派人到洛陽來，請求光武帝派個兒子到漢朝來當人質，還希望能再派個西域都護去，管管莎車王。可光武帝呢，還是堅持原來的想法，看到那些國家送來的人質，就給了些金銀財寶，把他們都打發回去了。這些國家一聽，著急了，就跟敦煌太守裴遵寫信，讓他幫忙跟光武帝說說，還是把人質留下，派個都護過去，好好管管莎車王。裴遵當然把信轉給光武帝了，可光武帝就是不回信。那些國家送來的人質，在敦煌待久了，都想家，就偷偷地跑回去了。
莎車王賢知道漢朝不管西域的事兒了，就寫信給鄯善王，勸他跟漢朝斷絕關係。鄯善王可沒聽他的，還把賢派來的使者給殺了。賢這下火了，馬上發兵去打鄯善。鄯善王出去迎戰，結果打輸了，只好跑到山裡躲起來。賢又去打龜茲王，把龜茲王也殺了，把龜茲國給佔了，這一下他更牛了。鄯善王沒辦法，又給洛陽寫信，再次請求派兒子來當人質，趕緊派個西域都護過去。光武帝讓人回信說：“朝廷現在正忙著發展文化，不想打仗，要是你們這些國家覺得自己能行，想咋幹就咋幹吧，東南西北，隨你們的便。”這話說得，也太敷衍了吧。鄯善王收到回信，只好跟車師這些國家一起，都歸附匈奴了。
說到匈奴，以前在前漢的時候，呼韓邪單于到漢朝來歸附，跟漢朝和親，娶了漢宮的美人王昭君，生了個兒子，叫伊屠知牙師。可是呼韓邪已經有兩個老婆，生了好幾個兒子，所以伊屠知牙師就沒能當單于。呼韓邪死了以後，大兒子雕陶莫皋當了單于，叫復株累若鞮單于。雕陶莫皋聽他媽媽的話，把單于的位置傳給弟弟，弟弟且麋胥就當了搜諧若鞮單于。且麋胥又傳位給弟弟且莫車，是車牙若鞮單于。且莫車再傳位給弟弟囊智牙斯，是烏珠留單于。囊智牙斯在位的時候，正好王莽篡漢，王莽買通匈奴，給他們換了個新單于章。囊智牙斯死了以後，弟弟鹹當了烏累若鞮單于。鹹又傳位給弟弟呼都而屍道皋若鞮單于，叫輿。輿的弟弟就是伊屠知牙師，本來應該由右谷蠡王升為左賢王，這左賢王可是匈奴的儲君，以前的單于大多都當過這個官。可輿想把單于的位置傳給自己的兒子，就誣陷伊屠知牙師，把他殺了。
這事兒可把一個人給惹惱了，就是日逐王比，他是烏珠留單于的大兒子。比心裡怨恨，說：“按咱匈奴的規矩，哥哥死了弟弟當單于，輪也輪到右谷蠡王啊，就算不是他，我是前單于的大兒子，也應該是我當單于，怎麼能殺了右谷蠡王，想讓自己的兒子當呢？”這就跟那吳公子光似的，心裡不服氣。從這以後，比就跟輿有矛盾了，也不怎麼去參加他們的家庭聚會了。輿後來立自己的兒子烏達鞮侯當左賢王，還派了自己的心腹去管比的手下。沒過多久，輿死了，烏達鞮侯當了單于。可還不到一年，烏達鞮侯也病死了，弟弟蒲奴當了單于。這時候正好鬧旱災和蝗災，地都荒了，人和馬死了好多。蒲奴怕漢朝趁機來打他們，就派使者到漁陽來，想跟漢朝和親，恢復以前的友好關係。光武帝也派中郎將李茂去回覆他們。
可這日逐王比，心裡滿是怨恨，沒處發洩，就偷偷地派了個漢人郭衡，帶著匈奴的地圖，到西河來，請求歸附漢朝。以前輿派去管比的那些心腹，知道這事兒了，馬上報告給蒲奴，讓他趕緊殺了比。比的弟弟斬將王，在蒲奴手下當官，聽到風聲，趕緊跑去告訴比。比又害怕又生氣，就召集了八部的四五萬人馬，跟大家說蒲奴兄弟不該當單于，還為伊屠知牙師喊冤。八部的酋長都支援他，大家就聯合起來，一起對抗蒲奴。蒲奴派了兵去打比，可看到比的人多，防守又嚴密，不敢進攻，就灰溜溜地回去了。於是八部的人就一起推舉比當單于，還是用他們祖先的名字，叫呼韓邪單于。比就派人到漢朝來，表示願意當漢朝的藩屬，保衛漢朝的邊疆。光武帝聽到這訊息，就問那些大臣怎麼辦。大臣們都說天下剛安定，國家還不富裕，不應該接受這些投降的匈奴人。只有五官中郎將耿國，引用孝宣帝時候的例子，極力主張接受比的投降。光武帝聽了耿國的話，就答應讓比歸附。比就自稱呼韓邪單于，向漢朝稱臣，當漢朝的外藩。從這以後，匈奴就分成南北兩部