經一年多了，用糜竺和陳登當助手，還請了北海人孫乾當從事。他帶著兵好好地休養，和老百姓一起過太平日子。
沒想到，袁術在揚州起兵，要來和劉備爭奪徐州。這袁術自從得了揚州後，就自稱徐州伯，整天耀武揚威的。當時李傕他們掌權，想拉攏袁術當外援，就請皇上封袁術為左將軍，陽翟侯。袁術表面上接受了任命，實際上心裡想著自己當皇帝，好出出風頭。
袁術小時候就聽說過一句讖文，說“當塗高”應該代替漢朝統治天下。他就琢磨著，自己的名字“術”，可以解釋成“塗”，而且袁氏是帝舜的後代，舜是土德，土能代替火，漢朝是火德，這不是正合讖文嗎？所以他就一直想著當皇帝。
之前孫堅得到了傳國玉璽，袁術知道後，就惦記上了。孫堅死在峴山後，屍體被運回曲阿。玉璽被孫堅的妻子吳氏藏著，袁術趁著吳氏回曲阿奔喪的時候，把她扣留了，非要她交出玉璽。吳氏沒辦法，只好把玉璽給了袁術。袁術拿到玉璽後，就想馬上稱帝，可是主簿閻象等人勸他，說現在時機還不成熟，他這才暫時忍住了。
袁術覺得徐州和揚州挨著，如果能把徐州搶過來，自己的地盤大了，稱帝就更名正言順了，於是便調兵遣將，朝著徐州打過來。
劉備聽說袁術的兵馬來犯，沒法子，只能親自帶兵去抵擋。他留下張飛守下邳，自己和關羽跑到盱眙去了。兩邊打了好幾仗，也沒分出個勝負。
哪曉得這袁術鬼精鬼精的，偷偷派人給呂布送了封信，讓呂布去偷襲下邳，還答應給他軍糧。這呂布本就是個反覆無常的主兒，哪管什麼道義情分，一聽有好處，馬上就帶兵悄悄地往東去了，從下邳的小沛方向發動襲擊。
這張飛啊，有個毛病，喜歡喝酒。那天他又喝醉了，喝醉就耍酒瘋，看徐州的舊將曹豹不順眼，噼裡啪啦就抽了人家幾十鞭子。這曹豹心裡恨啊，就記上仇了，趁著張飛醉得東倒西歪，直接開啟城門，把呂布的軍隊迎了進來。
張飛聽到外面亂糟糟的，酒一下子就醒了大半，趕緊衝出去迎敵，可這時候哪裡還來得及啊？沒辦法，他只好殺出東門，往盱眙方向逃去，連劉備的家眷都落在城裡，被呂布的人給抓住了。你說這喝酒誤事不？張飛這心裡別提多懊悔了，可這時候後悔也晚了。
劉備正在盱眙和袁術的軍隊對峙呢，突然看見張飛灰頭土臉地跑過來，一問才知道下邳丟了。這劉備一聽，腦袋“嗡”的一聲，心裡急得像熱鍋上的螞蟻，這可咋辦？家眷還在城裡呢！但這時候也顧不上那麼多了，只好帶兵往回走，想去和呂布理論理論，把家眷要回來。
誰知道剛走到離城幾里地的地方，就遭到了呂布軍隊的埋伏，劉備的軍隊一下子就被打散了。劉備沒辦法，只好轉道去廣陵，一路上收攏那些打散計程車兵，想著怎麼東山再起。
好在糜竺和孫乾他們從下邳逃了出來，找到了劉備。這糜竺家裡以前挺有錢的，之前去洛陽做生意的時候，遇到一件怪事。有一天他在路上碰到一個漂亮的婦人，那婦人求他讓自己搭個車。糜竺這人好心，就答應了。一路上他規規矩矩的，眼睛都沒多瞧那婦人一眼。走了幾里地後，那婦人突然說要下車，還對糜竺說：“我是天使，本來要去燒東海糜竺家的房子，看你是個好人，就告訴你一聲。”糜竺一聽，嚇了一跳，趕緊問：“能不能避免啊？”婦人說：“天命難違，不過你趕緊回家，把人和財物都搬出來，過了中午就來不及了！”說完，那婦人就不見了。
糜竺趕忙回家，把家裡的人都叫出來，把財物也往外搬。剛搬完，中午的時候大火就燒起來了，房子全被燒燬，好在錢財還留了一些。這也算是好心有好報吧。這次下邳被呂布偷襲，糜竺就把自己的妹妹，一個已經成年的大姑娘，送給劉備當老婆，想讓劉備寬寬心。他還把自己帶出來的金銀財寶都拿出來，給劉備當軍資。劉備靠著這些，才慢慢緩過勁來，軍隊也重新振作起來。
劉備這邊暫時穩住了，就寫了封信給呂布，跟他說以前大家的交情，求他把家眷送回來，大家也好和好如初，別傷了和氣。這呂布雖說人品不咋地，但也還沒壞透。他和劉備本來也沒什麼深仇大恨，之前就是一時貪心，才去偷襲下邳。現在劉備家小在他手裡，他也沒讓人去欺負她們。
呂布收到劉備的信後，也有點猶豫，畢竟以前和劉備一起共事過，也有點感情。這時候袁術派來的使者又來催他趕緊把劉備解決掉，他就更糾結了。想來想去，他還是決定先和劉備講和。於是，他就把劉備的家眷保護得好好的，還派了個使者去跟劉備說，同意