失了一部分人之後，終於退入了揚州，可現在的揚州，除了江東之外，其他的地方，幾乎成了沒有人煙的地方，呂布想要在這裡駐紮軍隊，根本就不可能的，沒有了百姓，就沒有了以後的補給，所以，呂布唯一能夠做到，要麼就是去江東，要麼就進入荊州，或者進入劉民的地盤進行搶掠，呂布顯然沒有這個膽量跑到劉民的地盤去搶掠，而江東因為一場動亂，也沒有什麼好搶的了，於是呂布帶著軍隊進入了荊州劉表的地盤。
劉表一聽呂布竟然帶著手下軍隊跑到荊州的地盤上搶掠，有一種氣的要吐血的衝動，當下派了手下大將蔡瑁點了三萬兵馬前往圍剿呂布這夥已經徹底淪為匪徒的隊伍，劉備聽說蔡瑁帶著三萬大軍前往圍剿呂布，與龐統商議了一番後，覺得這是一個發展手下軍隊的機會，於是劉備跑的去慫恿劉琦出兵攻打呂布，劉琦本人是個沒有什麼主見的人，手下也沒有什麼幫助他的人，一聽劉備的慫恿，便上書向劉表請戰，劉表雖然不喜歡劉琦，但劉琦畢竟是他的兒子，心中也希望自己的這個兒子能有所出息，於是同意了劉琦帶著手下軍隊攻打呂布。
呂布帶著手下穿過荊州的零陵郡，進入了長沙等地大搶特搶了一番，將所有的財物和人口都搶到了零陵郡中，這些地方的人口都很少，荊州的南方四郡都是人口少，經濟落後的地方，前些時候還被甘寧帶著人搶掠過一番，所以呂布進入這荊州的南方四郡後，能搶到的東西並不多，不過這樣一來，卻是徹底斷送了劉表對荊州南方四郡的統治，這四郡當地的那些大家族不得不帶著全族的人遷移到荊州的北方四群，這些當地的大家族一遷移，對於當地的統治自然也就失去了，呂布這回也聰明瞭一次，在搶掠時沒有再胡亂的殺人，而是把四郡人口遷移到了零陵郡中，四個郡剩下的人口不多，但是填充在一個郡中，卻也讓零陵郡恢復了不少的生機，呂布將軍隊駐紮在這裡不再走了，關起門來繼續做他的皇帝。
蔡瑁帶著手下三萬人，加上劉琦手下帶著一萬人，四萬大軍殺向了呂布所在的零陵郡，劉備看到蔡瑁所帶著的三萬大軍，心中很羨慕，對身旁的龐統道：“先生，備若是有這三萬軍隊，何愁大事不成啊，那劉荊州，空有著十數萬的大軍，這麼多年來，竟然一直只守著個荊州不放，實在是太浪費了上天給與他的這些優勢，唉……”
“主公，蔡瑁領著的這三萬大軍，將來一定會落在主公手下的，此番行動，是上天給主公的，荊南四郡雖然地廣人稀，但卻很適合主公的發展，主公若是能佔據此地，只要大力發展屯田之策，同時招撫那些山越人，將山越人整編，將可讓主公得一支在南方的能戰之兵，若是能有數年的休養生息，主公日後組織起一支十萬人的大軍也不是不可能的……”龐統的話，更多的其實是在安慰劉備，因為他所說的情況是在最好的情況下才有可能，劉琦手下一萬來人，蔡瑁手下三萬來人，呂布手下二萬多人，這總共就有六萬多人數，如果能夠順利的滅了呂布，不損傷什麼士兵的話，再用詭計把蔡瑁給收拾了，那麼劉備最起碼也就有了六萬人，荊州南方四郡有漢人口大約二十多萬，另有山越人大約也是二十多萬，如果劉備把山越人收服了，劉備最後要湊出一支十萬人的大軍還是可以的。
劉備一聽龐統話，便知道龐統贊同自己的想法，心中不由的高興起來，看向蔡瑁的那三萬大軍，眼中也多了一絲貪婪的神色，龐統看到劉備眼中閃過的那一絲貪婪之色，心中不由的暗自了一聲，心想自己跟隨的這個主公，確實也是一代梟雄，可惜上天給他的機會不多，在爭霸天下這場遊戲中，主公他落在人後太遠了，如今就算管樂復生，孫吳再世，只怕也難以逆天了，那位洛陽的劉民，已經將北方全都掃平了，挾北方的人口和經濟的強大，只要不犯太大的錯誤，這天下，最後一定會落在那位劉民的手中，主公他，充其量可以在南方偏安一陣子，運氣好的話，也許是幾十年，運氣不好的話，恐怕就是幾年的光景了。
龐統是一個心懷大志的人，他與諸葛亮一樣，都是那種喜歡挑戰困難的人，越是困難，龐統便越是覺得有鬥志，因為只有那樣，才能證明他的才能是如何的驚人，至於螳臂當車，枉死百姓的事，龐統與諸葛亮一樣根本就不在意，歷史上的諸葛亮他們剝去光環後，就是一個窮兵黷武的傢伙，對劉備而言，他們是有功勞的，但對漢人而言，卻都是罪惡滔天的人，如果不是他們這些人的存在，曹操在赤壁時能一統天下的話，就可以騰出手來對付北方的胡人，那麼，也許就沒有後來的五胡之亂了，就象現在，劉民一統北方之後，天下大勢已經很明顯了，可是象龐統宋的人，為了證