伍彥柔正欲向宋軍陣地攻擊，忽見宋軍從背後殺來，急令回軍，潘美卻領兵又迎頭釘來，兩下夾攻，南漢兵馬大亂。伍彥柔急忙下了涼轎，拿一柄鬼頭砍刀，引殘部且戰且走，想退人賀州城內自保。可是宋兵馬隊如旋風般捲來，伍彥柔措手不及，早被宋兵砍翻在地，被宋朝步兵擁上去擒獲，南漢的數萬大兵，便都潰散，各自逃生去了。
那伍彥柔被擒獲，因傷重已奄奄一息，不久死去。潘美遂令割下首級，用竹杆挑了，引軍復又把賀州圍住，揮舞著伍彥柔的頭顱向城內示威。可是守城的賀州刺史陳守忠，仍督促士卒堅守。
宋軍隨軍轉運使王明向潘美建議道：“此城雖固，但城坦不高，不如由末將所統步士兵及輜重，負土鎮壕。堆土成丘，便可攻破此城，如拖延日久，敵援兵到來，攻打便不易了。”
潘美同意了他的建議，王明便率領輜重兵，以車運土，在潘美指揮弓箭的掩護下，逼近城壕，往來運土，隨徵民夫數千人也參加進來，不久便填平一段城壕，土丘直達城頭。南漢兵大懼，刺史陳守忠，只好開門出降。
潘美進駐賀州，便揚言要順賀江南下，直取廣州。訊息傳到廣州，劉鋹急得無法，來好再派使者，到潘崇徹府上多方乞求，並加官晉爵，潘崇徹才答應領兵三萬，屯於賀江口作為廣州屏障。潘美卻趁此機會，出兵西向，佔領了昭州和桂州，又揮兵東進，攻下了連州。
南漢主見宋兵東征西討，並不順江南下，便對群臣說起湖塗話來，他說道：“昭、桂、賀、連四州，本屬湖南地盤，宋軍收回之後，應當滿足，不會南下了。”便不介意。
誰知停不了數日，潘美大軍便由連州直趨韶州。如�