滅後，劉黑闥躲回漳南老家，閉門不出。
當時，唐高祖李淵下詔徵調竇建德舊將範願、高雅賢、曹湛等人去長安待命。這幾個人聞訊很驚惶，聚在一起商量道：“王世充以洛陽城降於唐朝，手下猛將如單雄信等幾十人都被斬首，我們這些人到長安，肯定沒有生存的機會。而且，從前我們夏王竇建德俘獲淮安王李神通，好吃好喝好招待，禮送他回唐國。唐家現在捉得夏王，馬上就加以殺害，我輩如不替主公報仇，也真羞見天下人啊。”計議已定，幾個人就決定起兵反唐。
卜卦問巫，巫師說以姓劉的為主師能夠大吉大利，他們就前往漳南去見竇建德舊將劉雅。不料，劉雅認為天下已平，樂得在家當小地主，不願起事。幾個人大怒，怒斥劉雅不義，竟殺之而後去。
此時，大家又想起多奇略、善將兵的劉黑闥，前往一見，陳說因由。劉黑闥大喜，殺牛會眾，一下子就招得百十號人，一舉襲破漳南縣城。接著，他們又大敗唐朝貝州和魏州兩個刺史所統率的正規軍。
唐高祖武德四年（公元621年），劉黑闥設壇於漳南，祭奠竇建德，自稱大將軍，正式大舉起兵。唐朝淮安王李神通等人征討，都大敗而去，就連一世雄傑的李世勣，也被劉黑闥打得只剩一人逃免，屬下五千人被殺得乾乾淨淨。竇建德故將舊吏紛紛響應，突厥頡利可汗也派人馬來援，半年之間，劉黑闥竟全部恢復竇建德原先的地盤，稱漢東王，建元天造。
劉黑闥行軍施政，都一如竇建德舊法，但“攻戰勇決過之”。無奈何，秦王李世民又親自率兵攻討。洺水一戰，李世民又折親�