答應了他的請求，於是，咸豐十八年，堵布益帶著四條船和一百五十餘人，經由中國雲南回到河內。
雙方一開始的合作倒很順暢，但在堵布益回國的期間，給越南人發現，他的隨員有和黃崇英勾結的事實，於是惡感大生，趁堵布益不在，拘禁了他在河內的同夥。堵布益回來之後大怒，率領隨員帶武器上街，向越南官員索回被拘謹的同夥，進而焚燒越南政府的告示，襲擊越南士兵，囚禁越南官員，他還在前往雲南做貿易的途中，威脅地方官員，“如果你嘗試欲攔路，我將用機槍盡殺你等，如你讓我經過，我們將會成為世界上最好的朋友。”
越南地方官自然不會為他嚇到，於是，堵布益下令射擊越軍的工事，火燒沿江木筏以示威脅，在透過黑旗軍駐守的館司關時，由於黑旗軍在出售糧食的時候要價過高，堵布益又幾乎和黑旗軍翻臉。他狂妄的宣稱，“如果你們試試和我搗亂，我將從老開至河內全區把你們殲滅淨盡。”
堵布益這樣狂妄的言行引起越南人的不滿，而且他根本無視越南人的抗議，沒有半點收斂的意思，越南人只好派人去見交趾支那總督狄佩雷，要求他派軍艦到河內，幫助驅逐堵布益。同時，堵布益也向狄佩雷求助，以對抗越南政府。
狄佩雷兩面討好，暗中傾向堵布益，一面讓他暫時離開河內，以緩解矛盾，一面又考慮，準備趁這樣一個機會，派軍隊深入到北圻——而物色來的率領這支部隊的軍官，便是安鄴上尉。安鄴帶著56名法軍士兵、乘坐四艘小艇從西貢出發，奔赴河內。他所接受的正式命令是：調查堵布益對抗河內當局的原因及河內當局對於堵布益的指控，同時瞭解河內的對外貿易情況。
但安鄴到達河內之後，擅自為自己此行的任務增加了驅逐海島的內容，這自然遭到河內方面的反對，他們指出，“安鄴唯一的任務，就是在審判並驅逐堵布益，非以干預國家之事。”
於是，安鄴又張貼了一張告示，聲稱除解決堵布益的事情之外，“我的使命還有另外一個目的，主要在於保護商務，在法蘭西的保護下，把這個國家及其河流（指紅河）向各國開放。”同時他還向河內當局提出商約五款，並威脅說，如果不接受，就要使用武力。
到咸豐十九年的七月十九日，安鄴給河內當局致送最後通牒，威脅對方，如果天黑之前不接受他的條款的話，就要攻佔河內，俘虜巡撫。
到八月二十日，安鄴帶領的部隊和堵布益所有的武裝人員的協同作戰下，率領百餘人向河內城進攻。巡撫阮知方和兒子駙馬林組織反擊，後來駙馬林死於炮彈之下，阮知方也被俘虜，越軍一鬨而散，法軍佔領了河內，後來，阮知方絕食而死。
皇帝看到這裡，好笑的放下奏摺，捏一捏鼻樑，“這份摺子，你們都看過了？”
“是。臣等都看過了。”
“朕真不知道該說法國人能耐太大，還是越南人都是蠢豬了一百幾十人的部隊，居然就能夠佔領如斯重鎮如河內者？即便越南人都是豬吧，總也能拱倒幾個法國人吧？居然這樣就給人家殺敗了？真可笑”
賠笑說道，“越人愚笨，於此事便可見一斑。但臣弟想，越南為我大清屬國，出了這樣大的事情，朝廷總得拿出一個妥善之策，也好讓天下人不敢因此小覷了我大清的日上國力啊”
“拿什麼辦法？讓越南人自己想辦法去一群廢物。”
曾國藩明知道皇帝是在說氣話，又怕他就此議定，真將越南之事袖手不管，到時候，朝鮮、琉球等國將如何視之？因此，故意不理他的話，自顧自的說道，“皇上，法人得隴望蜀，慾壑難填。河內丟失，則北圻全境危矣。若是法人有心借越南與我大清接壤之土北上……”
皇帝的眉毛猛的一挑，“他敢？”他大聲說道，“朕才不相信，一個小小的法國，就敢大膽挑釁我大清？這時候，只怕他們連自己國內的事情還照應不過來呢還敢招惹我大清？”
“是。臣也以為，普法之戰，如火如荼，法人就是天做膽子，也絕不敢在東方與我大清交惡。但臣的意思是說，若是由得法人在越南肆虐，百姓憑遭兵燹之外，更恐有流民為避戰火，湧入我朝，為滇桂等省，平增困擾。不可不防啊？”
曾國藩這最後一點，著實是給皇帝提了醒：確實，百姓懂得什麼？自己的家鄉打仗，自然就要往平安的地方跑，廣西、雲南兩省雖然稱不上很富庶，終於還是沒有日日夜夜命懸一線的苦惱，這種難民的問題，該如何解決呢？“那，廣西和雲南那邊……”他遲疑了一下問道，“好像沒有流民湧入的奏報吧？”