之以向海外殖民地移民的運動。而就英國的情況來說，英國前首相迪斯雷利在1851年的一句話可以說是這一時期英國對殖民地態度的最好總結：“殖民地是掛在我們（英國）脖子上的沉重磨盤”。以英國在非洲甘比亞和黃金海岸的兩塊殖民地為例，其商業稅收遠遠趕不上行政開銷，英國議會幾次建議縮小殖民地規模或將其完全拋棄，只是由於英國皇家海軍西非分艦隊需要在幾內亞灣建立海軍據點，英國才最終保留這兩處地區。
中方參與談判的人員此前都是經過了專門培訓的，他們透過各國蒐集的資料以及洪韻兒這個歷史大百科介紹的情況，已經大體知道了現在英法整體的實力狀況。的確如英法所說的那樣，一旦他們全體總動員起來。作為工業強國，他們的潛力的確是非常強大的，但全國動員或進入戰時經濟運轉，這對本國自己的發展是非常致命的。英法是絕對不可能傻到全國動員，放棄本國經濟發展來遠東打一場貿易戰的，所以中方人員對英法的這種恐嚇始終心裡有數。
於是。李鴻章起身來說了很長的一段話，他將英法殖民地的情況作了一個分析。除此之外沒有提任何一個反駁的字眼，但明白人都知道中方表達的意思。那就是你們的恐嚇都是毫無底氣的，你們殖民地的情況如此糟糕，根本無力征調大規模的軍隊。
見雙方歪樓外的有些厲害，蒲安臣只得輕咳一聲後提醒雙方還是回到實際中來，他列舉了遠東爆發戰爭以來各國的貿易損失情況，雖然各國在《戰時遠東貿易條約》的保護下沒有停止商貿活動，但戰爭始終還是對遠東的商貿帶來了巨大的影響，而其中他列舉的英法貿易額度在最近兩年來更是慘不忍睹。最後蒲安臣說道：“先生們，現在是時候結束戰爭了，遠東需要的是和平的自由貿易氛圍，而不是戰爭，希望參戰國能夠務實一些。”
好吧，話題又回到了談判本身，雙方各自提出了己方那些離譜的條件，又開始了新一輪的爭執，最終沒有任何結果。第一輪的談判持續了三天，雙方都是在互相爭執中互不讓步，蒲安臣等國公使也無法可施，於是蒲安臣在第三天的爭吵中建議雙方休會一天，第五天的時候再重新開始談判。
休會的這天，考靈頓爵士獲准去英法租界視察，在那裡他看到了一派淒涼的景象。租界裡值錢的東西都已經不見了，也不是太平軍搶劫造成的，太平軍仍然只是派兵封鎖了租界而已，他們沒有進入租界，而租界裡任何值錢的東西都被租界裡的英法兩國人用來換取糧食、藥品和其他生活的必須物資用掉了。
考靈頓爵士見到一直堅守租界的人們時，租界的英法兩國人都是泣不成聲，其實他們根本抵擋不住太平軍任何一次攻擊，他們只是一群被圍困在圍城裡的俘虜而已。
考靈頓爵士見到了整整瘦了一圈的密迪樂，這位英國駐上海領事已經可以用枯槁來形容，密迪樂對考靈頓爵士反覆說道的只有一句話，那就是“看在上帝的份上，結束戰爭，救他們出去吧。”
考靈頓爵士大受打擊，下午他參觀了在上海的聯軍戰俘營，這些戰俘都是在上海之戰和舟山之戰中被俘的聯軍士兵，人數並不多隻有一千多人，但他們也重複著密迪樂相同的話語。對於這些人的請求，考靈頓爵士只能鄭重承諾，國家並沒有忘記他們。
上海戰俘營只是遠東關押聯軍戰俘最小的一個，更大的在廣州和北京兩處，考靈頓爵士看到他們雖然沒有被虐待，但作為戰俘，他們失去了自由，每天要幹活才能領取到食物，景象非常淒涼。
額爾金爵士對考靈頓爵士說，大部分軍官以上人員的待遇要稍好一些，士兵和普通人的待遇就差多了，對此考靈頓爵士大為感到不滿。
於是第五天重開談判的時候，考靈頓爵士一開始就強烈抗議中方用俘虜士兵幹活的惡劣行徑。對此，中方的李鴻章只反駁了一句：“他們都是侵略者，對於侵略者和不友好的人，我國從來對他們都是不會客氣的！他們的待遇已經算好的了，你們有興趣可以去北方看看俄國戰俘過的是什麼日子！”
考靈頓爵士仍舊在大聲抗議，結果導致當天的談判無疾而終，最後蒲安臣請求中方停止用戰俘來幹活這種行為，中方倒也很好說話，但他們提出要求從停止戰俘勞作開始，聯軍每天都必須支付三萬五千多名戰俘的生活費，直到戰爭結束。
對此考靈頓爵士只能捏著鼻子認了，他為此先期支付了十萬英鎊的生活費，中方倒也乾脆，馬上停止了戰俘勞作，但似乎食物還是原來的水平，並沒有改善什麼，用中方人員的話來說，這些只是換取他們不用勞作而已。