蕭山遠不是紹興府城，面對張弘範的大軍，張世傑明白很難堅守住。
張世傑這個時候想起來藍玫瑰的建議，他回到都指揮使府，就接到藍玫瑰給他的建議，可是對於藍玫瑰的建議，張世傑第一個印象就是藍玫瑰瞧不起他，難道我張世傑就靠你指揮才會打勝仗嗎？一來氣把這個建議扔到一邊。如今這個時候才去想藍玫瑰的建議。
如果部隊向回集中，那樣整合神龍四廂的兵馬是十萬，加上京城兵馬是共計十三萬。足可以和伯顏全部集中的兵力二十萬大軍對抗。現在想起來有什麼用，自己又一次失敗了。不過張世傑一琢磨，他還有三萬人，王勝還有兩萬五，譚勇還有兩萬五加上京城留下的三萬兵馬，還有十多萬，堅守臨安應該沒問題。就在他準備下令撤退的時候，接到戰報，伯顏的十萬大軍進攻廣德，神策軍面對蒙古十五萬大軍的進攻，無力阻擋，廣德失陷。湖州被圍攻，神策軍傷亡不小，陳宜中竟然下令讓京城的安遠軍出兵奪回廣德。
張世傑終於大驚失色。如果安遠軍再離開京城，臨安就是一座空城。自己撤退了怎麼辦？只好下令死守蕭山。快馬進京阻止這樣的行為。張世傑現在後悔死了，如果當時聽藍玫瑰的建議，哪有如此之敗？他是都指揮使，認為自己有指揮打仗的權力，回臨安應該能阻止這樣的兵力調動。把在蕭山的指揮交給定遠軍都虞候黃顯，把喬明羽免職，神威軍、神襄軍、定遠軍合為一起，由黃顯指揮堅守蕭山，張世傑趕回臨安。
張世傑出現在大殿上的時候，看到的是驚慌失措的大臣，這個時候已不是上朝時間，但是滿朝文武有不少人還在大殿上，張世傑還沒等發問，陸秀夫說道：“張大人，蘇州失守，譚勇的神武軍被擊潰，現退守嘉興，部隊傷亡過半，只有王勝的軍隊還在湖州堅守，已被蒙古大軍包圍如何是好。”
張世傑問道：“安遠軍呢？”
陸秀夫嘆口氣說：“安遠軍在增援廣德的時候，在安吉被蒙古軍擊潰，退守德清。”
張世傑臉色發白問道：“誰同意安遠軍增援奪回廣德的？”
陸秀夫說道：“陳丞相一力主張奪回廣德，因為那時候蘇州沒有失守，紹興也沒有失敗，只有一個廣德失守，認為奪回廣德完全可以，所以我也同意了。”
張世傑想發火，可是他有資格發嗎？當初文天祥主張聽藍玫瑰的建議，陳宜中把藍玫瑰弄到罪人的那一面，張世傑想證明自己的能力，支援了陳宜中的論調。最後戰局是按著張世傑安排執行的，現在全面崩潰。好半天說道：“藍大人那面什麼情況？”
文天祥說道：“徽州方面沒有訊息，只是知道蒙古軍全被擋住，並沒有攻進徽州。”
張世傑想想說道：“陸大人，文大人，現在怎麼辦？”
陸秀夫說道：“你是指揮使，你看怎麼辦？”
張世傑心裡有些不滿意，他認為陸秀夫這是在堵他，前期計劃自己安排的，這時候陸秀夫這樣說不是明顯在埋怨自己嗎？有心說出來，可是責任確實在自己，也無話可說。文天祥看出來了說道：“我的意見立即通知王勝將軍，放棄湖州，兵力退回德清，和安遠軍合到一起堅守。讓譚將軍後退到餘杭堅守，張大人那邊堅守蕭山，派人把情況報給藍大人看看有什麼辦法。
張世傑知道這就是藍玫瑰當初提出的建議，本來也想這麼辦的，但是自己說不出口，本來想讓陸秀夫說出來，可是陸秀夫卻把問題推了回來，讓他心裡有了怒氣。這時文天祥說出來，給了張世傑臺階也就說道：“那就這樣辦吧，如果二位不反對本將下令。”
陸秀夫本意是怕張世傑不滿，想徵求他一下意見，可是這一個表示反倒讓張世傑誤會了，心裡也很後悔。聽張世傑的話說道：“就這樣辦吧，我派人去徽州問一下怎麼辦？”
張世傑沒說什麼，猛然想起來問道：“怎麼沒見陳大人？”
陸秀夫搖搖頭說：“今天上朝沒來，可能是昨天事情的原因吧。”
張世傑問道：“昨天怎麼了。”陸秀夫沒說。
文天祥說道：“昨天接到報告蘇州失守，安遠軍戰敗。陸大人要求請藍大人回京域指揮，陳大人反對。”
張世傑看看大殿上沒有太皇太后問道：“太皇太后和皇上呢？”
陸秀夫說道：“皇上突然病了，提前退朝，大家還沒有什麼定論，陳丞相又沒有來，聽說你回京就在這等著呢？”
張世傑這才注意到大殿上沒有多少人，只有站到陸秀夫這邊的人在，說道：“那我傳令讓王勝將軍撤到德清，明日早朝找到陳