紫荊關屬“太行八陘”第七陘，從河北入山西若不經過這裡就要再多繞很多路，所以李不棄只要卡住這裡，就短時間斷絕了山西和河北遼軍之間的通訊。但李不棄也不敢大膽地休息，為了防備遼人繞道奉聖州，也就是涿鹿給蔚州遼軍送信，讓遼軍據住出山的山口，他派遣已經在紫荊關駐紮數天的五百騎兵立即啟程控制出山的山口。
李不棄之所以選擇走飛狐，是因為這一代雖然本有大量遼軍，但是因為遼夏戰爭還沒有完全停止，抽調了不少兵力集結於大同以兼顧對宋、夏兩國施壓，所以蔚州、飛狐、靈丘的兵力被大大削弱了。根據李不棄的情報，飛狐只有兩千人的老弱遼軍虛張聲勢，因此只要不被遼軍堵住山口，那麼就完全有把握一衝而過。
本來從飛狐可以直接往南進入大宋境內的，因為當年那個自以為是的宋太宗伐遼就曾反方向從這條路上進兵。但是現在大宋在邊境種了大量樹木，大量騎兵和馬群卻很難透過了。因此李不棄只能繼續衝下下一站靈丘。靈丘也只有四千遼軍，精銳很少。他拿下靈丘是很難，但是要衝過去，遼人卻也攔不住。
只要衝過靈丘，前面就是通往大宋境內的大路了。
還是用長城口的故計，派兵卡住往山西去的山谷一側，把馬匹放養再說山谷中，用從路上掠來的糧草餵養。
在馬背上顛簸一天一夜，就算是能輪換上車休息，振武軍的步兵們也累得不行了，大多數人都要人幫助才能從馬上下來。有些人下馬之後隨便找個背風的地方往那裡一躺就酣然入睡。李不棄估計如果沒有從涿州附近搶來的那些皮毛，自己手下計程車兵很多都會被活活凍死。
騎兵們因為被李不棄從陝西找來的番人的魔鬼訓練教出了在馬上睡覺的本事，因此還好一些，但也一個個腿都伸不直了，卻還咬著牙喂飼馬匹。
在涿州和玉河縣的時候，李不棄就命令蒐羅了好多布袋，裝滿了大麥、小麥、高粱、豆子和乾草駝在馬背上，此時這些騎兵只是用刀子劃開布袋，讓這些東西流出來任由馬匹自己吃。至於飲水，那是實在顧不上了，只能讓馬匹去舔周圍山坡的殘雪。
不多時，關裡關外就鼾聲如雷。但是李不棄卻不敢睡覺，親自帶著楊世卿四下檢視崗哨的情況，因為現在官兵都累急了，有些人站著崗就能睡著。
結果第二天下午剛過，遼皇派的信使就被一陣亂箭射死在關城前的路上。到了下半夜，一支遼軍舉著火把來到關城下，被一頓箭雨射了回去。
就紫荊關這種一夫當關萬夫莫開的地形，沒有絲毫攻城準備的遼軍只能乾瞪眼。
但是李不棄也不敢過於託大，天不亮就把所有戰士叫起來，大張旗鼓生火做飯，然後大隊人馬偃旗息鼓出了關城，沿著彎彎曲曲的山道進入五回嶺，只留下四百騎兵在城頭保持火堆不熄以虛張聲勢。天亮後遼軍開始勤勤懇懇做起攻城準備，還沒有察覺宋軍已經撤退。
又是四十多公里的山路賓士，中午時分，李不棄面對飛狐也就是後世的淶源所在盆地的山口，種諤和騎兵指揮李奉孝向李不棄稟報：“前方並無動靜，為防打草驚蛇，末將沒敢前出太遠。”
李不棄命令：“奇怪，遼國的驛傳就是爬也該爬到蔚州了，怎麼飛狐還是沒動靜？定然是哪裡出了差錯，不能耽擱了，必須立即拿下飛狐。現在全體騎兵換馬，跟我攻擊飛狐！”
一千多騎兵立即換馬列隊，李不棄驅馬從佇列前緩緩走過，掃視著騎兵們灰塵撲撲的面容。為了激勵士氣，李不棄再次站在馬背上對騎兵們大聲問道：“你們累嗎？”
騎兵們都是一愣，不知如何回答。李不棄卻不等他們回答，繼續大喝道：“我知道你們累！但是我們身後拖著大批的追兵！只要我們停下來，就會被前面飛狐和靈丘的敵軍堵住去路，被尾隨的敵軍消滅！所以我們不能停下來，要一直向前衝！衝過飛狐和靈丘就是我大宋的疆土，我們就可以回家了！”
“現在我要你們打起精神！為了活下去！為了回家！打垮任何敢於阻擋我們的敵人！你們有沒有信心？！”
騎兵的佇列中立刻爆發出海嘯一樣的吼聲：“有信心！”
李不棄卻大喊道：“什麼？你們說什麼？再大點兒聲！”
“有信心！回家！回家！萬勝！萬勝！”
李不棄看到氣氛被徹底點燃起來，便坐回馬背上，把手一揮：“現在跟我去碾碎我們的敵人！勇士們，跟我前進！”
一千多騎兵，四千多匹戰馬便排成嚴整的隊形隆隆向飛狐進發。
但是李