匈奴和南討南越的軍隊，總計八十萬人馬，相當於現在中國現役軍人的三分之一，而當時秦朝只有三千萬的人口——不足現在中國的3％。可以想象，這給國家帶來的負擔是很重的。
對外打仗不光徵發了人口，也影響了沒被徵發的人。那些留在家裡種地的人，日子也不好過，需要交糧納稅。為了支援戰爭，秦王朝收取的賦稅就超出了從前的標準。賦斂無度，竭盡民財，必然引發內部動亂。
可是，秦始皇為什麼非要出去打仗，從而導致對民力和稅收的徵用都增加，引發內部動盪呢？不去打匈奴和南越，或者過些年國家有餘力的時候再去打，不就可以緩解人們的焦苦，自己的政權也容易穩定了嗎？
沒辦法，秦始皇非要這麼做。這首先跟他的急躁心態有關，他覺得要趕緊給子孫創造一個安穩舒坦的基礎。現在六國已滅，而且也比較恭順，唯一能威脅我們的，就是外面的四夷了。我的子孫很可能沒有我這樣偉大出色的能力，所以我先打垮了匈奴南越，這樣子孫可以二世、三世地一直舒舒坦坦傳下去。
秦始皇不太信任別人，整天自己看奏章和批公文，就體現了這一點，所以他也不太放心和信任自己的子孫。
秦始皇打匈奴及相應的修長城，這是造成秦朝搖動國本，民怨四起的直接原因。不過，也要詳察一下，根據史書記載，就在五年後，匈奴裡邊有個狠角色叫做冒頓的，用響箭把自己的老爹和老爹的寵妾都射殺了，開始了兼併統一匈奴諸部的征程。也就是說，在秦始皇攻擊匈奴的時候，匈奴還是未統一各部的狀態，一旦匈奴走向統一，將勢不可當。
只是事與願違。打匈奴和南越也導致徵用民力和物資太多，使得新建立的帝國出現不穩定因素。
另外，秦始皇下面的人，乃至一般民眾（指秦國本土的），也都是好事之徒。秦國原本是個偏居西陲的落後國家，但是篤信和執行了法家的治國之術，於是成功。法家主要是以賞功原則作為激勵官吏和民眾的手段，於是秦人都願意立功取利，每次出去打仗都像去商場搶購一樣踴躍，急著立功以博取田宅爵祿，改善自己的生活。到了秦王朝建立以後，沒有什麼仗可打了，人們怎麼立功博取爵祿呢？這時候的戰將和大臣就會想，我有這麼高的官位和富貴，是因為從前立了功，陛下賞賜給了我爵位田宅，那我怎麼保住這些爵位田宅不被陛下收回去，或者不被其他家族奪了去呢？那就要繼續再立功、再打仗從而維護爵祿乃至增益爵祿。
民眾們也是一樣，從前在兼併六國過程中，斬敵人首級都能得到田宅爵位和奴婢的賞賜，隨著家庭人口的增加，生活壓力的加大，他也願意再有打仗和立功得爵、宅的機會。秦中央也希望民眾以力致富，透過打仗和努力種地交糧，而獲得爵祿。所以中央也希望對外打仗。
那麼，現在打誰呢，那就出去打匈奴和南越吧。
終於這樣下去，要乾的事情太多，超過了帝國和民眾所能承受的程度，乃至給帝國帶來危機。秦王朝與賞功原則，可謂成也由之，敗也由之。
南北興兵的兩年後，公元前212年，秦始皇決定再搞三個土木專案。一是修直道。從咸陽向北修到北方邊境，全長700公里，穿山越谷，目的是為了配合打匈奴，一旦北方有警，陝西關中的軍隊可以迅速運到邊境。
第二，造阿房宮。秦始皇覺得現在的咸陽城人多，而皇宮有點小，於是又在城外啟動了阿房宮工程，其主體宮殿內可坐一萬人，相當於一個萬人體育場。宮門是用磁石作的，防止恐怖分子帶著鐵兵器進入“體育場”。
其實，在修阿房宮之前，秦始皇已經陸續修了許多宮室了。最終，以咸陽為中心，秦王朝的宮殿群向四個方面鋪展開來，據說關中地區有三百座，關外有四百座。這些宮室也不光是秦始皇一個人住。秦始皇建立秦朝後，沒有給自己的功臣們分封土地，也沒有把天下做成若干諸侯國封給自己的兒子們，而是全變成了皇帝派流官直接管理的郡縣，這是秦不同於從前春秋戰國分封制的地方。不封功臣和皇室子弟，那總得給他們富貴吧，所以這些宮室，大約也是為了安置和賜予大量宗族子弟和功臣的。
第三個專案卻是給秦始皇一個人用的——修驪山秦始皇陵。
雖然開始修秦始皇陵了，但秦始皇並沒有想到自己很快就要住進去了。
秦始皇之死
兩年以後，公元前211年，秦始皇開始了第四次巡行，也是他最後一次出巡。這次與以前的不同，跨時將近一年，除了視察地方兼有到各地去向山川神靈祈禱延