京城中的太平天國高階首腦們，卻展開了一場向何處去的爭論。
早在永安突圍，圍攻長沙之際，具有相當軍事頭腦的羅大綱就提出了兩套計劃。第一策建議直接向北京進軍。以洪秀全親率大軍北上進駐河南，然後再遣有力之一部渡黃河北伐，問鼎京城。若嫌第一策過於激進，還可採取相對穩當的第二策：先平定南方九省，待後顧無憂後，分三路出師。一路出湘、楚，逐鹿皖、豫；一路出漢中，直趨咸陽，略取西北；第三路出徐、揚，席捲山東之地。待咸陽已定，自西北遣軍出山西，與山東之軍會獵燕京，大事可成。這一計劃與元末劉福通和朱元璋的北伐計劃大體相似，可見英雄所見略同。
然而攻佔天京城後，洪、楊諸人貪戀天京城的富庶繁華，已不願再親率大軍北上爭天下，一時頗顯猶豫。而太平軍中大多數人的呼聲，也只是割據江南，偏安天下。據李秀成回憶，當時有駕楊秀清座船的一名湖南老水手，到處宣言，反對進軍河南，稱：“河南河水小而無糧，敵困不能救解。爾今得江南，有長江之險，又有舟只萬千，又何必往河南。南京乃帝王之家，城高池深，民富足餘，尚不立都，爾而往河南，何也？”他又說：“河南雖系中州之地，只稱穩險，其實不及江南，請東王思之。”在這些雖佔多數，但並不高明的意見干擾下，洪、楊等人遂決定定都天京，但作為折中方案，同時也派出一支部隊北伐。
原本計劃以楊秀清為北伐軍主帥，但他患眼疾不能出征，擬改由羅大綱代行，但羅大綱鑑於僅是偏師出征，兵力薄弱，後援難繼，也拒絕了。最後，太平天國只得派出天官副丞相林鳳祥、地官正丞相李開芳率兩萬偏師北伐。
這是太平天國最致命的戰略性失策。
羅大綱計不得用，扼腕不已，偷偷對身邊人道：“天下未定，而欲安居此都，其能久乎？吾屬無類矣！”前途未定就忙著安居樂業，目光短淺至此，我們這幫人都得完蛋了！
一八五三年五月，林、李率軍出師。北伐軍入安徽，取鳳陽，隨即攻入河南，佔領重鎮歸德。北伐軍本準備自歸德府城西北四十餘里的劉家口渡過黃河，就近取道山東進攻北京，但因清軍阻撓，沒有找到渡船，只得繞道至河南鞏縣附近的汜水口偷渡黃河。
七月，北伐軍攻懷慶府不克，轉入山西，但遭清軍阻擊，只得又折回河南，從武安突入直隸，九月，前鋒已逼近保定。清王朝大為震驚，動員了僧格林沁和勝保所部兵力，還自南戰場抽調兵力北援，為阻擊和消滅這支英勇善戰的軍隊，清朝前後共動員了二十五萬兵力。北伐軍北進受阻，遂向東穿越河北平原，一八五三年九月下旬，由於在攻打河北滄州時遭到清軍頑強抵抗，北伐軍傷亡近四千人，他們則以屠殺滿、漢、回男女萬餘人作為報復。
十月下旬，北伐軍進抵天津郊區的靜海，北京城中王公大臣“皆涕泣喪膽，眼眶腫若櫻桃”，各自準備作鳥獸散了，連正陽門大市也如同荒郊。但這支以廣西老兵為主力的勇敢的部隊，一路轉戰數千裡，也到了強弩之末。因天氣寒冷，缺乏給養，而且寡不敵眾，他們在此戰敗，被迫退往阜平據守待援。然而他們望眼欲穿，援軍卻遲遲不到——胡以晃乾脆就抗命不援。曾立昌等四將雖勉強帶了七千人馬進抵臨清，但又因為意見不和鬧起矛盾來。沿途擴充的鹽梟、潰勇等新兵則挾制老兄弟屯兵不進，破城後不服從指揮，大肆搶劫後逃散。這支軍隊隨後遭到清軍反擊，曾立昌戰敗身亡。太平天國再派秦日綱赴援，秦日綱半道上折回，稱北道上官軍甚多，“兵單難往”。林鳳祥、李開芳見援軍無望，只得分頭突圍，至河北連鎮，山東馮官屯兩地後都被包圍。
熬到咸豐五年春，北伐軍在清軍重兵圍攻之下，終於全軍覆沒於連鎮、馮官屯兩地，給這次功虧一簣的北伐畫上了悲壯的句號。
北伐軍中有個湖南湘潭人彭某，奉主帥命冒死突圍前往天京求援。可當他日夜兼程趕到天京時，發現這裡已是一片靡靡昇平，壓根沒人理睬他和在北道上苦鬥的兄弟們。他求援不得，只得懷著滿腔悲憤，含淚返回軍中覆命。可等他回到陣地時，戰場上硝煙已盡……這個勇敢的老兵，就這樣帶著一身的風霜和失望，回到了湘潭老家。幾十年眨眼就過去了，當彭老太爺摸著侄孫兒德華的小腦袋，給他講這些英雄故事的時候，恐怕還是忍不住要仰天嘆息吧？這場夭亡的革命，不但影響了那個時代，更在不動聲色地影響著未來。
彭大將軍橫刀立馬的英雄形象背後，隱隱有前人的眼淚與碧血。
在北伐的同時，太平天國又發動了西征。以豫王胡