苻堅依仗自己的兵多，他不等各路人馬到齊，就命令苻融向普軍發動猛烈進攻。十月，胡彬的水軍還沒有到達壽陽，苻融就把壽陽攻破了。胡彬在半路上聽到壽陽失守的訊息，被迫把部隊退到一邊是河水，一邊是高山的硤石（今安徽鳳台西南），在這個地勢險要的地方紮下營來。專等謝石大軍的到來。苻融佔領了壽陽以後，一面派兵圍攻硤石，一面派梁成率領五萬軍隊控制了洛澗（即洛水注入淮水的地方，在今安徽淮南東）。梁成封鎖了淮水，阻止從東面來援的謝石、謝玄大軍。謝石命令晉軍在離洛澗二十五里的地方，駐紮下來。
謝石的大軍不能前進，被圍困在硤石的胡彬水軍就孤立了，眼看軍糧就要吃光，情況十分危急。為了迷惑敵人，胡彬命令士兵們拿著簸箕，天天在河岸上揚簸沙土，使遠處的秦軍看見，好象是在揚米，表示自己的軍糧還很充足；同時，他又給謝石寫了一封告急信，說：“現在敵軍勢力很大，這裡的軍糧已經吃完，情況十分緊急，恐怕再不能和大軍相見了。”他把密信交給了一個親兵，叫他乘夜突圍出去，送給謝石。不幸這個親兵在途中被秦軍捉住，告急的密信也給搜去了。苻融得到胡彬缺糧的情報，立即派人星夜到項城去報告苻堅，說：“現在晉軍人少糧盡，正是打敗他們的好機會，應該馬上發動進攻，不能叫他們跑了。”
狂妄自大的苻堅正在為攻佔項城沾沾自喜，聽到苻融的密報，更是心花怒放。當天晚上，苻堅把大軍留在項城，悄悄地帶領八千名輕騎兵，不分晝夜地奔往壽陽。他到達後，和苻融計議了一下，決定先派朱序到晉軍去勸降。朱序原來是東晉防守襄陽的將領，襄陽失守時被俘。朱序到晉營後，不但沒有勸降，反而向謝石透露了秦軍的真實情況，並且建議謝石：應乘前秦各路兵馬還未集中，立即發起反攻，只要打敗它的前鋒，挫傷它的銳氣，秦軍是不難打敗的。謝石和謝玄等仔細地研究了朱序的密報，決定派劉牢之帶領五千名北府兵，夜襲洛澗。劉牢之是北府兵的有名勇將，他在戰鬥中，斬殺案將梁成。秦軍失去主將，無心再戰，晉軍乘勝追擊。謝石率領晉軍主力渡過洛澗，在淝水東面的八公山（今安徽壽縣東北）下，紮下營寨。
洛澗方面失利的訊息接二連三地傳到壽陽，苻堅心中忐忑不安，他和苻融一起登上壽陽城樓，瞭望晉軍的動靜。他向東望去，只見晉軍陣容嚴整，旗號鮮明，不由得暗自吃了一驚。他迎風向北遠望，恍惚之間，好象八公山上，漫山遍野都是晉軍。他感到十分意外，轉身對苻融說：“你看，晉軍這麼多人馬，明明是強敵，怎麼能說他們是弱軍呢！”他連忙下令，要各軍嚴密防守淝水防線，沒有他的命令，誰也不許渡水出擊。其實，八公山上哪裡有什麼晉軍呢，是北風把山上的草木吹得左右搖擺。苻堅因為內心慌亂，造成錯覺，誤以為是晉軍在那裡練兵習武哩！這段史實，就是後來“草木皆兵”一句成語的來歷。
秦軍雖然在洛澗吃了敗仗，銳氣受到一些挫折，但是人數仍然比晉軍多好幾倍。晉軍只有速決，才有取勝的可能。普將謝玄派人用激將法去對苻融說：“將軍領兵深入我境，卻沿淝水佈陣，這是作持久的打算，哪裡是要進行決戰呢？如果你們把陣地稍稍向後移動一下，讓出一塊地方，使晉軍渡過淝水，兩軍決一勝負，不是很好嗎？”苻融把晉使的要求報告給苻堅，苻堅不顧諸將反對，同意將陣地後撤，以便趁晉軍渡河時進行突然襲擊，一舉打敗晉軍。
到了約定的日子，苻堅傳下將令，叫秦軍拔營後退。秦軍本來內部不穩，陣勢混亂，這一撤更加造成陣勢大亂。謝玄等帶領八千騎兵乘勢搶渡淝水，展開猛烈攻擊。朱序在陣後高喊：“秦軍敗了，秦軍敗了！”秦軍後方部隊一聽，一時分辨不清是真是假，爭著選命。苻融趕快跑到陣後去阻止隊伍後退，被亂軍衝倒坐騎，死於晉軍刀朝之下。苻堅看到前線這樣大敗，嚇得喪魂落魄，慌忙跳上戰馬，混在亂軍中狼狽奔逃。晉軍乘勝猛追，秦軍人馬互相踐踏，死傷很多。倖存的秦軍官兵晝夜不停地奔跑，連頭也不敢回一下，甚至聽到隨風吹來的鶴叫聲音也以為是晉軍追兵到了。這就是後來“風聲鶴唳成語的來歷。那時候；正是十一月，天氣嚴寒，這些逃出來的秦兵，在驚慌的同時，更伴隨著凍餓，又死亡了不少。苻堅本人也中箭負傷。他逃回洛陽時，原來的幾十萬大軍，只剩下十幾萬殘兵敗卒了。
淝水之戰是東晉和十六國時期最大的一次戰爭。前秦從大舉進攻到淝水決戰，前後只有四個月的光景，就全線崩潰了。經過這一戰，東晉相對穩定的局面得到了鞏固，江南的經濟、文化進一步發展。