是好朋友，經常在會稽東山遊覽山水，吟詩談文。他在當時計程車大夫階層中名望很大，大家都認為他是個挺有才幹的人。但是他寧願隱居在東山，不願做官。有人推舉他做官，他上任一個多月，就不想幹了。當時在士大夫中間流傳著一句話：“謝安不出來做官，叫百姓怎麼辦？”
到了四十多歲的時候，他才重新出來做官。因為謝安長期隱居在東山，所以後來把他重新出來做官這樣的事稱為“東山再起”。
苻堅強大起來以後，東晉的北面邊境經常遭到秦兵的騷擾。朝廷想找一個文武全才的將軍去防守邊境。謝安把自己的侄兒謝玄推薦給孝武帝。孝武帝把謝玄封為將軍，鎮守廣陵（今江蘇揚州市），掌管江北的各路人馬。
謝玄也是個軍事人才。他到了廣陵以後，就招兵買馬，擴大武裝。當時有一批從北方逃難到東晉來的人，紛紛應徵。他們中間有個彭城人叫劉牢之，從小練得一身武藝，打仗特別勇猛。謝玄派他擔任參軍，叫他帶領一支精銳的人馬。這支人馬經過謝玄和劉牢之的嚴格訓練，成為百戰百勝的軍隊。由於這支軍隊經常駐紮在京口（今河蘇鎮河市），京口又叫“北府”，所以把它叫做“北府兵”。
這一回，苻堅率領百萬大軍進攻東晉，謝安決定自己坐鎮建康，派弟弟謝石擔任征討大都督，謝玄擔任前鋒都督，帶領八萬軍隊前往江北抗擊秦兵，又派將軍胡彬帶領水軍五千到壽陽（今安徽壽縣）去配合作戰。
謝玄手下的北府兵雖然勇猛。但是前秦的兵力比東晉大十倍，謝玄心裡到底有點緊張。出發之前，謝玄特地到謝安家去告別，請示一下這個仗怎麼打法。
哪兒知道謝安聽了像沒事一樣，輕描淡寫地回答說：“我已經有安排了。”
謝玄心裡想，謝安也許還會囑咐些什麼話。等了老半天，謝安還是不開腔。
謝玄回到家裡，心裡總不大踏實。隔了一天，又請他的朋友張玄去看謝安，託他向謝安探問一下。
謝安一見到張玄，也不跟他談什麼軍事，馬上邀請他到他山裡一座別墅去。到了那裡，還有許多名士先到了。張玄要想問，也沒有機會。
謝安請張玄陪他一起下圍棋，還跟張玄開玩笑，說要拿這座別墅做賭注，比一個輸贏。張玄是個好棋手。平常跟謝安下棋，他總是贏的。但是，這一天，張玄根本沒心思下棋，勉強應付，當然輸了。
下完了棋，謝安又請大夥兒一起賞玩山景，整整遊玩了一天，到天黑才回家。
這天晚上，他把謝石、謝玄等將領，都召集到自己家裡，把每個人的任務一件件、一樁樁交代得很清楚。大家看到謝安這樣鎮定自若，也增強了信心，高高興興地回到軍營去了。
那時候，桓衝在荊州聽到形勢危急，專門撥出三千名精兵到建康來保衛京城。謝安對派來的將士說：“我這兒已經安排好了。你們還是回去加強西面的防守吧！”
將士回到荊州告訴桓衝，桓衝很擔心。他對將士說：“謝公的氣度確實叫人欽佩，但是不懂得打仗。眼看敵人就要到了，他還那樣悠閒自在：兵力那麼少，又派一些沒經驗的年青人去指揮。我看我們準要遭難了。”
淝水之戰
謝安派出的將領胡彬，率領水軍沿著淮河向壽陽進發。在路上，他得知壽陽已經被前秦的前鋒苻融攻破。胡彬只好退到硤石（今安徽鳳台西南），紮下營來，等待謝石、謝玄的大軍會合。
苻融佔領壽陽以後，又派部將梁成率領五萬人馬進攻洛澗（在今安徽淮南東），截斷了胡彬水軍的後路。晉軍被圍困起來，軍糧一天天少下去，情況十分危急。
胡彬派出兵士偷偷送信給謝石告急，說：“現在敵人來勢很猛，我軍糧食快完，恐怕沒法跟大軍會合了。”
送信的晉兵偷越秦軍陣地的時候，被秦兵捉住。這封告急信落在苻融手裡，苻融立刻派快馬到項城去告訴苻堅。
苻堅一連得到秦軍前鋒的捷報，更加驕傲起來。他把大軍留在項城，親自率領八千名騎兵趕到壽陽，恨不得一口氣把晉軍吞掉。
他到了壽陽，跟苻融一商量，認為晉軍已經不堪一擊，就派了一個使者到晉軍大營去勸降。
那個派出的使者不是別人，恰恰是前幾年在襄陽堅決抵抗過秦軍、後來被俘虜的朱序。
朱序被俘以後，雖然被苻堅收用，在秦國當個尚書，但是心裡還是向著晉朝。他到晉營見了謝石、謝玄，像見了親人一樣高興，不但沒按照苻堅的囑咐勸降，反而向謝石提供了秦軍的情報。他說：“這次