麼用意嗎？”陸抗說：“他既然對我們施予恩德我怎麼能沒有東西來酬答他呢？”眾人都感到驚訝不解。
來人回到羊祜那裡，把陸抗的問話和送酒的事一一陳述給羊祜聽。羊祜笑著說：“他也知道我能喝酒嗎！”於是命令開啟壺蓋取酒來喝。部將陳元說：“這其中恐怕有詭計，都督您應該慢慢喝。”羊祜笑著說：“陸抗不是下毒的人，不必疑慮。”竟然一口氣把酒壺裡的酒都喝光了。從此，雙方使者互相通問，經常往來。
有一天，陸抗派人去問候羊祜。羊祜問：“陸將軍身體好嗎？”來人說：“主帥臥病在床數日未出。”羊祜說：“我猜他的病和我相同。我已經配好了成熟的藥，可以送給他服用。”來人拿著藥回去見陸抗。眾將說：“羊祜是我們的敵人，這藥一定不是好藥。”陸抗說：“哪有毒死人的羊叔子呢！你們不要懷疑。”於是就服下了藥。第二天病就好了，眾將都來拜賀。陸抗說：“他專門用德行，我專門用暴力，這樣他就會不戰而使我屈服。現在我們應該各自保衛疆界，不要貪圖小利。”眾將領命。
忽然報告說吳主派使者來到，陸抗接入問其來意。使者說：“天子傳旨給將軍：趕快進兵，不要讓晉人先進入。”陸抗說：“你先回去，我隨後就有奏章上奏。”使者辭去後，陸抗就寫了一份奏章派人送到建業。近臣呈上奏章，孫皓拆開觀看，奏章中詳細說明了現在不能攻打晉朝的情況，並且勸吳主修德慎罰，以安定內部為念，不應當以濫用武力為事。吳主看完後大怒說：“我聽說陸抗在邊境和敵人私通，今天果然如此！”於是就派使者罷免了他的兵權，降為司馬，卻命令左將軍孫冀代替他領軍。群臣都不敢進諫。
吳主孫皓自從改元建衡以來到鳳凰元年期間恣意妄為、窮兵黷武、屯戍邊疆導致上下無不嘆息怨恨。丞相萬彧、將軍留平、大司農樓玄三人見孫皓無道就直言苦勸卻都被他所殺。前後十多年裡殺了忠臣四十多人。孫皓出入時常常帶著五萬鐵騎侍衛讓群臣感到恐怖而無可奈何。
卻說在聽說陸抗被罷兵和孫皓失德之後羊祜認為吳國有可乘之機於是就寫了一份奏章派人送往洛陽請求討伐吳國。奏章的大致內容是：雖然命運是由天所授予的但是功業卻必須依靠人來完成。現在江淮的險要並不如劍閣孫皓的殘暴也超過了劉禪吳國人民的困苦更是甚於巴蜀然而大晉的兵力卻比過去更加強盛。不在這個時候統一四海卻還要相互對峙讓天下人民困於征戰和戍守之中經歷盛衰之變這是不可能長久的。
司馬炎看到奏章後非常高興便下令興師伐吳。但是賈充、荀勖、馮紞三人卻極力勸阻說現在不能出兵於是司馬炎就放棄了出兵的打算。羊祜聽說皇上沒有批准他的請求嘆息道：“天下不如意的事情十有八九。現在上天賜給我們機會卻不去奪取豈不是太可惜了嗎！”到了咸寧四年羊祜入朝向司馬炎奏請辭官回鄉養病。司馬炎問他：“你有什麼安邦之策可以教給我嗎？”羊祜說：“孫皓暴虐已極現在可以不戰而勝。如果孫皓不幸去世另立賢明的君主那麼吳國就不是陛下所能得到的了。”司馬炎恍然大悟說：“你現在就提兵去攻打吳國如何？”羊祜說：“我年老多病不能擔當這個重任陛下還是另選智勇之士吧。”於是就辭別了司馬炎而歸鄉了。在那年十一月羊祜病危司馬炎親自駕車來到他家裡問候他的病情。當司馬炎走到他的臥榻前時羊祜流淚說：“我即使死一萬次也不能報答陛下啊！”司馬炎也哭著說：“我深深悔恨沒有采納你的伐吳之策。今天誰可以繼承你的遺志呢？”羊祜含淚說：“我就要死了不敢不盡我的愚誠。右將軍杜預可以擔當這個重任如果要伐吳必須任用他。”司馬炎說：“舉薦賢才是美事啊你為什麼在朝廷上推薦人才之後卻自己燒掉奏稿不讓別人知道呢？”
羊祜說：“在朝廷上接受官職，卻在私人家裡拜謝恩賜，這是我不能做的事情。”說完這句話後就去世了。晉武帝司馬炎大哭著回宮，下令追贈羊祜為太傅、巨平侯。南州的百姓聽到羊祜去世的訊息，都停止了市場交易而哭泣，江南守邊的將士也都哭泣。襄陽的人們懷念羊祜在世時的日子，他常常遊覽峴山，於是人們在那裡建廟立碑，四季祭祀他。來往的人看到那塊碑文，沒有不流淚的，因此那塊碑被稱為“墮淚碑”。後來有人寫詩讚嘆道：
曉日登臨感晉臣，古碑零落峴山春。
松間殘露頻頻滴，疑是當年墮淚人。
晉武帝按照羊祜的建議，任命杜預為鎮南大將軍，都督荊州事務。杜預為人穩重練達，好學不倦，最喜歡讀左丘明的《春秋傳》，無論坐著還是躺著都常常隨身攜帶，每次