這次戰勝後，必先安營自固，然後收割麥子，不會主動進攻，這就足夠給我兩天時間行軍增援了。”於是催軍晝夜趕路，諸葛亮見魏援軍趕到，便主動撤退。司馬懿軍進逼漢陽，與蜀軍遭遇，魏軍憑險防守，嚴陣以待，蜀軍知難而退，被魏兵乘勢追至祁山，損失一萬餘人。
魏明帝青龍二年（234年），諸葛亮率軍十萬出斜合，屯兵郿縣境內的渭水南原。魏兵諸將主張在渭水以北安營紮寨，等待敵軍，司馬懿卻說：“百姓們家財積累都在渭南，那裡才是戰略必爭之地啊！”於是引軍渡河，背水結營。司馬懿又具體分析說：“諸葛亮非勇武好戰之人，如果他出兵武功，依山而動，向車進攻，那倒可值得憂慮了；如果他西上五丈原（陝西郿縣西），說明是採取守勢，諸將則無所事事了”。諸葛亮果然駐軍五丈原上，屢次派兵進攻北原，都被司馬懿預先派去據守的雍州刺史郭淮率軍擊退。
從青龍二年二月到八月，司馬懿與諸葛亮雙方數十萬大軍相持五丈原上一百多天，期間爭戰互有勝負。諸葛亮是三國時期著名政治家、軍事家、謀略家之一，司馬懿與之相比毫不遜色，二人作戰，真是棋逢對手司馬懿針對蜀軍遠道而來，糧食短缺，後勤供應緊張，利在速戰特點，決定採取守勢，以待諸葛亮糧盡退兵。諸葛亮則多次設法挑戰，並派人送去婦女衣物首飾以激怒司馬懿，司馬懿就是不予理睬，諸葛亮對此無可奈何。司馬懿也十分注意瞭解諸葛亮情況，每有蜀使到來，他不問軍機，只問諸葛亮飲食起居。當得知諸葛亮每天起早睡晚，事必躬親而所食甚少的情況時，他對諸將說：“諸葛亮食少事繁，太過勞累，還能活很久嗎？”
司馬懿的話果然應驗，時過不久，諸葛亮不幸病死軍中，蜀軍燒燬營寨，急速退走。第二天司馬懿前往觀察蜀軍營壘，觀看諸葛亮遺留事物，獲取很多圖書、糧食等，內心充滿了對諸葛亮崇仰之情，不禁深為感慨地說：“真是天下奇才啊！”魏蜀兩軍已經相持三年，至此才算告一段落，司馬懿不戰而屈人之兵，重在防禦策略取得完全成功。青龍三年（235年）正月，又升為太尉，成為全國軍政首腦人物。
景初元年（237年）七月，遼東太守公孫淵反，自立為燕王。景初二年（238年）正月，魏明帝曹叡召司馬懿回長安，派他率兵四萬伐遼。行前，君臣二人有番精彩對話，問：“公孫淵可能用什麼辦法對抗你呢？”答：“他如能棄城而逃，這是上策；佔據遼水以對抗我大軍，這是中策；如果坐守襄平（今遼寧省遼陽市），那是坐以待斃，死路一條，一定被我活捉，這是下策。”又問：“那麼此三策中，敵人最可能用何策呢？”答：“只有精明智慧之人，才能深度敵我。知己知彼，事先有所割捨，這是公孫淵不能做到的。現在我孤軍遠征，他一定認為不能持久，選擇先據遼水對抗，然後固守襄平。”皇帝又問：“來回須多長時間？”司馬懿回答：“去百日，戰百日，還百日，休息六十日，一年時間足夠了。”
景初二年六月，大軍到達遼東，一切盡如司馬懿所料。公孫淵先是派大將軍卑衍、楊祚率軍數萬屯駐遼水邊上的遼隧，挖築城壕二十多里，堅壁清野，對抗魏軍，被司馬懿整軍繞過營寨，直撲襄平。遼東軍趕快傾巢而出，拼命攔擊，魏軍趁機返身殺回，三戰三婕，遼東軍潰敗，退守襄平，司馬懿立即指揮部隊，把襄平城團團包圍。
七月，遼河流域大雨連綿，一月不止。河水暴漲，平地水深三尺，三軍都在水中，坐行不安，想要移營，司馬懿下死命令：“軍中有敢言移營者斬。”都督令史張靜往槍口上撞，冒死相勸，立刻被斬首示眾，三軍震懾，情緒漸漸穩定下來。這時城中敵軍，憑水堅守，樵夫照樣砍材，牧童照樣放牧，來往自由，視魏兵於無人之境，將領們想要捉拿他們，均被司馬懿一一封止，司馬懿對此的解釋是：“現敵軍兵多糧少，我軍糧多兵少，糧少必然捱餓，糧多則戰士吃得飽，現在大雨，不能有所作為。我軍千里而來，怕就怕敵人聞風而逃，使我大軍無功而返。今敵糧將盡，而我尚未合圍，此時如掠其牛馬，捉其樵夫，等於在驅趕敵人，促其逃走。用兵之道，在於詭異，要求善因而變。敵依仗人多，又兼天雨，以為我無可奈何他們，雖然飢困，尚不肯束手就擒，我軍應順勢而為，向其示弱，他們才會不以為急，安心防守。”不久，天氣放晴，魏兵加緊攻城，不分晝夜，城內糧食已盡，人肉相食，公孫淵山窮水盡，絕望之下，向南突圍而逃，司馬懿縱兵追趕，在梁水之濱斬殺公孫淵父子，又把襄平城中十五歲以上男子全部斬殺，屍體堆積如山，還在上面築成一座景觀作為炫耀。遼