当时都城在许昌，距樊城很近 ， 曹操感到威胁，为避关羽锋芒，一度准备迁都河北 。司马懿和曹椽蒋济及时劝阻：“禁等为水所没，非战守之所失，于国家大计未有所损，而便迁都，既示敌以弱，又淮沔之人大不安矣 。孙权、刘备 ， 外亲内疏，羽之得意，权所不愿也 。可喻权所，令掎其后，则樊围自解”(《晋书·宣帝纪》) 。曹操从其计 ， 孙权果然派吕蒙袭取江陵，关羽被其俘杀 。
此战的胜利 ， 曹操利用孙、刘争夺荆州的矛盾，充分运用外交谋略，坐收渔利，不仅挫败关羽的强大攻势，解除了樊城之围 ， 而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现 。更重要的是破坏孙、刘联盟，改变了当时的战略格局，掌握了主动权 。
徐晃击退关羽后，曹操嫌恶荆州及附近百姓，想把他们都迁走 。司马懿认为：“荆楚轻脱，易动难安 。关羽新破，诸为恶者藏窜观望 。今徙其善者 ， 既伤其意 ， 将令去者不敢复还”(《晋书·宣帝纪》) 。曹操从之，没有移民 。藏窜逃亡者果然都复出归化 。
延康元年(220年)，曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然 。
同年 ， 曹丕即魏王位 ， 司马懿受封河津亭侯，转丞相长史 。
时孙权率军向西 。朝臣认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城 。司马懿则认为不该放弃二城：“孙权新破关羽，此其欲自结之时也，必不敢为患 。襄阳水陆之冲 ， 御寇要害 ， 不可弃也” 。曹丕未依其言，命曹仁放火烧毁二城 。后来孙权果然没有入侵 。曹丕悔之不及 。
同年，曹丕登皇帝位，史称魏文帝 。由于司马懿为曹丕“篡汉”出了大力，所以登基后，曹丕任命司马懿为尚书，不久转督军、御史中丞，封安国乡候 。
黄初二年(221年) ， 免去督军官职 ， 升任侍中、尚书右仆射 。
黄初三年(222年) ， 和黄初五年(224年)，曹丕两次伐吴，都以司马懿镇守许昌，并改封司马懿为向乡侯 。黄初六年(225年)春二月，转任抚军大将军、假节，领兵五千，加给事中、录尚书事 。司马懿辞让，曹丕说：“吾于庶事，以夜继昼，无须臾宁息 。此非以为荣 ， 乃分忧耳”(《晋书·宣帝纪》) 。
同年 ， 曹丕又大兴水军攻吴 ， 仍命司马懿留守，“内镇百姓，外供军资”(《晋书·宣帝纪》) 。临行，下诏书给司马懿说：“吾深以后事为念，故以委卿 。曹参虽有战功，而萧何为重 。使吾无西顾之忧，不亦可乎”(《晋书·宣帝纪》)！后曹丕由广陵回师洛阳，又下诏对司马懿说：“吾东，抚军当总西事；吾西，抚军当总东事”(《晋书·宣帝纪》) 。于是司马懿留镇许昌 。