南阳太守杨俊素以知人善任著称，司马懿二十岁前，杨俊曾见过他 ， 说他绝非寻常之之；尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：“君弟聪亮明允，刚断英特，非子所及也”(《晋书·宣帝纪》) 。
建安六年(201年) ， 郡中推举他为上计椽 。时曹操正任司空，听到他的名声后，派人召他到府中任职 。司马懿见汉朝国运已微 ， 不想在曹操手下，便借口自己有风痹病，身体不能起居 。曹操不信 ， 派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般 。
建安十三年(208)，曹操为丞相以后，始用强制手段辟司马懿为文学掾 。曹操对使者说，“若复盘桓 ， 便收之”(《晋书·宣帝纪》) 。司马懿惧之，只得就职 。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主薄等职 。司马懿在曹操手下任职，小心谨慎 ， 勤勤恳恳，“至于刍牧之间，悉皆临履” 。
建安二十年(215年)，曹操征讨张鲁，司马懿随军 。他对曹操说：“刘备以诈力虏刘璋，蜀人未附而远争江陵 ， 此机不可失也 。今若曜威汉中，益州震动，进兵临之，势必瓦解 。因此之势，易为功力 。圣人不能违时，亦不失时矣 。”曹操说：“人苦无足 ， 既得陇右，复欲得蜀”(《晋书·宣帝纪》)！没有采纳他的建议 。
建安二十四年(219)，当孙权向曹操上表称臣、怂恿曹操自立为帝 。曹操说：“此儿欲踞吾著炉炭上邪！”司马懿说：“汉运垂终，殿下十分天下而有其九 ， 以服事之 。权之称臣，天人之意也 。虞、夏、殷、周不以谦让者，畏天知命也”(《晋书·宣帝纪》) 。当时曹操手下的门阀官僚拥汉者尚多 ， 为曹操所深忌，而荀彧、崔琰等著名人物都因对曹氏代汉有异议而不得善终 。大概司马懿在这个关键问题上早就表示支持曹操，因此曹操才对他由猜忌逐渐转为信任 。
曹操进封魏王后 ， 升任司马懿为太子中庶子，佐助曹丕 。时司马懿“每与大谋，辄有奇策”(《晋书·宣帝纪》)，为曹丕所信任和重用，所以关系一直很好 。司马懿还与陈群、吴质、朱铄并称四友 。
此后，司马懿更是常谋国事，多出奇策 。不久，司马懿转为丞相军司马 。他指出荆州刺史胡修粗暴，南乡(治南乡，今河南淅川东南)太守傅方骄奢 ， 都不应驻守边防，曹操未予重视 。
同年六月，刘备继取汉中后 ， 派孟达、刘封攻占汉中郡东部的房陵、上庸等地，势力有所扩展 。七月，孙权欲攻合肥 ， 魏军大部调动淮南防备吴军 。镇守荆州的蜀前将军关羽，乘此机会，留南郡(治江陵，今湖北江陵)太守糜芳守江陵，将军傅士仁守公安(今湖北公安西北) ， 自率主力北攻荆襄(魏荆州治新野，今河南新野；襄阳郡治襄阳，今湖北襄樊) 。围魏将曹仁 ， 水淹于樊七军，斩庞德 。时樊城守军仅数千人，城墙因水淹多处崩塌，曹仁曾考虑放弃樊城，被辅助曹仁的汝南太守满宠所劝止 。曹仁决心奋勇抵御 。胡、傅二人果然乘机降蜀 。此时 ， 陆浑(今河南嵩县东北)人孙狼等，亦杀官起兵，响应关羽 。关羽声势一时“威震华夏”(《三国志·蜀书·关羽传》) 。