。讨贼张进及讨叛胡有功，封高阳乡侯。入为将作大匠。俭袭父爵，为平原侯文学。明帝即位，为尚书郎，迁羽林监。以东富之旧，甚见亲待。出为洛阳典农。时取农民以治宫室，俭上疏曰：“臣愚以为天下所急除者二贼，所急务者衣食。诚使二贼不灭，士民饥冻，虽祟美宫室，犹无益也。”迁荆州刺史。
青龙中，帝图讨辽东，以俭有干策，徙为幽州刺史，加度辽将军，使持节，护乌丸校尉。率幽州诸军至襄平，屯辽隧。右北平乌丸单于寇娄敦、辽西乌丸都督串众王护留等，昔随袁尚奔辽东者，率众五千余人降。寇娄敦遣弟阿罗盘等诣阙朝贡，封其渠率二十余人为侯、王，赐舆马缮彩各有差。公孙渊逆与俭战，不利，引还。明年，帝遣太尉司马宣王统中军及俭等众数万讨渊，定辽东。俭以功进封安邑侯，食邑三千九百户。
正始中，俭以高句骊数侵叛。督诸军步骑万人出玄菟，从诸道讨之。句骊王宫将步骑二万人，进军沸流水上，大战梁口。宫连破走。俭遂束马县车，以登丸都，屠句骊所都，斩获首虏以千数。句骊沛者名得来，数谏宫，宫不从其言。得来叹曰：“立见此地将生蓬篙。”遂不食而死，举国贤之。俭令诸军不坏其墓，不伐其树，得其妻子，皆放遣之。官单将妻子逃窜。俭引军还。六年，复征之，宫遂奔买沟。俭遣玄菟太守王颀追之，过沃沮千有余里，至肃慎氏南界，刻石纪功，刊丸都之山，铭不耐之城。诸所诛纳八千余口，论功受赏，侯者百余人。穿山溉灌，民赖其利。迁左将军，假节监豫州诸军事，领豫州刺史，转为镇南将军。诸葛诞战于东关，不利，乃令诞、俭对换。诞为镇南，都督豫州。俭为镇东，都督扬州。吴太傅诸葛恪围合肥新城，俭与文钦御之，太尉司马孚督中军东解围，恪退还。
初，俭与夏侯玄、李丰等厚善。杨州刺史前将军文钦，曹爽之邑人也。骁果粗猛，数有战功，好增虏获，以徼宠赏，多不见许，怨恨日甚。俭以计厚待钦，情限好洽。钦亦感戴，投心无二。正元二年正月，有彗星数十丈，西北竟天，起于吴、楚之分。俭、钦喜，以为己样。遂矫太后诏，罪状大将军司马景王，移诸郡园，举兵反。迫胁淮南将守诸别屯者，及吏民大小，皆入寿春城，为坛于城西，歃血称兵为盟，分老弱守城，俭、钦自将五六万众渡淮，西至项。俭坚守，钦在外为游兵。
大将军统中外军讨之。别使诺葛诞督豫州诸军从安风津拟寿春，征东将军胡遵督青、徐诸军出于谯。宋之间，绝其归路。大将军屯汝阳，使监军王基督前锋诸军据南顿以待之。令诸军皆坚壁勿与战。俭、钦进不得关，退恐寿春
