高兴，让他召集吴敦、尹礼、孙观、孙观的哥哥孙康等人，都来见曹操。曹操任命臧霸为琅笽相，吴敦为利城郡太守，尹礼为东莞郡太守，孙观为北海郡太守，孙康为城阳郡太守。把青州、徐州委托给臧霸治理。曹操在兖州，用徐翕、毛晖为将军，后来兖州大乱，徐翕、毛晖都叛变了。兖州平定后，徐翕、毛晖逃亡到臧霸那里，曹操告诉刘备，让刘备通知臧霸送上徐、毛的首级，臧霸对刘备说：“我所以能够自立，就因为不干这种事。我受曹公不杀的大恩，不敢违抗命令，但致力于王霸大业的君主可以用信义来打动。希望将军替我劝说。”刘备把臧霸的话告诉曹操，曹操感慨地说：“这是古人做事的风格而臧霸能施行，我也希望这样。”便把徐翕、毛晖都任命为郡守。当时，曹操正与袁绍相持，臧霸几次率精兵进入青州，所以曹操能够一心对付袁绍，不用顾虑东部的局势。曹操在南皮大破袁谭，臧霸等人都来聚会庆贺。臧霸借这个机会请求允许自己家族的子弟和部下众将的父兄家眷迁居邺县。曹操说：“各位忠孝，难道还要表现在这种地方！过去萧何让子弟入京侍奉皇上，汉高祖没有阻止。耿纯焚烧了自家的住宅，带着棺材跟随光武帝，光武帝也没有阻拦，我又凭什么改变态度呢！”后来东部州郡发生骚动，臧霸等出兵执义，平定暴乱，肃清海滨泰山一带，功绩特大，都被封为列侯。
臧霸为都亭侯，加任威虏将军。又同于禁讨伐昌豕希，与夏侯渊讨伐黄巾军余党徐和等人，因功升任徐州刺史。沛国人武周担任下邳县令，臧霸尊重优待武周，亲自到他的居处。州从事有人夸诞违法，武周获得罪证，把他关押起来考查，臧霸于是更加看重武周。后来，臧霸又跟随曹操征讨孙权，率先占领敌军阵地。又进入巢湖，攻打居巢，攻破城池。张辽征剿陈兰的时候，臧霸被派往皖县，讨伐吴将韩当，使孙权不敢援救陈兰。韩当派兵阻拦臧霸，在逢龙展开战斗，韩当另外派兵在夹石口迎击臧霸，被臧霸打败，臧霸回军屯驻舒口。孙权派几万军马乘船也去舒口屯扎，分兵援救陈兰，听说臧霸的部队在舒口，便退回。臧霸连夜追击，到天明，行军一百多里，前后拦击敌人。敌军腹背受敌，形势尴尬，上不了船，很多人跳到水中。于是吴军未能援助陈兰，张辽便击溃了陈兰的军队。此后，臧霸又随曹操到濡须口征讨孙权，同张辽任先锋，半路遇到大雨，大军先赶到了，水势渐涨，敌船稍稍前进，魏军将士都很不安。张辽想撤退，臧霸阻止他说：“曹公对军锋的利钝非常清楚，竟肯舍弃我们吗？”第二天果然接到了撤退的命令。张辽回去后，把臧霸
