虑向马超投降。杨阜流泪劝谏说：“我率父兄子弟以节义相鼓励，死守不降，田单死守，还没有如此坚固呢！而今放弃马上就要建立的功名，给自己蒙上不义的罪名，我愿以死相守。”于是号啕大哭。刺史、太守最终还是派人求降，打开城门让马超进来。
马超进城，把杨岳抓起来，又让杨昂杀死刺史和太守。杨阜内心怀着复仇的志向，只是一时寻不着机会。不久杨阜告假，请求埋葬亡妻。杨阜的外兄姜叙屯兵历城。杨阜从小在姜叙家长大。他见到姜叙和叙母之后，叙说了冀城陷落的经过，悲泣不已。姜叙说：“何以如此悲恸？”杨阜说：“守城却又守不住，君长已死而不能同命，我还有什么脸活着呢？马超背叛父辈，背叛国家，烧杀将士。这何止是我个人怕受人指责，全州士大夫都要蒙受耻辱。您带兵专管一方却没有讨杀贼逆之心，这正是史书上所说的‘赵盾弑其君’的情形。马超虽强，却无视信义，部下矛盾重重，所以打败他并非很困难。”姜叙的母亲很感慨，敦促姜叙听从杨阜的劝说。定下计谋后，又与同乡姜隐、赵昂、尹奉、姚琼、孔信，武都人李俊、王灵等联络结盟，共同讨伐马超。又派从弟谟到冀城告诉杨岳内情，并联络了安定的梁宽，南安的赵衢、庞恭等。盟誓以后，于建安十七年(212)九月，杨阜和姜叙在卤城起兵。马超闻讯后亲自率兵出击。赵衢、庞恭等救出杨岳，关闭冀城大门，抓住马超妻儿。马超袭击历城，抓住姜叙的母亲。姜叙母亲骂道：“你是个背叛父亲的逆子，你是杀害君长的叛贼，天地不容，还不早死，还有什么脸见人！”马超大怒，杀死姜叙母亲。杨阜与马超作战，五处受伤，宗族兄弟死了七人。
马超南逃，投奔张鲁。陇右平定，曹操封赏讨伐马超的功臣，封侯者十一人。杨阜为关内侯。杨阜推辞说：“我杨阜没有保护好州君性命，他们死后，我也没有尽节报孝。在道义上我应被罢黜，在法律上我应被诛杀。马超又没被杀死。我实无权再受爵禄。”曹操说：“你与君臣共创大功，西部百姓至今挂在嘴边，作为美谈。子贡辞让封赏，孔子认为不妥。你尽心报国可嘉。姜叙的母亲劝姜叙早日起兵，实在是明智之举，杨敞的妻子也不过如此。实在贤能！实在贤能！有良史记录忠义，是不会忘记你们的节义的。”曹操征讨汉中，任杨阜为益州刺史。回洛阳后，杨阜又被任命为金城太守，还未去赴任，又被转任为武都太守。
武都临近西蜀，杨阜请求依据龚遂的老办法，仅仅采取安抚政策。这时刘备派张飞、马超等从沮道逼近下辩，氐族雷定等七个部落响应马超。曹操派都护曹洪抗击马超，
