现在边疆的荆州、扬州、青州、徐州、幽州、并州、雍州、凉州都有军队，而能够凭借在内部充实府库扼制外族入侵的，只有兖州、豫州、司州、冀州而已。一个国家就如同人的身体，心腹充实了，四肢即使生了病，终究不会有大的妨害。现在兖州、豫州、司州、冀州也是国家的心腹，所以愚臣怀着恳切恭谨的心情，希望四州的长官，专心地从事根本的事业，来承担四肢的重任。但孤论难以坚持，触犯大家的欲望难以取得成效，众人的不满难以积累到一块儿，是非难以分清，所以年复一年也没有被英明的君主察觉。凡是说这种话的，都是疏远或卑贱的人，这类人说的话，确实不容易被采纳。如果让好的政策从亲信贵族口里说出来，亲信贵族本来就用不着冒犯我所说的四难来求取忠爱，这正是古往今来的人们所常常担忧的问题。”当时朝中对官吏考核制度展开大规模的议论，朝廷内外的官吏都要考核。杜恕认为用人而不能让他尽力发挥才能，那么即便有才的人也没有多大用。
保全的不是致力要达到的东西，而所致力的事又不是当前最重要的。杜恕在朝中八年，议论刚劲率直。杜恕出任弘农郡大守，几年后转任赵王曹干的辅相，因病离职。又从家里出任河东郡太守，过了一年多，改任淮北都督护军，又因病离职。他在任职的地方，致力于维护国家的大体，树立恩惠仁爱，因此更加得到百姓的爱戴，只是不如杜畿。不久，朝廷任命他为御史中丞。杜恕在朝廷，因为与朝中的官员不和睦，所以，屡次在外面任职。后来又出任幽州刺史，加建威将军的官衔，朝廷让他持节，护乌丸校尉。当时，征北将军程喜在蓟县屯扎，尚书袁侃等人告诫杜恕说：“程喜曾在先帝那一朝任职，在青州排挤了田国让。现在足下拿着朝廷的节杖，让你们共同驻屯在一座城里，应该周密地考虑对策。”
但杜恕没有在意。他到官不满一个月，有鲜卑族首领的儿子，带领几十人马，没有经由关口擅自来到州城，州里杀死了其中一名鲜卑人，却没有写表章上报。于是程喜上书弹劾杜恕，杜恕入狱，由廷尉审理，依法应当处死。因为他父亲杜畿为国事勤劳死在水中，得以减刑，被免官为平民。他迁居章武郡，那一年是嘉平元年(249)。杜恕为人豪迈任性，想不到要防备别人，终于导致这次挫折。当初杜恕从赵郡还朝，陈留郡的阮武也从清河太守的职位上被征召，两人都鄙薄廷尉。阮武对杜恕说：“我看您的才质性情可以经历公正之道，但把持得不够努力，素质能力可以担任大官但追求不够顺利，才学可以记叙古今但不够专一，这就是人们所说的有才而没有得到适
