Semasa Orde Baru, M. Jusuf kembali ke militer dengan menjabat Menteri Pertahanan dan Keamanan/Panglima ABRI (Menhankam/Pangab). Selama menjabat sebagai Menhankam/Pangab, Jenderal M. Jusuf dikenal luas atas jasa-jasanya dan perhatiannya terhadap kesejahteraan prajurit. Ia mencetuskan program ABRI Masuk Desa dan TNI Manunggal Membangun Desa.
Jenderal M. Jusuf juga rutin berkeliling daerah untuk mengunjungi tentara-tentara yang bertugas di daerah-daerah terpencil, pos-pos perbatasan, dan daerah pedalaman. Ia pun kemudian tenar di kalangan para prajurit, tetapi kemudian ia diberhentikan dari posisinya oleh Presiden Ke-2 Soeharto pada April 1983.
Selepas itu, M. Jusuf dipercaya menjabat Ketua Badan Pemeriksa Keuangan (BPK) ada tahun 1983 sampai dengan 1993. Jenderal M. Jusuf wafat pada 8 September 2004 pada usia 76 tahun.
Keteladanan M. Jusuf diakui secara terbuka oleh banyak tokoh militer, termasuk Presiden Prabowo yang menuliskan hal itu dalam beberapa bukunya.
