Kariernya berlanjut pada masa pemerintahan Soeharto. Pada 1978, Jusuf diangkat menjadi Panglima ABRI sekaligus Menteri Pertahanan dan keamanan. Ia menjalankan program ABRI Masuk Desa serta dikenal dekat dengan para prajurit karena kerap mengunjungi mereka di berbagai daerah.
Setelah meninggalkan jabatan tersebut pada 1983, Jusuf menjabat Ketua Badan Pemeriksa Keuangan (BPK) hingga 1993. Ia kemudian aktif dalam kegiatan sosial dan keagamaan sebelum meninggal dunia di Makassar pada 8 September 2004 dalam usia 76 tahun.
M. Jusuf dimakamkan di Pemakaman Umum Panaikang, Makassar, Sulawesi Selatan. Ia dikenang sebagai perwira militer yang memiliki pengaruh besar dalam perjalanan sejarah Indonesia, terutama melalui kiprahnya di bidang militer dan pemerintahan.
