Muhammad Saleh Mustafa lahir di Ternate, Maluku Utara, pada 14 Maret 1969. Ia merupakan lulusan Akademi Militer (Akmil) tahun 1991 dari kecabangan Infanteri. Ia diketahui merupakan teman satu angkatan (lichting) dengan Panglima TNI Jenderal TNI Agus Subiyanto.
Muhammad Saleh Mustafa juga tercatat sebagai putra daerah Maluku Utara pertama yang dipercaya menjabat sebagai Panglima Komando Cadangan Strategis Angkatan Darat (Pangkostrad).
Sebelum menduduki jabatan di kementerian, Saleh Mustafa memiliki riwayat penugasan dan kepemimpinan yang panjang di lingkungan TNI Angkatan Darat (AD) maupun Komando Gabungan. Berikut sejumlah jabatan yang pernah diembannya:
