Jusuf bergabung dengan Kebaktian Rakyat Indonesia Sulawesi (KRIS) setelah Indonesia memproklamasikan kemerdekaan pada 1945. Ia kemudian berkarier di militer dan sempat menjadi ajudan Letnan Kolonel Kahar Muzakkar sebelum beralih ke Angkatan Darat.
Dalam perjalanan kariernya, Jusuf pernah terlibat dalam penanganan pemberontakan Republik Maluku Selatan (RMS). Ia juga sempat bergabung dengan Gerakan Permesta pada 1957, sebelum meninggalkan Gerakan tersebut dan membantu pemerintah pusat meredam pemberontakan.
Pada 27 Agustus 1964, Jusuf diangkat menjadi Menteri Perindustrian. Ia juga menjadi salah satu saksi penting dalam peristiwa penandatangan Surat Perintah Sebelas Maret (Supersemar) pada 11 Maret 1966 bersama Jenderal Basuki Rahmat dan Jenderal Amirmachmud.
