Ia memulai karier sebagai panitera di Landraad Saparua pada 1909. Namun, ia kemudian meninggalkan jabatan tersebut dan bergabung dalam pergerakan nasional di Jawa.
Dalam organisasi Sarekat Islam, Sangadji berjuang bersama H.O.S. Tjokroaminoto dan H. Agus Salim. Julukan "Jago Tua" melekat kepadanya karena kepiawaiannya berpidato dan menggerakkan massa.
Perjuangannya juga tercatat di Kalimantan Timur. Ia pernah bermukim di Samarinda dan Tenggarong untuk memperkuat Sarekat Islam setempat.
Pada 1939, Sangadji kembali ke Samarinda dan menetap hingga 1947. Selama periode tersebut, ia turut membina kader muda, di antaranya Abdoel Moeis Hassan.
