Dikutip dari laman resmi MPR RI, Sarmuji pernah berkiprah di Koperasi Mahasiswa Universitas Jember sebagai ketua pada 1996–1998. Ia kemudian dipercaya menjadi Ketua Umum HMI Cabang Jember pada 1998–2000.
Karier organisasinya berlanjut di Dewan Pimpinan Pusat Angkatan Muda Pembaharuan Indonesia (DPP AMPI) sebagai Wakil Sekretaris Jenderal pada 2003–2009. Pada 2008–2011, Sarmuji juga tercatat menjabat sebagai Ketua Komite Nasional Pemuda Indonesia (KNPI).
Di periode yang sama, ia menjadi Dewan Penasehat Forum Silaturahmi Santri (FORSIS) pada 2008–2014. Sementara itu, kiprahnya di Angkatan Muda Partai Golkar (AMPG) berlanjut dengan menjabat sebagai Sekretaris Jenderal PP AMPG pada 2010–2015.
