Selain aktif dalam organisasi kepemudaan dan politik, Sarmuji juga pernah menjabat sebagai Wakil Sekretaris Jenderal Himpunan Kerukunan Tani Indonesia (HKTI) pada 2011–2014.

Karier politiknya kemudian berlanjut di parlemen yang terpilih menjadi anggota DPR RI di tahun 2014, sekaligus menjadi Wasekjen Pemenangan Pemilu Jawa-Kalimantan Partai Golkar di periode yang sama.

Sebelum menjadi Menperin dirinya tercatat pernah duduk di Komisi XI, Komisi IX, Komisi VI, serta menjadi Ketua Fraksi Partai Golkar.