Sebelum menjadi anggota DPR, Sarmuji juga pernah menjadi koordinator tenaga ahli Fraksi Partai Golkar di DPR. Ia kemudian pertama kali lolos ke Senayan pada Pemilu 2014 dari daerah pemilihan Jawa Timur VI yang mencakup Blitar, Kediri, Tulungagung, dan Trenggalek.

Sarmuji kembali terpilih sebagai anggota DPR pada Pemilu 2019 dan Pemilu 2024. Pada Pemilu 2024, ia mempertahankan kursinya setelah memperoleh 183.045 suara.

Selama berkarier di DPR, Sarmuji pernah menduduki sejumlah posisi. Ia antara lain pernah menjadi anggota Komisi XI, Wakil Ketua Badan Legislasi (Baleg), serta Wakil Ketua Komisi VI DPR.