Belanda kemudian melancarkan ekspedisi berikutnya di bawah pimpinan Jenderal Jan van Swieten. Dalam serangan tersebut, kawasan masjid kembali menjadi bagian dari medan pertempuran dan bangunan Masjid Raya Baiturrahman akhirnya terbakar.
Setelah masjid terbakar, pemerintah kolonial Belanda menyadari besarnya arti Masjid Raya Baiturrahman bagi masyarakat Aceh.
Pembangunan kembali kemudian dilakukan pada 1879. Peletakan batu pertama disebut dilakukan oleh Tengku Malikul Adil.
Dalam proses pembangunan kembali tersebut, Belanda menghadirkan arsitektur yang berbeda dari bentuk masjid sebelumnya. Bangunan baru menggunakan gaya Indo-Saracenic atau Mughal, yang menghasilkan tampilan khas dengan kubah dan elemen arsitektur yang terinspirasi dari kawasan India dan Persia.
Pembangunan masjid baru tersebut rampung pada 27 Desember 1881 berdasarkan riwayat yang tercantum dalam bahan sejarah mengenai masjid ini.
Pada awalnya, sebagian masyarakat Aceh disebut menolak beribadah di masjid yang dibangun oleh pemerintah kolonial. Namun, seiring berjalannya waktu, Masjid Raya Baiturrahman kembali menjadi bagian penting dari kehidupan masyarakat.
Masjid Raya Baiturrahman kemudian mengalami sejumlah perluasan. Perubahan tersebut membuat bentuk bangunan semakin megah sekaligus menyesuaikan dengan pertumbuhan jumlah jamaah.
Pada awal pembangunan kembali oleh Belanda, masjid memiliki satu kubah utama.
Kemudian, pada sekitar 1935-1936, dilakukan perluasan dengan menambahkan dua kubah di sisi kiri dan kanan. Dengan penambahan tersebut, jumlah kubah menjadi tiga.
Perkembangan berikutnya berlangsung pada masa setelah Indonesia merdeka. Pada 1957, Masjid Raya Baiturrahman kembali diperluas. Dua kubah tambahan dibangun sehingga jumlah kubah menjadi lima.
