Dia pertama kali pergi ke sekolah dasar di kecamatan Kresek. Setelah itu, ia melanjutkan studinya di Pesantren Tebuireng di Jombang, Jawa Timur, sebuah pondok pesantren berpengaruh yang didirikan oleh pendiri NU Hasyim Asy'ari.Dia kemudian akan menerima gelar sarjana filsafat Islam dari Universitas Ibnu Khaldun di Bogor, Jawa Barat.Tak lama setelah lulus dari perguruan tinggi, Ma'ruf melakukan misi dakwah di Jakarta.Pada saat itu, NU masih merupakan partai politik yang aktif dan Ma'ruf terpilih menjadi anggota parlemen Indonesia, Dewan Perwakilan Rakyat (atau Dewan Perwakilan Rakyat) dalam pemilihan nasional yang diadakan pada tahun 1971.
Baca Juga: Dulu Mencak-mencak Sebut Indonesia Penjajah Kejam, Kini Mantan Pemimpin Timor Leste Ini Jilat Ludahnya Sendiri, Junjung Setinggi Langit Bumi Pertiwi di Depan Media Arab Gegara Hal IniEnam tahun kemudian, pada tahun 1977, ia terpilih menjadi anggota Dewan Kota Jakarta sebagai anggota Partai Persatuan Pembangunan (PPP) untuk satu periode (1977-1982) dan menjabat sebagai pemimpin kaukus PPP.Di akhir masa jabatannya, Ma'ruf kembali ke akademi dan aktivisme sosial.Pada tahun 1989, ia ditunjuk sebagai katib 'aam, posisi senior dalam syuriah NU, dewan pemerintahan tertinggi.Dia kemudian naik menjadi salah seorang pemimpin, mengawasi kepemimpinan eksekutif Abdurrahman Wahid.