Dirintis sejak tahun 1930, awal mulanya madrasah ini berbentuk Madrasah Diniyah yang bertempat di Krajan Jambu Timur yang didirikan oleh Mochsin Astrorejo. Sekitar tahun 1935 madrasah ini pindah tempat yang lebih strategis, yaitu Jambu Ngemplak, disebelah utara Masjid Jami’ Ngemplak. Pada tahun 1946 (setelah kemerdekaan), mulai dirintis untuk diberi pelajaran umum dan berbentuk Madrasah Ibtida’iyah (MI) khusus putra.
Pada tahun 1948 gedung yang ada di Jambu Ngemplak sudah agak rusak juga sudah tidak muat. Maka pindah tempat lagi ke Jambu Barat sebelah barat kantor kecamatan, yaitu yang sekarang ditemapati MTs dan MA Mathalibul Huda Mlonggo Kabupaten Jepara ini. Mulai tahun 1948 ini juga mulai dirintis dan dibuka madrasah putri (banat). Tahun 1958 karena ada peraturan pemerintah dalam pendidikan, yang asalnya MI diganti nama menjadi MWB (Madrasah Wajib Belajar).
Pada tahun 1963 pengurus merintis pendirian pendidikan tingkat SLTP, yang bernafaskan agama, waktu itu bernama Mualimin. keberadaan Mualimin tidak lama, hanya bertahan sekitar 1 tahun ajaran, kemudian diganti menjadi sekolah keguruan, yaitu Pendidikan Guru Agama (PGA) yang sering dikenal dengan sebutan PGA NU
Dengan adanya peraturan pemerintah bahwa PGA swasta harus dihapus, maka mulai tahun 1978 PGA berubah menjadi MTs. hingga sekarang.