Sejarah awal penubuhan sekolah ini adalah berdasarkan sumber-sumber yang diperolehi melalui pertemuan, temuduga dan maklumat-maklumat yang sahih dan diperakui oleh warga tua penduduk asal bahawa sekolah ini telah dibuka pada tahun 1920. Sekolah yang diperbuat dari kayu dan beratapkan daun rumbia hasil usaha pembinaan penduduk tempatan dan ianya telah diberi nama Sekolah Simpang Pulai. Sekolah Agam
a Simpang Pulai adalah sekolah aliran agama yang mengajar mata pelajaran Al-Quran dan Bahasa Arab. Sekolah ini telah diteruskan pelajarannya sehinggalah tahun 1942. Ia terhenti kerana berlakunya peperangan Malaya-Jepun selama 6 tahun. Selepas Jepun menyerah kalah pembelajaran telah dapat disambung semula. Pentadbiran sekolah bermula dari Ustaz Abd. Rahman diikuti oleh ustaz Salleh kemudian Ustaz Atan, Ustaz Abd. Rahman dan akhirnya pentadbiran sekolah diserahkan kepada Ustaz Mamter. Jangka masa pertukaran pentadbiran sekolah ini telah mengambil masa yang agak lama iaitu lebih kurang 20 tahun. Demi mengekalkan dan memajukan pentadbiran sekolah agama, Lembaga Mesyuarat Jemaah Pengurusan Sekolah agama telah pun ditubuhkan. Hasil dari Lembaga Mesyuarat tersebut Sekolah Kebangsaan telah digunakan sebagai tapak sementara Sekolah Agama. Sekali lagi tapak sekolah Agama ini terpaksa diubah untuk mencari tempat yang lebih sesuai. Akhirnya usaha gigih mereka ini telah terlaksana dengan mendapat tempat belajar yang baru iaitu di Balai Ahli Jawatankuasa (Bangunan lama kantin Sekolah Kebangsaan). Ahli Lembaga pada masa itu ialah Abdul Karim bin Kamadi iaitu Guru Besar Sekolah Kebangsaan Ayer Hitam, Tuan Imam Masjid Jamek Haji Abdul Rahman bin Sarmik, guru-guru Sekolah Agama Ayer Hitam iaitu Ustaz Mamter bin Sayo, Ustaz Abd. Rashid bin Samsuddin, En. Jais bin Marzuki dan En. Sapran bin Abd. Jalil. Mereka telah berusaha untuk membuat pertemuan dengan Pengerusi Hal Ehwal Agama Negeri Johor. Secara dasarnya usaha ini telah dipersetujui dan disokong dan berjanji akan memberi kerjasama sepenuhnya. Pada Januari 1978, Ahli Jawatankuasa Bertindak telah diarah untuk mencari tapak bangunan Sekolah Agama. Pertemuan AJK Bertindak dengan Pengerusi Hal Ehwal Agama Negeri Johor sekali lagi berhasil dan meminta agar tanah di belakang Masjid yang memiliki keluasan tanah 4 ekar dapat dijadikan tapak bangunan Sekolah Agama. Berdasarkan Kajian telah dijalankan oleh Pejabat Agama Johor (Wakaf Negeri Johor) keatas tanah tersebut telah mendapati tanah yang dirancangkan adalah hak milik Tuanku yang telah mewakafkan tanah tersebut untuk Masjid sahaja dan permohonan tersebut terpaksa ditolak. Susulan dari keputusan ini AJK Bertindak cuba memohon dari Pejabat Tanah Batu Pahat dan bertemu dengan Pegawai Daerah Batu Pahat untuk membuka pelan kawasan Ayer Hitam bagi memastikan lokasi tanah yang masih belum diusahakan. Diatas usaha tersebut mendapati lokasi tanah yang belum dimiliki telah dikesan iaitu bersebelahan dengan tanah Kementerian Pertahanan dengan keluasan 3 ¼ ekar. Setelah usaha ini mendapat kejayaan, Pejabat Tanah telah memaklumkan kepada Bahagian Jabatan Galian Negeri Johor dan dihantar kepada Pengelola Pendidikan Agama. Enam bulan sebelum dibina bangunan Sekolah Agama ini, pengumuman dan pengisytiharan telah dilakukan pada akhir tahun 1978. Menjelang 1979, pembinaan sekolah ini telah siap sepenuhnya dan pada oktober 1982, penyerahan telah dilakukan daripada Pihak Kerajaan kepada Pihak Sekolah dan bermulalah sesi persekolahan. Pada 1983, pentadbiran sekolah telah pun dapat beroperasi dengan sepenuhnya. Guru Besar pada sesi pagi ialah Tuan Haji Ahmad bin Abd. Hamid dan pada sesi petang p**a ialah Tuan Haji Mamter bin Sayo. Sekolah ini telah menempatkan murid dari darjah satu hingga darjah enam dan usaha mereka ini telah dapat diteruskan dan dimajukan sehingga ke hari ini.
