Salah satu faktor pendorong terbentuknya Pelajar Islam Indonesia (PII) adalah dualisme sistem pendidikan di kalangan umat Islam Indonesia yang merupakan warisan kolonialisme Belanda, yakni pondok pesantren dan sekolah umum. Pondok pesantren berorientasi ke akhirat sementara sekolah umum berorientasi ke dunia. Akibatnya pelajar Islam juga terbelah menjadi dua kekuatan yang satu sama lain saling men
jatuhkan. Santri pondok pesantren menganggap sekolah umum merupakan sistem pendidikan orang kafir karena produk kolonial Belanda. Sementara pelajar sekolah umum menilai santri pondok pesantren kolot dan tradisional; mereka menjulukinya dengan sebutan "santri kolot" atau santri "teklekan". Pada masa itu sebenarnya sudah ada organisasi pelajar, yakni Ikatan Pelajar Indonesia (IPI) namun organisasi tersebut dinilai belum bisa menampung aspirasi santri pondok pesantren. Hal ini menjadi kerisauan seorang pelajar STI Yogyakarta, Joesdi Ghazali. Oleh karena itu, pada tanggal 25 Februari 1947 ketika sedang beri'tikaf di Masjid Besar Kauman Yogyakarta, terlintas dalam pikirannya, gagasan untuk membentuk suatu organisasi bagi para pelajar Islam yang dapat mewadahi segenap lapisan pelajar Islam. Gagasan tersebut kemudian disampaikan dalam pertemuan di gedung SMP Negeri 2 Setyodiningratan, Yogyakarta. Kawan-kawannya yang hadir dalam pertemuan tersebut, antara lain: Anton Timur Djaelani, Amien Sjahri dan Ibrahim Zarkasji, dan semua yang hadir kemudian sepakat untuk mendirikan organisasi pelajar Islam. Hasil kesepakatan tersebut kemudian disampaikan Joesdi Ghazali dalam Kongres Gerakan Pemuda Islam Indonesia (GPII), 30 Maret-1 April 1947. Kongres kemudian memutuskan melepas GPII Bagian Pelajar untuk bergabung dengan organisasi pelajar Islam yang akan dibentuk. Utusan kongres GPII yang kembali ke daerah-daerah juga diminta untuk memudahkan berdirinya organisasi khusus pelajar Islam di daerah masing-masing. Menindaklanjuti keputusan kongres, pada Minggu, 4 Mei 1947, diadakanlah pertemuan di kantor GPII, Jalan Margomulyo 8 Yogyakarta. Pertemuan itu dihadiri Joesdi Ghozali, Anton Timur Djaelani dan Amien Syahri mewakili Bagian Pelajar GPII yang siap dilebur di organisasi pelajar Islam yang akan dibentuk, Ibrahim Zarkasji, Yahya Ubeid dari Persatuan Pelajar Islam Surakarta (PPIS), Multazam dan Shawabi dari Pergabungan Kursus Islam Sekolah Menengah (PERKISEM) Surakarta serta Dida Gursida dan Supomo NA dari Perhimpunan Pelajar Islam Indonesia (PPII) Yogyakarta. Rapat dipimpin oleh Joesdi Ghozali itu kemudian memutuskan berdirinya organisasi Pelajar Islam Indonesia (PII) tepat pada pukul 10.00, 4 Mei 1947. Untuk memperingati momen pembentukan PII, tanggal 4 Mei diperingati sebagai Hari Bangkit PII (HARBA PII). Hal dianggap sebagai momen kebangkitan dari gagasan yang sebelumnya sudah terakumulasi, sehingga tidak digunakan istilah hari lahir atau hari ulang tahun.
