Secara keilmuan, Ajengan Abun ini bisa dibilang adalah paket komplet. Ia menempuh pendidikan baik secara formal maupun non formal. Secara nonformal, ia memperoleh ilmunya dari sang Ayah secara langsung di Pondok Pesantren Cipasung. KH Ruhiat ialah murid dari Kiai Sobandi, pengasuh Pondok Pesantren Cilenga. Kiai Ruhiat mengaji di Cilenga kurang lebih empat tahun, dari 1922 sampai 1926. Sementara itu, Kiai Sobandi memperoleh pendidikan di Masjid al-Haram Makah, berguru antara lain kepada melalui Syekh Mahfudh al-Tarmasi. Kiai Ruhiat juga berkeliling mengaji dari satu pesantren ke pesantren yang lain. Ia pernah mondok di Pondok Pesantren Sukaraja asuhan Kiai Emed, Pesantren Kubang Cigaloncang asuhan Kiai Abbas Nawawi, dan Pesantren Cintawana yang diasuh oleh Kiai Toha yang menurut riwayat juga pernah menjadi murid dari Syekh Mahfudh al-Tarmasi.
Sementara itu, pada pendidikan formal, Kiai Abun memulai pendidikannya di Sekolah Rendah Islam (SRI) Cipasung pada tahun 1955 sampai 1961.
Kemudian melanjutkan sekolahnya di Sekolah Menengah Islam Cipasung sampai 1964. Berlanjut di SMA Islam Cipasung dari 1964-1967. Cipasung masih menjadi tempat belajarnya hingga pada 1971, ia melanjutkan ke jenjang perguruan tinggi di Perguruan Tinggi Islam (PTI) Cipasung.
Baca Juga:Kumpulan PengabdiAtasi Sampah Butuh Konsistensi
Di samping itu, Kiai Abun juga alumni UIN Sunan Gunung Djati Bandung yang saat itu masih bernama Istitut Agama Islam Negeri (IAIN). Di IAIN Bandung, ia mengambil jurusan bahasa Arab pada tahun 1974-1976. Dari PTI Cipasung, ia memperoleh gelar Bachelor of Art (BA) atau sarjana muda, dan sarjana penuhnya ia raih saat di UIN Bandung (Drs).
KH A Bunyamin Ruhiat mengambil kuliah di UIN Bandung yang pada saat itu masih bernama Institut Agama Islam Negeri (IAIN) dan dipegang oleh rektor Prof. KH Anwar Musahdad. ”Kuliahnya hanya tujuh orang saja,” kenangnya.
”Pak Maksum Hidayat dari Sumedang. Abdurrahman dari Cipanas. Dari Cianjur satu, Latif Saoban. Muhyidin Ma’mun dari Cirebon. Satu lagi dari Jawa yang anaknya dikesinikan, terus satu lagi orang Purwokerto,” begitu KH A Bunyamin bertutur, menyebut sejumlah teman seangkatannya, menunjukkan daya ingatnya yang kuat.