Kadınhanı’nda doğdu. Babası Ilgın’ın Balkı köyü imamı Hafız Mustafa Efendi’dir. Babasının nezaretinde yaptığı ilk tahsili esnasında hıfzını da tamamladı. İlk medrese tahsilini, o vakitler “makarr-ı ulema (âlimler merkezi)” olan Kayseri’de yaparak ilk icazetini de oradan aldı. Daha sonra İstanbul’a giderek ikinci icazetini de o zamanlar İstanbul’un ünlü âlimlerinden Nevşehirli Hazım Efendi’den aldı. Bir ara da o zamanların bir ilim merkezi olan Kırkağaç’ta kalıp, buranın ünlü âlimlerinden Hacı Süleyman Efendi’den de üçüncü bir icazet aldı. Bütün alet ve İslami ilimlerde tahsilini tamamlayıp bu ilimlerde üstat olan Hacı Hüseyin Efendi, bundan sonra Konya’ya yerleşti. İmtihanını kazanarak Ziyaiye Medresesi müderrisi oldu. Bu arada İplikçi ve Şerafeddin camilerinde de ders okuttu.
Bu yıllarda ilim adamlarının gayretleri ile Konya’daki ilmî gelişmeler sonucu Konya tam anlamıyla bir ilim merkezi hâline geldi. Uyguladığı disiplin hiçbir medresede yoktu. Öğleden ikindiye kadar medresenin cümle kapısı kapatılır, medresenin dış dünya ile ilişiği kesilirdi. Çalışkan ve zeki olmayan hiçbir talebe medresenin hücresinde kalamazdı. Oğlu meşhur bilginlerden Kadınhanılızade Ali Rıza, Şeyhzade Hasan Kutsi, Yalvaçlı Ömer, Hadimli Mehmet Vehbi, Büyük Aksekili Hoca, Tavaslı Süleyman efendilerle birlikte pek çok bilgin bu dönemde yetişti. Hüseyin Efendi, 800’ün üzerinde öğrenci yetiştirdi ve onlara icazet verdi. Yirmi iki yıl müderrisliğini yaptığı Ziyaiye Medresesi, dönemin en meşhur yükseköğrenim kurumu hâline geldi.
Hüseyin Efendi, 1874 yılında 272 talebesine Tefsir-i Kadı Celal, Tasavvvurat, Mirat ve Meşarik; 1876 yılında, 170 talebesine Tefsir-i Kadı Celal, Mutavvel, Meşarikulenvar, Muhtasar, Maani ve Kuduri; 1877 yılında 207 talebesine Tefsir-i Kadı Beyzavi, Mutavvel ve Şifa-i Şerif; 1878 yılında 202 talebesine, Kadı Mir, Molla Cami, Mülteka, Mutavvel ve Şifa-i Şerif okuttu. Konya’da hiçbir müderrisin, vefatına kadar talebe okutmaya devam eden Hüseyin Feyzi Efendi gibi, aynı anda böyle çok talebesi olmadı.
Hüseyin Efendi, Konya Müftüsü Abdullah Vahdi Efendi’nin 1886 yılında vefatı üzerine Konya Müftülüğüne getirildi.
Konya’nın ilim hayatında büyük bir yeri olan Hüseyin Efendi, 1894 Temmuzunun on birinci günü vefat etti. Şems Mezarlığı’ndaki kabri, bu mezarlığın 1940’lı yıllarda kaldırılması üzerine Musalla Mezarlığı’na nakledildi.
Yazar ve antikacı Nurettin Rüştü Büngül* merhumun torunudur.
