Yeri, İstanbul Caddesi* üzerindeki İsmet Paşa İlköğretim Okulunun bulunduğu alandaydı. Medrese, ilkokul binası yapılmadan önce Darü’l-Hilafeti’l-Aliyye Medresesi Konya Şubesi’ne tahsis edilmiş; medreseler kaldırılınca da Konya İmam-Hatip Okulu olmuştur. Medreselere ait vakıf mülklerin satışı sırasında 1933 yılında mülkiyeti de el değiştirmiştir.
Medrese, 1877 yılında Bezirci Hacı Veli Ağa tarafından yaptırılmıştır. Mevlâna Müzesi avlusunda sergilenen üç satırlık kısa kitabesi şöyledir: “İnayet-i İlâhiye/Medrese-i Feyziye/sene 1294” Mimarisi, son dönem Osmanlı medreseleri tipindedir. Bir avlu etrafına dizilmiş düz toprak damlı odalardan oluşmaktadır.
Feyziye’nin bilinen ilk müderrisi, İbralalı Mustafa Efendi’dir (ö. 1903). Müderrisliği 1882’den 1901’e kadar devam etmiştir. Ondan sonra müderris Ömer Efendi’dir. Ömer Efendi’den sonra meşhur bilgin Sivaslı Ali Kemali Efendi görevi devralmıştır. Ali Kemali’den sonra müderris, “Sarı Müsevvid” lâkabı ile tanınan Mehmet Efendi’dir (ö. 1920). Feyziye’nin bilinen son müderrisi, Kavaklı Mevlüt Efendi’dir. Son müderrisin köyünden dolayı medrese, Kavaklı Medrese diye de adlandırılmıştır.
