Mevlâna Dergâhı postnişinlerinden Ferruh Çelebi’nin (ö. 1600) torunudur. Babası, Celaleddin Hasan Çelebi (ö.1601)’dir.
Çelebilik makamında görev yaparken Sultan Murat (ö. 1640) tarafından azledilerek İstanbul’a sürülen Ebubekir b. Ferruh Çelebi (ö. 1642) yerine, teamüle aykırı olarak inas (yani silsilesinde hanım bulunan) çelebilerden Karahisar Mevlevihanesi Şeyhi Mehmet Arif Efendi makama tayin edilmişti. Onun 1640 yılında vefatı üzerine Ebubekir Çelebi, teklif edilen postnişinlik görevini kabul etmeyince Hüseyin Çelebi, Sultan İbrahim’in (1640-1648) 21 Cemaziyelahir 1050 (8.10.1640) tarihli beratıyla on yedinci halife olarak Mevlâna Dergâhı postnişinliğine getirildi.
“Pir Hüseyin Çelebi” diye anılan Hüseyin Çelebi’nin postnişin olduğu yıllar, Osmanlı idaresinin, bilhassa saraydan kaynaklanan sıkıntılar içinde sarsıldığı bir dönemdir. Osmanlı soyunun tek varisi olarak genç yaşta tahta geçen Sultan İbrahim, şehzadeliğinde bir tür hapis hayatı yaşamış, eğitimini tamamlayamamış, dört ağabeyinin de idamına şahit olarak sağlığı bozulmuş biriydi.
Sefine’ye göre Sultan İbrahim’in zihnine gelen rahatsızlığın izalesi niyetiyle Mevlevi arakiyesi giydirmek üzere Konya’dan Pir Hüseyin Çelebi saraya davet edilmiş, fakat kendisine arakiye tekbirlenirken padişah, arakiyenin Şehzade Mehmet’in başına konulmasını emretmiş ve emri yerine getirilmiş; Çelebi Efendi, bu hadiseyi, Sultan İbrahim’in başına bir şeyler geleceğine ve Şehzade Mehmet’in padişah olacağına yorarak vakit geçirmeden Konya’ya dönmüştür.
Sema ayinine son şeklini veren kişi olarak bilinen Pir Hüseyin Çelebi, Konya’daki Kapı Camii ve Mevlâna Dergâhı’nın bitişiğine inşa olunan Sıbyan Mektebinin banisidir. Yirmi yedi yıl postnişinlik yaptıktan sonra seksen dokuz yaşında vefat etti.
Veled Çelebi Silsile-nâme’sine göre beş erkek çocuğu vardır. Vefatından sonra Mevlâna Dergâhı postnişinlerinden Ebubekir Çelebi I’in (ö. 1642) torunu Abdülhalim Çelebi b. Abdurrahman (ö. 1679) on sekizinci halife olarak Konya Mevlevi Dergâhı şeyhliğine geçmiştir.
