Konya’nın Akıncı Mahallesi’nde doğdu. Babası Nalbandzade Hacı Mustafa Efendi, annesi Atazade İbrahim Ağa’nın kızı Hatice Hanım’dır. Kendisinin belirttiğine göre baba tarafından ailesi Selçuklu Dönemine kadar gider ve Mevlâna Celaleddin-i Rumi’ye dayanır. İlköğrenimini Rüşdiye-i Füyuzat-ı Hamidiyede yaptıktan sonra Islah-ı Medaris-i İslamiyeye devam etti. Bu medresede Arapça ve Farsça öğrendi. Bu sırada okuduğu Erzurumlu İbrahim Hakkı’nın Marifetname’sinin etkisinde kalarak “Hakkı” ismini de aldı. Birinci Dünya Savaşı yıllarında İzmir’de açılan Şimendifer Mektebine girerek burayı bitirdi. Hemen ardından Batum Gar Şefliği görevine başladı. Bu onun ilk devlet görevi idi. Birinci Cihan Harbi’nden sonra bu görevinden ayrılarak Konya Sanayi Mektebinde Türkçe öğretmenliği yaptı. Cumhuriyet’in ilanından sonra İstanbul’a gitti. İstanbul Bab-ı Meşihatta ders vekâleti halifeliği görevinde bulundu. Daha sonra Başbakanlık Osmanlı Arşivi, İstanbul Askerî Müze ve Vakıflar Genel Müdürlüğünde uzman olarak görev yaptı. Vakıflar Genel Müdürlüğü Türk Vakıf Hat Sanatları Müzesi’nin kuruluşunda büyük emek sarf etti. Askerî Müze’de uzman iken Millî Savunma Bakanlığı tarafından 1957 yılında tarihî değeri olan topları Askerî Müze’ye kazandırmak amacıyla Erzurum ve Kars’taki eski topların tetkikine memur edildi.
İbrahim Hakkı Konyalı’nın ilk yazısı 1913 yılında Konya’da neşredilen Meşrık-i İrfan* gazetesinde çıktı. Babalık’ta* da yazan Konyalı’nın, Hak Yolu* adıyla çıkardığı dergisi ancak altı sayı neşredilebildi (19 Temmuz-27 Eylül 1919). Tarihî konularla ilgili yazılarını ise Tercüman-ı Hakikat’te yayımladı. İntibah gazetesinde başyazarlık yaptı. İstanbul’a geldikten sonra Son Posta’da çalışmaya başladı. Gazetenin kapatılması üzerine yazılarını Tan gazetesinde neşretti. Daha sonra Vatan, Hergün, Bugün, Yeni Sabah, Yeni İstanbul, Açık Söz, Yeni Asya ve İstiklâl gazetelerinde yazı hayatını sürdürdü. Bir kısım ilmî yazıları ise Örnek, 7 Gün, Foto Magazin, Tarih Dünyası, Tarih Konuşuyor, Vakıflar Dergisi, Vakıflar Bülteni, Türk Yurdu, Konya* gibi dergilerde yayımlandı. Tarih Dünyası Dergisi’ni Niyazi Ahmet Banoğlu ile birlikte neşretti. Sonra kendisi 1950 yılında Tarih Hazinesi adlı dergiyi çıkardı.
Konyalı, Osmanlı arşiv belgelerinin Bulgaristan’a gönderilmesini haber alıp, bunlar hakkında ilk haberi Son Posta gazetesinde 13 Mayıs 1931 tarihinde yazarak, ilgilileri ve kamuoyunu bilgilendirerek Muallim Cevdet’le birlikte önemli bir görevi ifa edip, sevkıyatın durdurulmasını ve giden evrakın bir kısmının geri alınmasını sağladı. Bu hususta 1936 yılında Açık Söz gazetesinde seri yazı neşretti.
Ömrü boyunca topladığı kitap, dergi, yazma eser, belge, fotoğraf ve her türlü dokümanı (bunlar içinde şehir tarihleri yazmak için gezdiği yerlerde halktan aldığı belgeler de dâhil) Üsküdar’da Selimiye Camii Hünkâr Kasrı’nda Vakıflar Genel Müdürlüğü tarafından 1979 yılında kurulan “İbrahim Hakkı Konyalı Vakıf Kütüphanesi ve Arşivi”ne bağışladı. Hâlen aynı yerde hizmet vermektedir.
İbrahim Hakkı Konyalı, 20 Ağustos 1984 tarihinde Konya Akşehir’de vefat etti. Cenazesi İstanbul’a getirilerek, Üsküdar Selimiye Camii’nde kılınan cenaze namazından sonra Karacaahmet Mezarlığı’nda toprağa verildi. Konyalı’nın ilk eşi Mediha Hanım’la evliliğinden Ayhan adında bir oğlu ile Yıldız isminde bir kızı vardır.
Konyalı, yazılarını umumiyetle bilinen ismi ile yazmakla birlikte bazı yazılarında esas soyadı olan “Atis”i, bazen de Ayhan Atis, İ. Atis, Anber Reisoğlu, İbrahim Cimcoz, Ayhan Nalbantoğlu gibi müstear isim kullandığı olmuştur.
İbrahim Hakkı Konyalı’ya, 1979 yılında “Kültür Bakanlığı Yüksek Hizmet Ödülü” ve 8 Haziran 1981 tarihinde Konya Selçuk Üniversitesi tarafından fahrî doktora payesi tevcih edildi. Ayrıca ismi Konya’da bir cami ve ilköğretim okuluna verildi.
Eserleri: İbrahim Hakkı Konyalı arşiv uzmanı, müzeci ve gazeteciliğinin yanında şehir tarihi telifinde de önde gelen isimlerdendir. Tarihini yazdığı şehirler hakkında belli bir dönemi ele alarak derinlemesine tahlilî bir araştırmadan ziyade zengin tarihî malzeme ihtiva eden, en ayrıntılı bilgileri toplayan eserler ortaya koymuştur. Onun kaleme aldığı şehir tarihlerinde kaynak olarak kullanılan üç temel unsur öne çıkmaktadır:
Birincisi; şehirler hakkında genel tarih bilgisi, ilkçağ, ortaçağ ve Osmanlı Döneminde şehrin durumu ile ilgili seyahatnamelerde, şehir hakkında yazılan eserlerde ve genel tarih kitaplarında verilen bilgiler ele alınır. İkinci olarak; arşiv kaynakları, müesseseler ve vakıf eserleri hakkında bilgi veren vakfiyeler, tapu tahrir defterleri ve şeriye sicillerindeki bilgilere yer verilir. Üçüncüsü ise; şehrin bizzat kendisi, şehirdeki mekânları, mahalleleri, şehirdeki bütün yapıları istisnasız inceler. Bu yapıların tanımını yaparken, bir sanat tarihçisi gibi, yapının yerini, ölçülerini, banisini, tamir kayıtlarını, vakfiyesini, kitabesini ele alarak değerlendirmektedir. Konyalı, şehirdeki kaleden kışlaya, kervansaraydan hanlara, camiden kilise ve mescide, medreseden zaviyeye, çeşmeden hamamlara, saraydan evlere kadar her türlü yapıyı inceleyip fotoğraflarını vermektedir. O şehirde ve şehir etrafında yüzey araştırması yaparak değişik dönemlerden kalan bakiyeleri de değerlendirmiştir.
Onun kaleme aldığı şehir tarihleri; Nasreddin Hoca’nın Şehri Akşehir (İstanbul 1945), Alanya: Alaiye (İstanbul 1946), Âbideleri ve Kitâbeleriyle Erzurum Tarihi (İstanbul 1960), Âbideleri ve Kitâbeleriyle Konya Tarihi (Konya 1964), Âbideleri ve Kitâbeleri ile Karaman Tarihi (İstanbul 1967), Ermenek ve Mut Âbideleri (İstanbul 1967), Âbideleri ve Kitâbeleri ile Kilis Tarihi (İstanbul 1968), Âbideleri ve Kitâbeleri ile Konya Ereğli’si Tarihi (İstanbul 1970), Âbideleri ve Kitâbeleri ile Şereflikoçhisar Tarihi (İstanbul 1971), Âbideleri ve Kitâbeleri ile Niğde Aksaray Tarihi (I-III, İstanbul 1974-1975), Âbideleri ve Kitâbeleriyle Üsküdar Tarihi (I-II, İstanbul 1976-1977), Âbideleri ve Kitâbeleriyle Beyşehir Tarihi (Erzurum 1991).
Şehir tarihleri haricindeki diğer eserleri de şunlardır: Topkapı Sarayında Deri Üzerine Yapılmış Eski Haritalar (1936), İstanbul Âbideleri (İstanbul 1940), Afrodit Hakkında Tarihî Tetkikler (İstanbul 1940), Harun er-Reşid (1941), İstanbul Âbidelerinde İstanbul Sarayları At Meydanı Sarayı-Pertev Paşa Sarayı-Çinili Köşk (İstanbul 1942), Karacabey Mamuresi, Vakfiyesi, Tarihi ve Diğer Eserleri (İstanbul 1943), Eski ve İslâmî Paralar (İstanbul 1946, Takıyyüddin Ahmed Makrîzî’den tercüme), Mimar Koca Sinan (İstanbul 1948), Osmanlı Sultanları Tarihi [Karamanlı Nişancı Mehmet Paşa’nın Tevârîhu’s-Selâtini’l-Osmâniyye adlı eserinin tercümesi (Osmanlı Tarihleri I içinde İstanbul 1949, s. 323-369)], Mimar Koca Sinan’ın Eserleri (İstanbul 1950), Fatih’in Mimarlarından Azadlı Sinan: Sinan-ı Atîk Vakfiyeleri, Eserleri, Hayatı, Mezarı (İstanbul 1953), Söğüt’te Ertuğrul Gazi Türbesi ve İhtifali (İstanbul 1959), Aslı Türkçe Çeviri ve Açıklamalarıyla Mesnevî (İstanbul 1963), Ankara Camileri (Ankara 1978).
İbrahim Hakkı Konyalı’nın bu eserlerinden başka yayımlanmamış on civarında eseri ile değişik dergi ve gazetelerde neşredilmiş çok sayıda yazısı bulunmaktadır.