Erzurum’da doğdu. Medine’den Erzurum’un İspir kazasına göç eden ve soyu Hz. Hüseyin’e ulaşan Pir Hızriler’dendir. Babası şeyhülkurra Seyyit Mustafa Niyazi Efendi, annesi Hacer Hanım’dır. İlk eğitimini babasından aldı. Daha sonra mülkiye rüştiyesini bitirdi. 1890’da hıfzını tamamladı. 1905’te Şeyh Abdülgafur Efendi’den sülüs, nesih ve talik hatlarından icazet aldı. Şeyhülulema Hacı Süleyman Efendi’nin yanında dinî ilimleri tahsil etti. Yazıcızade Hacı Derviş Efendi’nin Mesnevi derslerine ve Haşiizade Şeyh Ali Rıza’nın sohbetlerine katıldı. Darülmualliminden mezun oldu. 1898-1901 yıllarında dava vekilliği yaptı. 1902’de medrese imtihanlarına girerek askerlikten muafiyet kazandı. 1903’te Erzurum İbrahim Paşa Mektebinde öğretmenliğe başladı. 1907’de muallim-i evvel olarak Numune-i Terakki Mektebine geçti; 1911’de bu okula müdür oldu. Bir yandan da Caferiye Camii’nde hatiplik yapıyordu. Öğretmenlik yıllarında ilk mekteplerde okutulmak üzere İslam Elifbası, Kırâat-ı Merdân, Risâle-i Merdân, Mecmûa-i Merdân adlı dört kitap hazırladı. Meşrutiyet’in ikinci yılında Erzurum’da basılan Müslümanlara Rehber adlı risalesinden dolayı Rus Sefaretince açılan davadan altı ayda kurtulabildi. Bir ara Sosyal Demokrat Fırkası adıyla bir fırka kurmaya teşebbüs ettiyse de başarılı olamadı. I. Dünya Savaşı’na kendi isteğiyle katıldı, kışlık hediye komisyonunda, hastane teftişinde, cephelerde irşat-hitabet hizmetlerinde görev aldı. İki yıl Kafkas cephesinde bulundu. Erzurum’un Rusların eline geçmesinden (16 Şubat 1916) birkaç gün önce ailesiyle birlikte şehirden ayrılıp büyük zorluklarla İstanbul’a geldi. Bu sırada tanıdığı küçük yaşta yetim kalan Şemseddin Yeşil’i manevi evlât edinip eğitimini üstlendi. Bir süre sonra geçim sıkıntısından dolayı Bursa’ya yerleşmek zorunda kaldı. Burada zeytin ticareti ve fırıncılık yaptı. 1919’da Bursa’da Redd-i İlhak ve Müdafaa-i Hukuk cemiyetlerinin kurulmasına öncülük etti. Bursa’nın on bir kazasında teşkilat kurup yüzlerce eşkıyayı vatan hizmetine sevk etti. Bursa Müdafaa-i Hukuk Cemiyeti başkanı iken fırınında bildiriler basarak halkı Millî Mücadele’ye katılmaya çağırdı. Millî Mücadele sırasında çeşitli kuruluşlara ayni ve nakdi 23.000 altın verdi.
1919’da yapılan son Osmanlı Meclis-i Mebusanı seçiminde Bilecik’ten mebus seçildiyse de bunu kabul etmedi. Ertesi yıl Türkiye Büyük Millet Meclisi’ne Erzurum’dan milletvekili seçildi. 23 Nisan 1920’de Ankara’ya gidip meclisin açılışına katıldı. 1 Haziran 1920’de “meclis reisi Mustafa Kemal” imzalı bir yetki yazısıyla Bursa’ya döndü. Burada Büyük Millet Meclisi adına Anadolu’nun batısındaki şehirlerin temsilcisi olarak görev yaptı. Meclisin açılışının üçüncü ayında şehit ailelerinin sefaletten kurtarılmasını, fuhşun önüne geçilmesini ve nüfusun arttırılmasını amaçlayan taaddüd-i zevcat ve mecburi izdivaçla ilgili meşhur kanun teklifini verdi, üç yıl boyunca bu teklifini tekrarladı. Buna göre evlilere bazı kolaylıklar sağlanırken bekârlara çeşitli yükümlülükler getirilecek, çok defa evlenmek istemeyenler birkaç şehit çocuğuna bakacaktı. Konya isyanı sırasında (Ekim 1920) Alâeddin Tepesi’nde üç gün aç susuz mahsur kaldı. Müteakip iki gün Konya valiliği ve kumandanlığını yürüttü. Bolu ve Mudurnu isyanını yatıştırmakla görevlendirildi. Millî Mücadele sırasında savaş cephelerinde bulundu. Mecliste Divan-ı Muhasebat, İktisat, Müdafaa-yı Milliyye, Muvazene-i Maliyye, Nizamname-i Dâhilî encümenlerinde görev yaptı. Teşkilat-ı Esasiyye Kanunu’nun kabulü üzerine (1921) Kadı Raif Efendi ile birlikte Erzurum Müdafaa-i Hukuk Cemiyeti’ni, hilâfet ve saltanat makamıyla devlet şeklinin korunmasını esas alan Muhafaza-i Mukaddesat Cemiyeti’ne dönüştürdü (1922). Bütçe müzakereleri sırasında yaptığı, Hindistan ve Azerbaycan’dan gelen paraların akıbetine dair konuşması reddedildi ve söylediği sözlerden dolayı kendisine on beş gün meclisten uzaklaştırılma cezası verildi.
Mecliste muhalif milletvekillerinden teşekkül eden ikinci grup içerisinde yer alan Salih Efendi 1922’de hilafeti savunan ve Ankara’nın ilk muhalif gazetesi olan Şarkın Sesi’ni çıkardı (29 sayı). İstiklal mahkemelerinin ilgasına, Misak-ı Millî’den fedakârlık yapılmamasına ve Ali Şükrü Bey’in ailesine maaş bağlanmasına dair teklifler verdi. Birinci meclisin feshedilmesinin ardından ikinci meclise alınmadı, ayrıca kendisine Erzurum ve Bursa’ya gitmesinin uygun görülmediği bildirildi. Bir süre sonra İstanbul’a taşınarak ticaret yapmaya başladı. 1925 Haziranında, komite kurarak Mustafa Kemal Paşa’yı öldürüp hükümeti değiştirme suçlamasıyla İstiklal Mahkemesi’nce tutuklandı; yetmiş beş gün sonra serbest bırakıldı. Ardından İstanbul İmam-Hatip Mektebi ilm-i feraiz ve akait dersleri muallimliğine tayin edildi. 1929’da bu mektep kapatılınca Çemberlitaş Ortaokulunda tarih öğretmenliğine getirildi. 1931’de öğrencilere dinî propaganda yaptığı gerekçesiyle emekliye sevk edildi. 1932’de gıda komisyonculuğuna başladıysa da bunu sürdüremedi. 1934’te Afgan ve İran hükümetleri için Farsça alfabe hazırladı. 1937-1945 yılları arasında Kütüphaneleri Tasnif Komisyonu’nda çalıştı. Bu sırada İçişleri Bakanı Hilmi Uran’a Sait Nursi’yi savunan bir mektup gönderdi. 1945’te şeker hastalığından kangren olan bir bacağı kesildi. 1947-1949 yıllarında Şemseddin Yeşil ile birlikte çıkardığı Hakikat Yolu mecmuasıyla İslamiyet gazetesinde 200 civarında yazısı yayımlandı. Hz. Ali, Ehl-i beyt muhabbeti ve Muaviye konusunda İstanbul ulemasıyla polemiklere girişti. Muhaliflerinden bir grup tarafından evi yakılmak istendi. Bu kişileri bildiği hâlde şikâyetçi olmadı. Bazı eserlerinde Kadirî tarikatına mensubiyetini ifade etmek için kullandığı Kadirî nisbesinden dolayı hakkında dava açılıp yargılandı. Yeşilzade Mehmet Salih Efendi 4 Temmuz 1954’te Fatih Sofular’daki evinde vefat etti ve Merkezefendi Mezarlığı’na defnedildi.
Eserleri: Tarih, edebiyat, tasavvuf, akait ve kelama dair ellinin üzerindeki eserinden yirmi beş kadarı basılmış olup başlıcaları şunlardır: Cenab-ı Hakk’ı İnkâr Edenlere Cevap (İstanbul 1342; müellifi tarafından kısmen sadeleştirilerek Ulu Tanrı Her Varlığın Sahibi İnkâr Edilebilir mi adıyla da yayımlanmıştır [İstanbul 1944]); Din Öğretici (İstanbul 1932; küçük bir ilmihaldir); Ruh ve Mevt Hakkında (İstanbul 1940, 1976; kelam âlimleri, filozof ve mutasavvıfların ruh ve ölümle ilgili görüşlerini içerir); Hikâyeli Mevlid, Mensur ve Manzum Muhtasar Tarihçe-i Nûr-ı Muhammedî ve Velâdet-i Cenâb-ı Ahmedî (İstanbul 1940); Hakikat Duygusu İbâdet Bilgisi: Din Duygusu Namaz Bilgisi (İstanbul 1943); Yüz Beş Hadîs-i Şerîfi Cami Ahlâk-ı Âliye ve Vezâif-i İslâmiyye (İstanbul 1946); Güldeste-i Kerâmât-ı Gavs-ı Azam Seyyid Abdülkâdir Hazretlerinin Hal Tercümesiyle Kerâmât-ı Aliyyelerinden Binde Birini Havidir (İstanbul 1947); Hazret-i İmam Ali (a.s.) ve Düşmanları (İstanbul 1947); İlme, Ulemaya Ait Açık Mektup (İstanbul 1947); Ashaba Hürmet, Sövenlere Lanet, Peygamber Buyruğu (İstanbul 1949); Kerbelâ Mezalimi (İstanbul 1950); Tercüme-i Hâl (Millet Ktp., Ali Emîrî Efendi, Şer’iyye, Nu. 1391; I. Dünya Savaşı, Millî Mücadele ve Cumhuriyet’in kuruluşuyla ilgili önemli bilgiler ihtiva eden eser Ömer Hakan Özalp tarafından bazı notlarla birlikte sadeleştirilerek yayımlanmıştır [Selâm Dergisi, sy. 104-105, Temmuz-Ağustos 1995]).
Yeşilzade Mehmet Salih Efendi’nin kendi hattıyla yazdığı, henüz yayımlanmamış bazı eserleri de şunlardır: Durûb-ı Emsâl (Süleymaniye Ktp., Yazma Bağışlar, Nu. 290); Tatlı Zehir, Yaldızlı Tuzak (Millet Ktp., Ali Emîrî Efendi, Şer’iyye, Nu. 1386/4); Farmasonlar ve Maksatları (Millet Ktp., Ali Emîrî Efendi, Şer’iyye, Nu. 1386/5); Rehber-i Tekâyâ (Millet Ktp., Ali Emîrî Efendi, Şer’iyye, Nu. 1338/2; İstanbul Üsküdar, Beşiktaş, Beyoğlu, Eyüp ve civarındaki mamur ve harap tekkelerin yerleriyle ayin günlerine ait rehberdir; müellifin Süleymaniye Kütüphanesi’nde kayıtlı [Tırnovalı, Nu. 1035] aynı adı taşıyan eseri bazı ilave bilgiler içerir); Dervişâne Tevhid Risâlesi (Millet Ktp., Ali Emîrî Efendi, Şer’iyye, Nu. 941/1); Vehhâbî Mezhebi ve Protestanlığın Eşkâliyle Mukayesesi (Millet Ktp., Ali Emîrî Efendi, Şer’iyye, Nu. 1386/6); Elifbâ-yı İslâm (İÜ Ktp., FY, Nu. 1226, İran ve Afganistan hükümetlerinin siparişi üzerine hazırlanmıştır); Vahdet-i Vücûd (Millet Ktp., Ali Emîrî Efendi, Şer’iyye, Nu. 943). Eserlerinden bazı örneklerle eser ve makalelerinin tam bir listesi Ömer Hakan Özalp’ın çalışmasında verilmiştir (Hoca, Şeyh, Siyasetçi, s. 63-270).