Toprak ve Gübre Araştırma Enstitüsü, 1 Mart 1954 tarihinde Tarım Bakanlığının 3203 sayılı teşkilat ve görevleri kanunu uyarınca "Türkiye topraklarının etüdü, sınıflandırılması ve haritalanması; toprak, gübre, su ve bitki analizleri; toprakların sulama bakımından elverişlilik derecelerinin tesbiti ile tuzluluk, alkalilik ve ıslahı; toprak verimliliğinin korunması ve topraktan en uygun bir şekilde faydalanılması konularında çalışmalar yapmak" amacıyla Ziraat İşleri Genel Müdürlüğüne bağlı, ülkesel ihtisas Enstitüsü olarak Ankara'da kurulmuştur.
7454 sayılı kanunun 2. Maddesi uyarınca Topraksu Genel Müdürlüğü bünyesinde katılan Enstitü, kuruluş tarihinden Mayıs 1961 tarihine kadar görevleri arasında bulunan, Türkiye topraklarının etüdü ve haritalanması çalışmalarını sürdürmüştür. Topraksu Genel Müdürlüğünün Köy İşleri Bakanlığına devri ile ilgili 16.7.1964 ve 613349 sayılı kararnamenin 3. Maddesi uyarınca tekrar Tarım Bakanlığı Ziraat İşleri Genel Müdürlüğüne intikal etmiştir. Bakanlar Kurulunun 18.5.1970 tarih ve 7/691 sayılı kararıyla Enstitü yeniden Topraksu Genel Müdürlüğü bünyesine alınmıştır.
1984 yılında Bakanlıkların yeniden yapılandırılması sonucunda Enstitü çalışmalarını Tarım Orman ve Köyişleri Bakanlığında 3202 sayılı yasa ile kurulan, 07.07.1993 tarih ve 39-08/D-1-93-335 Sayılı Cumhurbaşkanlığı Onayı ile Başbakanlığa ve 2003 yılı itibariyle Tarım ve Köyişleri Bakanlığına intikal eden Köy Hizmetleri Genel Müdürlüğüne bağlı olarak 16.03.2005 tarihine kadar sürdürmüştür.
13.01.2005 tarihinde kabul edilen 5286 Sayılı Kanun gereğince 16.03.2005 tarihinde Tarım ve Köyişleri Bakanlığına devredilen Toprak ve Gübre Araştırma Enstitüsü Müdürlüğü 11.04.2005 tarihli Bakanlık Oluru ile Tarımsal Araştırmalar Genel Müdürlüğüne bağlanmıştır.
Toprak ve Gübre Araştırma Enstitüsü, 28/03/2007 tarih ve 256 sayılı Bakanlık Oluru ile Ankara Toprak ve Su Kaynakları Araştırma Enstitüsü ile birleştirilmiştir. 09/04/2007 tarih ve 285 sayılı Bakanlık Oluru ile Merkez Araştırma Enstitüsü'ne dönüştürülerek Toprak Gübre ve Su Kaynakları Merkez Araştırma Enstitüsü Müdürlüğü adını almıştır.