Neurath se narodil v roce 1873 ve Kleinglattbachu ve Württembersku. Po dokončení základní školy nastoupil studia na gymnáziu ve Stuttgartu. Poté vystudoval práva a vstoupil do diplomatických služeb, během nichž působil v Londýně a tureckém Istanbulu. Po vypuknutí 1. světové války velel v hodnosti kapitána jedné z rot 119. pěšího pluku. Bojoval na západní frontě až do roku 1916, kdy byl vážně raněn. Po skončení 1. světové války se opět vrátil do diplomatických služeb. V letech 1932 – 1938 působil jako ministr zahraničí, než byl vystřídán Joachimem von Ribbentropem. Poté působil jako ministr bez portfeje.

Neurath nebyl nacista ( ačkoli v roce 1937 vstoupil do NSDAP ), nýbrž konzervativec, kterého do vlády jmenoval prezident Hindenburg a který na svůj úřad rezignoval na protest proti Hitlerově agresivní politice, jež nakonec vedla k rozpoutání 2. světové války.

15. března 1939 byl von Neurath jmenován říšským protektorem Čech a Moravy. S českou protektorátní vládou udržoval poměrně dobré vztahy, na což státní tajemník Karl Hermann Frank stále upozorňoval Hitlera. Posléze byl pro přílišnou mírnost nucen odejít do ústraní a v září 1941 ho nahradil Reinhard Heydrich ( formálně však Neurath ve funkci zůstal až do srpna 1943 ). V norimberském procesu byl von Neurath postaven před soud za svou účast na rozpoutání války a byl odsouzen k 15 letům vězení. Po prodělaném infarktu ve věznici Spandau v roce 1954 byl předčasně propuštěn. Konstantin von Neurath zemřel o dva roky později v roce 1956 v Enzweihingenu.