Reichenau se narodil v roce 1884 v Karslruhe. Pocházel z rodiny pruského generála a od roku 1902, kdy vstoupil do armády císařského Německa, kráčel v otcových stopách. Po službě na západní frontě v 1. světové válce sloužil dále v meziválečném období v Reichswehru. Když ho roku 1932 jeho strýc, nadšený nacista představil Hitlerovi, Reichenau se chopil příležitosti. Přestože důstojníkům armády bylo zakázáno členství v politických stranách, Reichenau se příslušníkem NSDAP stal. Po Hitlerově nástupu k moci byl jmenován styčným důstojníkem mezi velením armády a nacistickou stranou. Sehrál významnou úlohu při přesvědčování Hitlera a Göringa, aby zlikvidovali moc Ernsta Röhma a SA, která ohrožovala postavení německé armády. To vedlo k neblaze proslulé Noci dlouhých nožů z 30. června 1934.

Reichenauova rodina, pyšnící se dlouhým šlechtickým rodokmenem, patřila zároveň k bohatým obchodníkům a vlastnila v Karlsruhe největší německou továrnu na výrobu nábytku. V roce 1938 tuto továrnu věnovala nacistickému režimu, aby mohla být proměněna na výrobnu munice. Von Reichenau dále postupoval po služebním žebříčku, až se jej roku 1938, kdy došlo ke slavné aféře generálů Blomberga a Fritsche, Hitler pokusil dosadit na Fritschovo místo vrchního velitele pozemní armády. Starší velitelé jako například Rundstedt nebo Beck, však pod ním odmítli sloužit vzhledem k jeho nadšenému nacistickému přesvědčení a Hitler byl nucen ustoupit.

Během invaze do Polska v září 1939 velel Reichenau 10. armádě, která dobyla Varšavu a v květnu následujícího roku 6. armádě při jejím útoku přes Belgii do Francie. V červenci jej Hitler povýšil na generála polního maršála. V červnu 1941 při operaci Barbarossa velel von Reichenau opět 6. armádě, která dobyla Charkov a Kyjev. Při postupu do nitra Sovětského svazu aktivně podporoval působení jednotek SS Einsatzgruppen, které postupovaly ve stopách postupujících armád a vyvražďovaly Židy a reprezentanty sovětského režimu takzvané komisaře.

Když v lednu 1942 utrpěl mozkovou mrtvici, bylo rozhodnuto převézt jej z Poltavy do Lipska. Podrobnosti jeho úmrtí nejsou příliš známé. Často se tvrdí, že jeho letadlo havarovalo. Podle jiných informací nouzově přistálo a von Reichenau zemřel na srdeční zástavu. Ať už to bylo jakkoliv, jisté je, že mu tento konec života přinejmenším ušetřil krajně nepříjemnou zkušenost, jíž by se jinak po válce dožil před mezinárodním tribunálem pro válečné zločiny a v souvislosti se svou úlohou při likvidaci Ernsta Röhma, možná i před německým soudem, pokud by náhodou přežil první trest.