Berger se narodil v Gerstettenu v Bádensku – Württembersku v roce 1896, jako syn majitele pily. Sloužil jako důstojník na bojištích 1. světové války, přičemž utrpěl vážné zranění. Po válce vstoupil do Freikorpsu, pracoval jako učitel v Gerstettenu, zastával také post ředitele oblastního gymnastického institutu ve Stuttgartu. Berger si získal Himmlerovu důvěru a stal se jeho hlavním poradcem. Patřil k prvním členům SA, po zavraždění Ernsta Röhma se však stal loajálním příslušníkem SS. 1. srpna 1938 se stal vedoucím sportovního úřadu SS, po svém nástupu do funkce začal s reorganizací této instituce. Od 1. dubna 1940 stál v čele hlavního náborového úřadu Waffen – SS.

Berger využil možnost zařadit do jednotek Waffen – SS i příslušníky jiných národů, zatímco jiné německé ozbrojené složky se k této praxi neuchýlily. Zodpovídal rovněž za zajištění kulturních a sociálních potřeb německých i neněmeckých příslušníků Waffen – SS a zastával také funkci Himmlerova jednatele s Rosenbergovým ministerstvem pro obsazená území na východě. Berger zastával post velitele jednotek SS na Slovensku, kde se v době Slovenského národního povstání pokusil o stabilizaci situace. Když neuspěl, vystřídal jej na Slovensku generál Höfle. Od 20. července 1944 odpovídal Berger za veškerou problematiku válečných zajatců. Po válce stanul před norimberským tribunálem, který ho soudil za vraždy Židů v době války. V roce 1949 byl Berger odsouzen k 25 letům vězení. Z vězení byl propuštěn v roce 1951, zemřel v Gerstettenu v roce 1975.