Kaltenbrunner se narodil v Riedu, v kraji Innkreis v západní části Rakouska, nedaleko od Branau am Inn, rodiště Adolfa Hitlera v roce 1903. Poté co se ve svých 23 letech stal doktorem práv, strávil dva roky jako právník v Salzburgu. V roce 1928 si otevřel vlastní advokátní kancelář v Linci. Tehdy se začal aktivně zajímat o politiku a stal se členem Nezávislého hnutí za svobodné Rakousko. V roce 1932 vstoupil do strany rakouských nacionálních socialistů, o rok později se stal příslušníkem SS. Spolu s Adolfem Eichamannem založil organizaci Sturmbann a působil jako mluvčí strany v severním Rakousku. Již během prvního roku svého působení u SS, byl Kaltenbrunner pověřen velením jednotky SS – Standarte 37, v dubnu 1935 se stal velitelem celé rakouské organizace SS. V lednu 1936 byl za svou protivládní činnost zatčen a internován v koncentračním táboře Dollfuss v Kaisersteinbruchu. V roce 1937 byl propuštěn na svobodu.

Dne 11. března 1938 jmenoval dr. Seyss – Inquart, spolkový kancléř Rakouska, Kaltenbrunnera státním tajemníkem pro bezpečnost. Den poté byl povýšen do hodnosti SS – Brigadeführera a pověřen řízením jednotky SS – Oberabschnitts Österreich. Kaltenbrunner byl poradcem Heinricha Himmlera v otázkách zákonných důvodů pro připojení Rakouska k Německu. V září 1938 povýšil na SS – Gruppenführera. Byl ustaven do funkce vrchního velitele SS a policie Vídně, Horního a Dolního Podunají. Měsíc předtím se stal poslancem Velkoněmeckého sněmu. V dubnu 1942 povýšil na generálporučíka policie, 21. června 1943 obdržel hodnost SS – Obergruppenführera a generála policie. Po smrti Reinharda Heydricha převzal Himmler vedení gestapa, po osmi měsících však tuto funkci svěřil právě Kaltenbrunnerovi.

Za předběžné vyšetřování šéfa Abwehru admirála Canarise a získání důkazů o jeho zapojení do spiknutí a atentátu na Adolfa Hitlera z 20. července 1944, obdržel Kaltenbrunner Rytířský kříž Válečného kříže za zásluhy s meči. Stal se i nositelem Zlatého odznaku NSDAP ( v květnu 1942 se mj. stal i čestným držitelem Krvavého řádu ). V Norimberku byl souzen Mezinárodním vojenským tribunálem a 1. října 1946 odsouzen k smrti. O 15 dní později byl popraven.