Peiper se narodil v Berlíně – Wilmersdorfu jako syn armádního důstojníka v roce 1915. V říjnu 1934 vstoupil jako dobrovolník do pluku Leibstandarte SS Adolf Hitler a studoval na důstojnické škole SS v Brunswicku. V letech 1938 – 1939 sloužil jako Himmlerův pobočník. Když vypukla válka, zúčastnil se tažení v západní Evropě spolu s motorizovaným plukem Leibstandarte. Poté bojoval na východní frontě, kde se stal velitelem 3. praporu, 2. pluku pancéřových granátníků SS divize Leibstandarte. Za odvahu, kterou projevil v bojích u Charkova, byl vyznamenán Rytířským křížkem Železného kříže. Na podzim 1943 převzal velení 1. tankového pluku divize Leibstandarte. Za působení v této funkci byl odměněn jako 277.  Dubovými ratolestmi. Jeho divize poté zamířila na západní frontu. Během ústupových bojů, které Němci sváděli s invazními jednotkami Spojenců, obdržel Peiper jako 119. v pořadí Dubové ratolesti s Meči.

Během ofenzívy v Ardenách Peiperova jednotka u jedné křižovatky v belgickém městečku Malmédy zastřelila velký počet amerických válečných zajatců. Došlo k incidentu, jehož okolnosti se dodnes nepodařilo spolehlivě objasnit, jisté však je, že 74 amerických zajatců bylo zavražděno. Po válce velitelé odpovědní za tento případ stanuli před soudem v Dachau, kde čelili obvinění ze spáchání válečných zločinů. Před soudem stanulo 74 obviněných, 16. července 1946 si jich 43 vyslechlo rozsudek trestu smrti. Díky energickému jednání majora Everetta, amerického poradce obžaloby, nebyl nakonec žádný z těchto kontroverzních rozsudků vykonán. Peiper byl jedním z odsouzenců. V roce 1951 byl jeho trest smrti změněn na doživotní vězení. 22. prosince 1956 byl Peiper propuštěn z věznice v Landsbergu. Změnil si jméno a usadil se ve Francii. V červenci 1976 byl brutálně zavražděn, pravděpodobně bývalými příslušníky francouzského odboje.