Jost vstoupil do NSDAP v roce 1928, členem SD se stal v roce 1934. Pracoval ve Španělsku v době, kdy zde zuřila občanské válka. V roce 1938 se stal velitelem zahraniční zpravodajské sekce SS. Tato zpravodajská služba, později známá jako součást RSAH s označením Amt VI SD – Ausland, odpovídala za výzvědnou činnost v zahraničí. Její součástí byla Heydrichova vojenská rozvědka. Jost tuto složku řídil úspěšně až do roku 1941, kdy na jeho místo nastoupil Schellenberg, který byl však do začátku roku 1942 jmenován pouze Jostovým zástupcem. Jost spolupracoval s okupačními silami v Československu.

Když Reinhard Heydrich vymyslel, že důvěryhodnou záminkou k napadení Polska by mohl být údajný útok na německý rádiový vysílač v Glivici, připadl Jostovi úkol informovat admirála Canarise, šéfa Abwehru o tom, že Hitler Abwehru nařídil spolupracovat na této operaci s SD. Jost Canarisovi předal seznam požadavků, obsahující například 150 polských armádních uniforem, zbraně a doklady. Ke službě u SD mělo být dočasně odveleno 364 mužů.

Heydrich se Josta zbavil tak, že mu svěřil velení jedné z jednotek Einsatzgruppe v Rusku. Tuto nabídku se Jost neodvážil odmítnout. Stal se prvním velitelem Einsatzgruppe A, podařilo se mu však ve svém jmenovacím rozkazu objevit skulinu a našel si jiné funkční zařazení ještě předtím, než se jednotka pustila do svého vražedného díla. Vstoupil do služeb Východního ministerstva, které řídil Alfred Rosenberg. Sloužil jako styčný důstojník s velitelstvím skupiny armád Jih, operující na jihu Sovětského svazu. Reichsführer – SS Heinrich Himmler na Jostovo služební zařazení přišel až v květnu 1944. Podařilo se mu dosáhnout Jostova převelení k Waffen – SS a to na pozici pouhého SS – Untersturmführera ( poručík ). Po válce byl Jost souzen jako válečný zločinec a odsouzen k doživotí. Rozsudek však byl změněn a Jost byl v prosinci 1951 propouštěn na svobodu.