Golikov se narodil v roce 1900 v Kurganské oblasti v Rusku. Krátce před ukončením studia na gymnáziu v Kurganu vstoupil v květnu 1918 jako dobrovolník do Rudé armády a stal se politickým pracovníkem. O rok později absolvoval Vojenský agitátorský kurs v Petrohradě a postupně se vypracoval na náčelníka politického oddělení střelecké divize. V srpnu 1933 absolvoval speciální fakultu Vojenské akademie M. V. Frunzeho v Moskvě a krátce na to se stal velitelem střelecké divize, od září 1936 velel mechanizované brigádě na Ukrajině. Během Stalinových čistek ve velitelském sboru, jichž se aktivně zúčastnil, se v červnu 1937 stal velitelem 45. mechanizovaného sboru v Kyjevě.

V lednu 1938 byl jmenován zástupcem velitele Kyjevského vojenského okruhu pro věci politické, od listopadu 1938 pak velel Vinnické armádní skupině a v září 1939 se stal velitelem sovětské 6. armády, jež se podílela na okupaci východního Polska. V červnu 1940 se v hodnosti generálporučíka stal náčelníkem Hlavní zpravodajské správy a zástupcem náčelníka Generálního štábu. Po vypuknutí sovětsko – německé války ( 22. 6. 1941 ) byl v listopadu 1941 jmenován velitelem 10. armády, se kterou zaznamenal úspěch v bitvách před Moskvou. Od února 1942 velel jednotkám 4. úderné armády.

V létě 1942 krátce velel vojskům Brjanského a Voroněžského frontu, poté se stal velitelem 1. gardové armády a v říjnu 1942 zastával funkci zástupce velitele Stalingradského frontu, zástupce velitele Severozápadního frontu a náčelníka Hlavní zpravodajské správy. V listopadu 1942 byl jmenován na post velitele Voroněžského frontu, který od prosince vedl ofenzivní akce v prostoru Voroněže po Charkov. V únoru 1943 přešel pod jeho velení mimo jiné i 1. československý polní prapor, jehož přehlídku vykonal v Ostrogožsku. Za boje o Sokolovo tak byl vyznamenán Válečným křížem 1939. Po porážce vojsk frontu v březnových bojích u Charkova byl odvolán z funkce a stal se náměstkem lidového komisaře obrany pro kádrové záležitosti. Od května 1943 byl náčelníkem Hlavní kádrové správy. Po skončení války, působil od roku 1950 jako velitel Samostatné mechanizované armády v rumunské Bukurešti. Od dubna 1956 stál v čele Vojenské akademie tankových vojsk. V lednu 1958 byl jmenován náčelníkem Hlavní politické správy s úkolem zlikvidovat v armádě příznivce bývalého ministra obrany Georgije Žukova. Po úspěšném splnění tohoto úkolu obdržel hodnost maršála SSSR. Do maršálské penze byl poslán v květnu 1960. Filipp Ivanovič Golikov zemřel v roce 1980 v Moskvě.