Rokossovskij se narodil roku 1896 ve Velikije Luki. Od začátku 1. světové války sloužil v dragounském pluku ruské carské armády jako poddůstojník. Po revoluci v roce 1917 se stal členem bolševické strany a od dubna 1918 velel jezdeckým útvarům vznikající Rudé armády. Za občanské války bojoval proti Ukrajincům a Československým legiím. Většinu své vojenské kariéry ve 20. a 30. letech, mimo období, kdy studoval na Vojenské akademii, strávil v Asii, konkrétně v Zabajkalsku, na Dálném východě, v Mongolsku a v Číně. Od počátku 30. let patřil mezi moderně uvažující velitele Rudé armády, kteří pochopili perspektivní význam tankové zbraně a obhajovali vytvoření silného tankového vojska.

Tím se dostal do sporu s konzervativními veliteli pocházejícími zejména z 1. jízdní armády Buďonného, kteří silně ovlivňovali Stalina. Následkem toho byl Rokossovskij obětí masové čistky mezi důstojníky Rudé armády, avšak naštěstí, byl tehdy po surovém mučení odsouzen k deseti letům v gulagu. Propustili ho v březnu 1940. Dostal pak velitelskou funkci v Kyjevském vojenském okruhu. Podobně jako u dalších sovětských důstojníků Rudé armády té doby, je značně obtížné vytknout určitý konkrétní moment války, v němž by Rokossovskij sehrál obzvlášť důležitou roli. Možná to bylo hned na jejím začátku v zimě 1941 – 1942 pod Moskvou, určitě ve stalingradské bitvě, kdy velel severnímu křídlu sovětské protiofenzívy během operace Uran. Účastnil se i bitvy u Kurska. Sehrál významnou roli při plánování operace Bagration, protiofenzívy v Bělorusku v roce 1944, kde se nebál postavit proti Stalinovu názoru.

V srpnu 1944 dorazily jeho jednotky na východní břeh řeky Visly ve varšavském předměstí Praga a na Stalinův rozkaz se zastavily, aby počkaly, než Němci zlikvidují Varšavské povstání polské Zemské armády. Co si o Stalinovu rozkazu myslel poloviční Polák Rokossovskij doopravdy, se můžeme jen dohadovat. Přesto jej splnil. Rozbořenou Varšavu dobyl až v lednu 1945. Potom se stal velitelem 2. běloruského frontu. Jeho cesta vedla přes tehdejší Východní Prusko ke Štětínu a dále do Meklenburska, kde se jeho vojska koncem dubna 1945 setkala s armádami západních Spojenců pod velením polního maršála Montgomeryho.

Po válce se Rokossovskij stal náhle Polákem, polským maršálem a polským ministrem obrany a přivedl sebou do Polska několik tisíc sovětských důstojníků, ať už do velitelských funkcí, nebo jako poradce. Postaral se o potlačení odporu proti podrobení Polska včetně jeho armády sovětskému vlivu. Když se roku 1956 Poláci poprvé veřejně vzbouřili, poslal proti nim tanky a armádu. Chruščovova vláda se však dohodla s polským představitelem Gomulkou a Rokossovskij byl najednou zase Rus, maršál Sovětského svazu, který se vrátil do SSSR, kde ho čekaly zase vysoké armádní i státní funkce.