Prapor byl zformován 22. března 1943 z 654. praporu stíhačů tanků. 13. června 1943 obdržel 45 těžkých stíhačů tanků Ferdinand a byl odvelen na východní frontu, kde se zúčastnil slavné bitvy v kurském výběžku. Po těžkých ztrátách byl převelen na doplnění do Francie. V lednu 1944 dorazilo k jednotce prvních 5 stíhačů tanků Jagdpanther ( prapor byl prvním, který obdržel nové stíhače tanků Jagdpanther ), v dubnu dalších 8 vozidel. Po zahájení krvavých bojů ve francouzské Normandii v létě 1944 byly dvě roty 654. praporu těžkých stíhačů tanků vyslány na tamější frontu. Jednotka podléhala tankové divizi Panzer Lehr, do poloviny července pak přímo velitelství XLVIII. tankového sboru.

31. července 1944 narazily stíhače Jagdpanther pod velením kapitána Friedricha Lauderse na britskou 6. gardovou divizi, která podporovala útok 15. a 43. obrněné divize. Bojovou arénou se stala kóta 309, kterou se snažil dobýt pluk Argyll and Sutherland Highlanders. V boji zahájeném časně ráno zničily Jagdpanthery 3 britské pěchotní tanky Churchill IV. V 18:00 byl na kótu podniknut rozhodující útok. Britové přišli o dalších 8 tanků a tento úspěch způsobil, že Němci přešli do protiútoku. Na počátku zničili Jagdpanthery kolonu z pluku Coldstream Guards. Gardisté se však nevzdávali a přesnou palbou z 17liberních děl zničili dva německé stíhače. Boje v oblasti Le Tourneur trvaly až do 9. srpna 1944 (4. srpna přišel 654. prapor o jeden Jagdpanther).

( Dva stíhače tanků Jagdpanther 654. praporu těžkých stíhačů tanků )

Podle německých údajů zničili příslušníci praporu 25 spojeneckých tanků při ztrátě pouze 3 vlastních. Počátkem srpna obdržel pro doplnění stavu 16 nových vozidel (1. rota do srpna výzbroj neobdržela). Následující dny přinesly těžké boje v zužující se kapse u Falaise, z níž se nakonec praporu podařilo uniknout. Celkem se podařilo zachránit 23 stíhačů tanků Jagdpanther, což bylo velkým logistickým úspěchem.

Do konce listopadu 1944 byla jednotka doplněna celkem 22 novými vozidly. V tomto období dokázal 654. prapor těžkých stíhačů tanků zničit v bojích v Alsasku celkem 52 nepřátelských tanků, při ztrátě pouhých 18 vlastních vozidel. V prosinci 1944 byl prapor doplněn stíhači tanků Jagdpanzer IV. 1. ledna 1945 disponoval útvar celkem 35 vozidly Jagdpanther, z nichž 29 se nacházelo ve stavu bojové připravenosti. Jednotka se tak mohla zúčastnit i poslední německé ofenzívy na západní frontě – bitvy v Ardenách. Do konce ledna 1945 zničil 654. prapor těžkých stíhačů tanků mj. celkem 102 nepřátelských tanků.