Van pixels tot patrouilles: hoe videogames kunnen bijdragen tot militaire operaties

Terwijl internationale spanningen escaleren en militaire voertuigen door Europa rollen, is het veiligstellen van grensgebied nog nooit zo belangrijk geweest. Er wordt geschat dat er sinds 2022 al meer dan twintigduizend militaire voertuigen, voornamelijk tanks, vernield zijn in het Rusland-Oekraïne conflict. De eerste stap om jezelf te beschermen tegen een tank op aantocht, is weten dat er een tank op aantocht is. Daarom heb ik als student data & cybersecurity een AI-model gebouwd dat op basis van warmtebeelden militaire tanks kan detecteren. En hoe deed ik dat? Door te gamen!

Ik zie, ik zie wat jij niet ziet

Traditionele bewakingscamera's tonen alleen wat zichtbaar is voor het menselijk oog. Warmtecamera's daarentegen detecteren infraroodstraling die door een object wordt uitgezonden. Terwijl troepen zich verstoppen achter camouflage of zich uitsluitend in het donker verplaatsen om verborgen te blijven, verraden hun motoren en uitlaatsystemen hen door de warmte die ze uitstralen. Zelfs een tank die zijn motor stilzet en zich schuilhoudt in dichte bossen blijft urenlang zichtbaar voordat alle onderdelen volledig afgekoeld zijn. Warmtecamera’s bieden dus enorme voordelen binnen militaire operaties. Voor onze veiligheid is dit onderscheid cruciaal: een gemiste tank kan het verschil betekenen tussen een succesvolle verdediging of evacuatie en een doorgebroken frontlinie. 

Geen geheime data? Dan maar gamen!

Als je een AI-model wil trainen om een boom te herkennen dan moet je hem honderden tot zelfs duizenden foto's van verschillende bomen tonen. Zo leert het AI-systeem net zoals een kind een boom te herkennen. In mijn geval had ik dus heel wat foto's nodig specifiek van warmtebeelden van tanks. Echte militaire warmtebeelden zijn echter zeer schaars en worden bijna even goed bewaakt als staatsgeheimen. Voor een student zonder toegang tot geheime databases leek dit onderzoek onmogelijk - tot ik koos voor een compleet andere benadering om dit datatekort op te lossen, namelijk videogames. Meer specifiek de videogame “War Thunder”. 

War Thunder is een online actie- en simulatiespel met meer dan tweeduizend verschillende voertuigen die je als speler kan besturen. Wat uniek is aan het spel is dat het gekend staat om haar realistische afbeeldingen van tanks uit verschillende tijdsperiodes. Maar wat voor mij interessant is, is dat je in het spel ook een warmtecamera kan activeren. Het spel simuleert dus niet alleen het uiterlijk van militaire voertuigen, maar ook hun thermische eigenschappen in nachtzichtmodus waardoor je voor elk voertuig de specifieke warmtesignatuur te zien krijgt. Dat levert dus tweeduizend verschillende 3D-modellen op, elk met een specifieke warmtesignatuur, van realistische tanks die ik kon gebruiken om mijn eigen dataset te bouwen. Nadat ik een selectie van tanks uitkoos, begon ik de 3D-modellen via de ingebouwde warmtecamera te observeren vanuit talloze verschillende hoeken en afstanden tot ik elk detail vastgelegd had. Ik zat daar urenlang War Thunder te spelen terwijl ik een beeldopname van mijn scherm nam. Mijn vrienden dachten dat ik aan het gamen was, maar ik was eigenlijk bezig met het verzamelen van data voor mijn AI-systeem.

YOLO: nee, niet de levensstijl, maar een superslim algoritme

YOLO staat voor "You Only Look Once" en is een realtime detectiealgoritme dat in één voorbijgang het gehele beeld analyseert om objecten te lokaliseren en classificeren. Dit maakt het extreem snel vergeleken met tweestaps-detectoren zoals de R-CNN familie, die eerst een algoritme gebruikt om regio’s van belang te identificeren en daarna een apart classificatiemodel gebruikt om deze regio’s te evalueren. Het ontwerp van YOLO leunt op convolutionele netwerken die zowel locatie- als klasinformatie in één netwerk voorspellen, waardoor latentie sterk afneemt. Essentieel dus voor realtime toepassingen zoals tankdetectie. Dankzij zijn snelheid en aanpasbaarheid is YOLO een populaire keuze voor systemen die snelle detectie vereisen en wordt het dus ook gebruikt in zelfrijdende auto’s of slimme fabrieken.

Het finale AI-model is een YOLOv11 objectdetectiemodel dat getraind werd over 40 epochs. De dataset bestond uit 2874 geannoteerde warmtebeelden waarbij ik op elke frame handmatig moest aanduiden welk type tank zich waar bevond op de foto. Hiervan werden 2299 gebruikt voor training en 575 voor testing (80-20 split). Tijdens de training heeft het model in elke epoch alle trainingsbeelden gezien en zijn netwerkgewichten aangepast via backpropagation om de verliesfunctie, een combinatie van classificatie- en lokalisatiefouten, te minimaliseren.  De testset werd buiten het trainingsproces gehouden en uitsluitend gebruikt om de generalisatie van het model te meten. Dit maakt het mogelijk om na te gaan of het model niet gewoon alle trainingsdata vanbuiten geleerd heeft, maar ook nieuwe warmtebeelden van tanks correct kan herkennen.

Van simulatie naar operatie

Binnen de gecontroleerde War Thunder-dataset presteert het model uitzonderlijk goed: gemiddelde precisie van 99% en minimale verwarring tussen verschillende tankmodellen. De grote vraag is dan “Hoe presteert het model, dat getraind is op gesimuleerde 3D-modellen van tanks uit een videogame, op échte tanks?”. Hoewel deze 3D-modellen realistisch zijn, is de warmteverdeling bij échte tanks net wat genuanceerder in de realiteit. Bijkomende tests op echte warmtebeelden toonden echter aan dat het systeem nog steeds in staat was om fundamentele tanksilhouetten te herkennen, maar dat het faalde om verschillende tanksoorten te classificeren. Dus hoewel het model geen vertrouwbaar onderscheid kan maken tussen tank A en tank B, is het wel in staat om in het algemeen tanks op een warmtebeeld te herkennen, wat nog steeds enorme voordelen biedt voor militaire operaties.

Deze resultaten benadrukken het proof-of-concept karakter van het AI-model. Voor concrete operationele inzet is dus een hybride aanpak nodig waarbij het huidige model verder wordt afgestemd met echte militaire data, maar de fundamenten zijn gelegd voor wat een revolutionaire detectietechnologie kan worden.