Event-Based Neural Network for Embedded Deployment: Representation-Model Co-Design and Event-Data Acquisition System
Diepgaand leren heeft het visueel waarnemingsvermogen bij autonoom rijden aanzienlijk verbeterd, maar conventionele camera's blijven beperkt door bewegingsonscherpte, een beperkt dynamisch bereik en hoge latentie. Gebeurteniscamera's, geïnspireerd door biologische visie, overwinnen deze beperkingen door asynchroon veranderingen in pixelhelderheid te detecteren. Dit mechanisme levert datastromen die schaars, temporeel nauwkeurig en zeer efficiënt zijn voor embedded toepassingen. De inherente schaarste en het gebrek aan intensiteitsinformatie in gebeurtenisgegevens bemoeilijken echter het extraheren van onderscheidende kenmerken en vormen uitdagingen voor de training van neurale netwerken. Daarnaast lijden gangbare datasets zoals CIFAR10-DVS aan een niet-uniforme verdeling van gebeurtenissen door het gebruik van lineaire of polygonaal gevormde bewegingstrajecten tijdens de opname, wat leidt tot periodieke artefacten.
Om deze beperkingen te overwinnen, evalueert dit proefschrift systematisch gebeurtenisrepresentaties—waaronder gestapelde afbeeldingen, voxelrasters en tijdoppervlakken—met standaard CNNs om optimale architecturen voor embedded implementatie te identificeren. Door gebruik te maken van transfer learning met vooraf getrainde ImageNet-modellen wordt de nauwkeurigheid onder beperkte dataomstandigheden aanzienlijk verbeterd. Experimentele resultaten tonen aan dat volledige fine-tuning van het hele netwerk noodzakelijk is om zich aan te passen aan de unieke eigenschappen van gebeurtenisgebaseerde gegevens. Het voorgestelde model integreert dropout, L2-regularisatie en een meerfasig leersnelheidsschema om de trainingsstabiliteit en generalisatie te bevorderen. Met deze co-designbenadering behaalt EfficientNetB0 een nauwkeurigheid van 81,05% op CIFAR10-DVS bij verwerking van gebeurtenissen binnen één temporeel venster.
Voor implementatie identificeert inspectie met het Xilinx Vitis Al-platform TensorFlow's MobileNetV2 als de optimale keuze dankzij volledige compatibiliteit met DPU-hardwareversnellers. Hoewel post-training pruning op basis van globale kanaalrangschikking is onderzocht, is de effectiviteit beperkt door het inherent gebrek aan redundantie in het model. Daarentegen compenseert quantization-aware training (QAT) succesvol het nauwkeurigheidsverlies tijdens INT8-kwantisatie, waarmee real-time prestaties (2,8 ms/frame) bij een ultralaag energieverbruik (1,77 mW) worden bereikt op het KV260 embedded platform.
Gemotiveerd door de beperkingen van bestaande datasets wordt een nieuw acquisitieplatform voorgesteld, waarbij gebruik wordt gemaakt van een Dobot-robotarm voor continue cirkelvormige beweging geïnspireerd op biologische oogbewegingen. Deze methode genereert uniforme gebeurtenisverdelingen en elimineert periodieke artefacten die aanwezig waren in eerdere datasets, wat robuustere training en evaluatie van neurale netwerken op gebeurtenisgegevens ondersteunt.
Meer lezen