Geautomatiseerde Analyse van Waargenomen Objecten en Kijkduur met behulp van Hoofd Gemonteerde Eyetracking in Zorgsimulaties.
Observatievaardigheden zijn van belang voor zorgverleners, zowel voor accurate diagnoses als voor empathische patiëntondersteuning.
De huidige evaluatie van deze vaardigheden in gesimuleerde omgevingen steunt vaak op subjectieve methoden zoals zelfrapportage en directe observatie door docenten.
Hoewel de Tobii eyetracking-brillen in het Zorglab van HOGENT objectieve blikdata leveren,
ontbreekt er tot op heden geschikte software om automatisch te analyseren welke objecten studenten waarnemen en voor hoe lang.
Deze bachelorproef beantwoordt hoe computervisiemodellen geïntegreerd kunnen worden met eyetrackingdata van Tobii Glasses om de observatieprestaties van studenten automatisch te analyseren.
De analyses dienen de feedback door docenten in het Zorglab te versterken.
Deze doelstelling werd uitgewerkt door middel van van een proof-of-concept (PoC) softwareapplicatie.
Dit proces startte met een literatuurstudie naar eyetracking-analyse en relevante computervisiemodellen (o.a. YOLO, SAM, DINOv2).
Vervolgens werd een prototype applicatie ontworpen en geïmplementeerd (Python, FastAPI, HTMX), inclusief een semi-automatische labeling-tool die gebruik maakt van SAM2 voor objectsegmentatie en -tracking.
Om de PoC te valideren, werd een gecontroleerd experiment uitgevoerd in het Zorglab.
Hier genereerden studenten aan de hand van Tobii Pro Glasses 3, eyetrackingopnames tijdens gesimuleerde observatietaken.
Deze opnames, samen met twee specifieke kalibratieopnames, werden gelabeld met de ontwikkelde tool om een grondwaarheidsdataset te creëren.
Een analysepijplijn werd ontworpen en geëvalueerd. In deze analyse werd de trackingfunctionaliteit van FastSAM gecombineerd met blikgestuurde filtering en classificatie van objectsegmenten, middels een getraind YOLOv11-objectdetectiemodel.
De prestaties werden geëvalueerd aan de hand van precisie, recall en F1-score, na optimalisatie via een grid search van hyperparameters.
Uit de resultaten bleek dat de combinatie van FastSAM-tracking met een YOLOv11-objectdetector (getraind op 1000 samples per klasse) de beste prestaties opleverde, met een F1-score van 0.80, een precisie van 0.94 en een recall van 0.70.
De hoge precisie toont aan dat het systeem met grote zekerheid de correcte objecten identificeert, hoewel een significant deel van de fout-positieven in de werkelijkheid correct gedetecteerde objecten bleken te zijn, die niet in de grondwaarheid waren opgenomen.
De lagere recall wijst erop dat niet alle bekeken objecten consistent werden gedetecteerd, voornamelijk door problemen met kleine, transparante objecten en door inconsistenties tussen de FastSAM-segmentaties en de grondwaarheid.
De FastSAM-tracking bleek de meest beperkende factor in de pijplijn.
Deze bachelorproef levert een werkend PoC en een methodologie op die de haalbaarheid van geautomatiseerde analyse van observatievaardigheden aantoont.
Het biedt een objectieve, datagestuurde basis om de feedback aan studenten te verbeteren en de effectiviteit van simulatietraining in de zorg te verhogen.
Op deze manier legt het een fundament voor verder onderzoek naar robuustere analysemethoden.
Meer lezen