Echt Gezien, of Snel Vergeten? Een Slimme Bril Weet Het Antwoord.
Binnen de opleiding verpleegkunde aan de HOGENT bestaat recentelijk een praktijklabo: het Zorglab. Daar wordt nagegaan in hoeverre studenten oog hebben voor eventuele risicovolle voorwerpen in de patiëntomgeving. Na een zorgsimulatie vraagt de docent verpleegkunde aan de student: “Zag je het keukenmes op het nachtkastje?”. “Jazeker”, antwoordt de student vol zelfvertrouwen. Maar is dat wel zo? Tot nu toe moest de docent de student op zijn of haar woord geloven, maar wat als we écht konden achterhalen waar de student naar keek? Ik ontwikkelde een systeem dat een eyetracking-bril koppelt aan computervisie, de technologie achter zelfrijdende auto's en gezichtsherkenning.
Van Gokken naar Meten
In een zorgopleiding leren studenten de kamers van patiënten snel en accuraat beoordelen op risico's en belangrijke details. Maar hoe meet je die vaardigheid? Een docent kan onmogelijk over de schouder van elke student meekijken en tegelijkertijd noteren welke van de twintig objecten in de kamer aandacht krijgt. De evaluatie wordt daardoor een combinatie van de subjectieve indruk van de docent en het soms onbetrouwbare geheugen van de student. Het is een tijdrovend proces dat kan leiden tot inconsistente beoordelingen.
De eyetracking-bril levert ruwe data om verandering te brengen in dit subjectieve proces, door middel van een video vanuit het perspectief van de student en een stroom van 'kijkpunten'. Maar hier begint de échte uitdaging, zeker omdat de student niet stilzit. In tegenstelling tot eyetracking op een vast computerscherm, beweegt de student hier constant door de kamer. Objecten veranderen van grootte en perspectief, lichtinval wisselt, en de bril verschuift soms lichtjes op het hoofd. De vraag blijft: hoe weet een computer nu automatisch dat een specifiek kijkpunt op een gevaarlijk mes landt, en niet op het glas water ernaast?
Zo Leert een Computer Kijken
Om de blik van de student te vertalen naar concrete data, heb ik een proces in drie stappen ontwikkeld. Elke stap werkt als een filter die de visuele informatie verder verfijnt tot een bruikbare conclusie.
Het proces start met een ongerichte scan. Een eerste computermodel krijgt de opdracht: ‘omlijn alles in dit videobeeld wat een object zou kunnen zijn’. Het resultaat is de chaos die je in de eerste foto ziet. De software identificeert tientallen vormen, van een stoel tot bladeren van een kamerplant. In deze fase weet de computer enkel dat er veel verschillende ‘dingen’ zijn.
Nu komt de magie van de eyetracking-bril. Het blikpunt van de student (de rode cirkel) wordt op de chaotische eerste afbeelding gelegd. De software krijgt nu de opdracht om alles wat geen overlapping heeft met het blikpunt, te verwijderen. Wat overblijft, is een handvol omlijnde objecten die daadwerkelijk de aandacht van de student hebben getrokken.
We weten nu wélke objecten bekeken zijn, maar nog niet wát ze zijn. In de laatste stap wordt elk overgebleven object voorgelegd aan een tweede, gespecialiseerd model. Deze ‘expert’ is getraind om de kritische objecten uit de simulatieomgeving te herkennen. Het model vergelijkt het bekeken object met zijn kennis en plakt er het juiste label op: ‘iced tea’. Het resultaat is een objectieve meting.
Maar Werkt het Ook Echt?
Een slim systeem is mooi, maar hoe betrouwbaar is het? Om te weten of de 'objectieve' meting van mijn software ook echt klopt, moest ik het systeem aan de praktijk toetsen. In het Zorglab liet ik studenten een eyetracking-bril dragen terwijl ze op zoek gingen naar specifieke objecten. Vervolgens creëerde ik een 'correcte oplossing' door zelf alle video’s beeld voor beeld te analyseren en handmatig aan te duiden welke objecten de studenten écht hadden bekeken. Dit was de ultieme test: kwam de automatische analyse van de software overeen met mijn handmatige, menselijke analyse?
De resultaten zijn veelbelovend. De software blijkt een uitstekende 'speurneus': in 94% van de gevallen dat het systeem een object identificeerde, was dit ook effectief correct. En zelfs dat cijfer is nog een understatement. Bij nader inzien bleken veel van de zogenaamde 'fouten' van de computer eigenlijk correcte detecties te zijn die in mijn handmatige oplossing niet waren opgenomen. In de praktijk zijn foutieve identificaties dus uiterst zeldzaam.
Tegelijkertijd misloopt het systeem ongeveer 3 op de 10 daadwerkelijk bekeken objecten, voornamelijk wanneer deze erg klein of doorzichtig zijn. De conclusie is duidelijk: de methode is zeer betrouwbaar in wát ze detecteert, maar er is nog ruimte voor verfijning om álle objecten te vinden.
De Docent aan het Stuur
Maar waar haalt de ‘expert’ uit de laatste stap eigenlijk zijn expertise? De kracht van het systeem is dat het niet statisch is; docenten kunnen het zelf aanpassen voor nieuwe scenario's. Hiervoor ontwikkelde ik een gebruiksvriendelijke applicatie waarin de docent eenmalig een 'visueel geheugen' opbouwt voor de software. Zoals je op de foto hieronder ziet, kan een docent een voorbereidende video gebruiken om belangrijke objecten aan te wijzen. Hij of zij selecteert bijvoorbeeld ‘stethoscoop’ uit de lijst en klikt het object een paar keer aan.
De software neemt het vanaf daar grotendeels over en volgt het object doorheen de video, om zo honderden voorbeelden te verzamelen. Eenmaal genoeg voorbeelden verzameld, kan het systeem automatisch honderden verschillende simulatievideo’s van studenten analyseren. Dit maakt het systeem flexibel en efficiënt: voor een nieuw scenario kan de docent de software eenvoudig bijsturen, zonder externe expertise.
De Toekomst van Zorgonderwijs
De ware kracht van dit project ligt niet in het vervangen van de docent, maar in het versterken ervan. De technologie geeft docenten een soort 'superkracht': de mogelijkheid om door de ogen van hun studenten te kijken en hun observatiepatronen objectief te analyseren. De eindeloze discussies over wat wel of niet gezien is, maken plaats voor gerichte coaching op basis van feiten. Ook voor de student kan dit een belangrijke meetstaf zijn om zijn of haar vaardigheden te toetsen. Zo kweken we geen studenten die enkel het juiste antwoord geven, maar bekwame zorgverleners die met een scherper oog en meer zelfvertrouwen de praktijk instappen.
Bibliografie
@article{Buslaev2018,
title={Albumentations: Fast and Flexible Image Augmentations},
volume={11},
ISSN={2078-2489},
url={http://dx.doi.org/10.3390/info11020125},
DOI={10.3390/info11020125},
number={2},
journal={Information},
publisher={MDPI AG},
author={Buslaev, Alexander and Iglovikov, Vladimir I. and Khvedchenya, Eugene and Parinov, Alex and Druzhinin, Mikhail and Kalinin, Alexandr A.},
date={2018-09-18},
urldate={2025-05-28}
}
@online{Carion2020,
title = {End-to-End Object Detection with Transformers},
author = {Nicolas Carion and Francisco Massa and Gabriel Synnaeve and Nicolas Usunier and Alexander Kirillov and Sergey Zagoruyko},
date = {2020},
eprint = {2005.12872},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2005.12872},
urldate = {2025-05-02}
}
@thesis{Cederin2023,
series = {UPTEC IT},
title = {Automatic object detection and tracking for eye-tracking analysis},
url = {https://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-504416},
author = {Cederin, Liv and Bremberg, Ulrika},
date = {2023},
collection = {UPTEC IT},
institution = {Uppsala University},
type = {Bachelor's thesis}
}
@article{Clarke2017,
author = {Alasdair D. F. Clarke and Aoife Mahon and Alex Irvine and Amelia R. Hunt},
title = {People Are Unable to Recognize or Report on Their Own Eye Movements},
journaltitle = {Quarterly Journal of Experimental Psychology},
volume = {70},
number = {11},
pages = {2251--2270},
date = {2017},
doi = {10.1080/17470218.2016.1231208},
note = {PMID: 27595318},
url = { https://doi.org/10.1080/17470218.2016.1231208},
eprint = { https://doi.org/10.1080/17470218.2016.1231208},
}
@article{Frischen2007,
author = {Frischen, Alexandra and Bayliss, Andrew P. and Tipper, Steven P.},
title = {Gaze cueing of attention: Visual attention, social cognition, and individual differences},
journaltitle = {Psychological Bulletin},
volume = {133},
number = {4},
pages = {694--724},
date = {2007},
doi = {10.1037/0033-2909.133.4.694},
url = {https://doi.org/10.1037/0033-2909.133.4.694}
}
@article{Geng2018,
title={Recent Advances in Open Set Recognition: A Survey},
volume={43},
ISSN={1939-3539},
url={http://dx.doi.org/10.1109/TPAMI.2020.2981604},
DOI={10.1109/tpami.2020.2981604},
number={10},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
publisher={Institute of Electrical and Electronics Engineers (IEEE)},
author={Geng, Chuanxing and Huang, Sheng-Jun and Chen, Songcan},
pages={3614–3631},
date={2018-11-21},
urldate={2025-05-21}
}
@online{Girshick2014,
title = {Rich feature hierarchies for accurate object detection and semantic segmentation},
author = {Ross Girshick and Jeff Donahue and Trevor Darrell and Jitendra Malik},
date = {2014},
eprint = {1311.2524},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/1311.2524},
urldate = {2025-05-02}
}
@article{Hafiz2020,
title = {A survey on instance segmentation: state of the art},
volume = {9},
issn = {2192-662X},
url = {http://dx.doi.org/10.1007/s13735-020-00195-x},
doi = {10.1007/s13735-020-00195-x},
number = {3},
journaltitle = {International Journal of Multimedia Information Retrieval},
publisher = {Springer Science and Business Media LLC},
author = {Hafiz, Abdul Mueed and Bhat, Ghulam Mohiuddin},
date = {2020},
month = jul,
pages = {171--189}
}
@online{He2018,
title = {Mask R-CNN},
author = {Kaiming He and Georgia Gkioxari and Piotr Dollár and Ross Girshick},
date = {2018},
eprint = {1703.06870},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/1703.06870},
urldate = {2025-05-02}
}
@online{heyoeyo2024comment,
title = {Comment on "Are there any method for reducing gpu memory overhead?"},
url = {https://github.com/facebookresearch/sam2/issues/196},
author = {heyoeyo},
date = {2024-08-13},
urldate = {2025-02-20},
note = {Comment on GitHub issue}
}
@online{Hu2024facebookresearch,
title = {facebookresearch/sam2},
url = {https://github.com/facebookresearch/sam2},
author = {Hu, Ronghang and Niels, Rogge and Khedr, Haitham and Arun and CharlesCNorton and Ryali, Chay and Rädle, Roman and Dymchenko, Sergii and Danwand and Garcia, Diego and jhj0517},
date = {2024-12-25},
urldate = {2025-02-20}
}
@online{Hu2025ilianbronchart,
title = {ilianbronchart/sam2},
url = {https://github.com/ilianbronchart/sam2},
author = {Hu, Ronghang and Niels, Rogge and Khedr, Haitham and Arun and CharlesCNorton and Bronchart, Ilian and Ryali, Chay and Rädle, Roman and Dymchenko, Sergii and Danwand and Garcia, Diego and jhj0517},
date = {2025-03-16},
urldate = {2025-03-16}
}
@article{Huang2024,
author = {Huang, Huadong and Wang, Binyu and Xiao, Jiannan and Zhu, Tianyu},
date = {2024},
month = {02},
pages = {80--88},
title = {Improved small-object detection using YOLOv8: A comparative study},
volume = {41},
journaltitle = {Applied and Computational Engineering},
doi = {10.54254/2755-2721/41/20230714}
}
@online{iMotions2025,
author = {{iMotions}},
title = {Automated AOI},
date = {2025},
url = {https://imotions.com/products/imotions-lab/modules/automated-aoi/},
urldate = {2025-05-02}
}
@online{Khanam2024,
title = {YOLOv11: An Overview of the Key Architectural Enhancements},
author = {Rahima Khanam and Muhammad Hussain},
date = {2024},
eprint = {2410.17725},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2410.17725},
urldate = {2025-05-02}
}
@online{Kirillov2019,
title = {Panoptic Segmentation},
author = {Alexander Kirillov and Kaiming He and Ross Girshick and Carsten Rother and Piotr Dollár},
date = {2019},
eprint = {1801.00868},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/1801.00868},
urldate = {2025-05-02}
}
@online{Kirillov2023,
title = {Segment Anything},
author = {Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
date = {2023},
eprint = {2304.02643},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2304.02643},
urldate = {2025-05-02}
}
@article{Lindeberg2012,
author = {Lindeberg, T. },
title = {{S}cale {I}nvariant {F}eature {T}ransform},
journaltitle = {Scholarpedia},
volume = {7},
number = {5},
doi = {10.4249/scholarpedia.10491},
urldate = {2025-05-02},
date = {2012-05}
}
@online{Liu2023,
title = {Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection},
author = {Shilong Liu and Zhaoyang Zeng and Tianhe Ren and Feng Li and Hao Zhang and Jie Yang and Qing Jiang and Chunyuan Li and Jianwei Yang and Hang Su and Jun Zhu and Lei Zhang},
date = {2023},
eprint = {2303.05499},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2303.05499},
urldate = {2025-05-02}
}
@online{Oquab2024,
title = {DINOv2: Learning Robust Visual Features without Supervision},
author = {Maxime Oquab and Timothée Darcet and Théo Moutakanni and Huy Vo and Marc Szafraniec and Vasil Khalidov and Pierre Fernandez and Daniel Haziza and Francisco Massa and Alaaeldin El-Nouby and Mahmoud Assran and Nicolas Ballas and Wojciech Galuba and Russell Howes and Po-Yao Huang and Shang-Wen Li and Ishan Misra and Michael Rabbat and Vasu Sharma and Gabriel Synnaeve and Hu Xu and Hervé Jegou and Julien Mairal and Patrick Labatut and Armand Joulin and Piotr Bojanowski},
date = {2024},
eprint = {2304.07193},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2304.07193},
urldate = {2025-05-02}
}
@article{Pauszek2023,
title = {An introduction to eye tracking in human factors healthcare research and medical device testing},
journaltitle = {Human Factors in Healthcare},
volume = {3},
date = {2023},
issn = {2772-5014},
doi = {10.1016/j.hfh.2022.100031},
url = {https://www.sciencedirect.com/science/article/pii/S2772501422000288},
author = {Joseph R. Pauszek},
keywords = {Eye tracking, Applied, Human factors, Healthcare, Medical devices},
}
@online{Radford2021,
title = {Learning Transferable Visual Models From Natural Language Supervision},
author = {Alec Radford and Jong Wook Kim and Chris Hallacy and Aditya Ramesh and Gabriel Goh and Sandhini Agarwal and Girish Sastry and Amanda Askell and Pamela Mishkin and Jack Clark and Gretchen Krueger and Ilya Sutskever},
date = {2021},
eprint = {2103.00020},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2103.00020},
urldate = {2025-05-02}
}
@online{Ravi2024,
title = {SAM 2: Segment Anything in Images and Videos},
author = {Nikhila Ravi and Valentin Gabeur and Yuan-Ting Hu and Ronghang Hu and Chaitanya Ryali and Tengyu Ma and Haitham Khedr and Roman Rädle and Chloe Rolland and Laura Gustafson and Eric Mintun and Junting Pan and Kalyan Vasudev Alwala and Nicolas Carion and Chao-Yuan Wu and Ross Girshick and Piotr Dollár and Christoph Feichtenhofer},
date = {2024},
eprint = {2408.00714},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2408.00714},
urldate = {2025-05-02}
}
@online{Redmon2016,
title = {You Only Look Once: Unified, Real-Time Object Detection},
author = {Joseph Redmon and Santosh Divvala and Ross Girshick and Ali Farhadi},
date = {2016},
eprint = {1506.02640},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/1506.02640},
urldate = {2025-05-02}
}
@incollection{Remington2012,
title = {Chapter 4 - Retina},
editor = {Lee Ann Remington},
booktitle = {Clinical Anatomy and Physiology of the Visual System (Third Edition)},
publisher = {Butterworth-Heinemann},
edition = {Third Edition},
address = {Saint Louis},
pages = {61--92},
year = {2012},
isbn = {978-1-4377-1926-0},
doi = {10.1016/b978-1-4377-1926-0.10004-9},
url = {https://www.sciencedirect.com/science/article/pii/B9781437719260100049},
author = {Lee Ann Remington}
}
@online{ReyOtero2015,
title = {An analysis of the factors affecting keypoint stability in scale-space},
author = {Ives Rey-Otero and Jean-Michel Morel and Mauricio Delbracio},
date = {2015},
eprint = {1511.08478},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/1511.08478},
urldate = {2025-05-02}
}
@inproceedings{Rublee2011,
author = {Rublee, Ethan and Rabaud, Vincent and Konolige, Kurt and Bradski, Gary},
date = {2011},
month = {11},
pages = {2564--2571},
title = {ORB: an efficient alternative to SIFT or SURF},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision},
doi = {10.1109/iccv.2011.6126544}
}
@article{Son2024,
author = {Son, Jinhwan and Jung, Heechul},
title = {Teacher–Student Model Using Grounding DINO and You Only Look Once for Multi-Sensor-Based Object Detection},
journaltitle = {Applied Sciences},
volume = {14},
date = {2024},
number = {6},
article-number = {2232},
url = {https://www.mdpi.com/2076-3417/14/6/2232},
issn = {2076-3417},
doi = {10.3390/app14062232}
}
@online{Tobii2023,
title = {Tobii Pro Glasses 3 Developer Guide},
url = {https://go.tobii.com/tobii-pro-glasses-3-developer-guide},
author = {{Tobii AB}},
date = {2023-04},
urldate = {2025-05-13}
}
@online{Tobii2025a,
author = {{Tobii AB}},
title = {Tobii Pro Glasses 3},
date = {2025},
url = {https://www.tobii.com/products/eye-trackers/wearables/tobii-pro-glasses…},
urldate = {2025-05-02},
note = {Productpagina van Tobii Pro Glasses 3}
}
@online{Tobii2025b,
author = {{Tobii AB}},
title = {Understanding Tobii Pro Lab Eye Tracking Metrics},
date = {2025},
url = {https://connect.tobii.com/s/article/understanding-tobii-pro-lab-eye-tra…},
urldate = {2025-05-02},
note = {Uitleg over eyetracking-metrics in Tobii Pro Lab}
}
@online{Tobii2025c,
author = {{Tobii AB}},
title = {Visualizations for Tobii Pro Lab},
date = {2025},
url = {https://connect.tobii.com/s/article/Visualizations-for-Tobii-Pro-Lab},
urldate = {2025-05-02},
note = {Overzicht van visualisatiemogelijkheden in Tobii Pro Lab}
}
@online{Wang2023,
title = {GazeSAM: What You See is What You Segment},
author = {Bin Wang and Armstrong Aboah and Zheyuan Zhang and Ulas Bagci},
date = {2023},
eprint = {2304.13844},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2304.13844},
urldate = {2025-05-02}
}
@online{Zhang2022,
title = {DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection},
author = {Hao Zhang and Feng Li and Shilong Liu and Lei Zhang and Hang Su and Jun Zhu and Lionel M. Ni and Heung-Yeung Shum},
date = {2022},
eprint = {2203.03605},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2203.03605},
urldate = {2025-05-02}
}
@online{Zhao2023,
title = {Fast Segment Anything},
author = {Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
date = {2023},
eprint = {2306.12156},
archiveprefix = {arXiv},
primaryclass = {cs.CV},
url = {https://arxiv.org/abs/2306.12156},
urldate = {2025-05-02}
}
@Comment{jabref-meta: databaseType:biblatex;}
