Het menselijk oog - een raam naar het hart en de hersenen
Uit recent onderzoek blijkt dat de bloedvaten op het netvlies heel wat informatie over onze gezondheid bevatten. Artsen kunnen via een (goedkope) foto van het netvlies niet alleen oogziekten vaststellen, maar daarnaast ook het risico op hart- en vaatziekten opsporen. De (partiële) automatisering van de analyse van het netvlies kan de detectie van voornoemde oog- en systeemziekten versnellen, alsook de subjectiviteit van een arts verminderen.
‘Als iemand het risico op een beroerte loopt, zijn de bloedvaten veel nauwer. Dat kunnen we meten op een digitale foto. Op die manier kunnen we vijf à tien jaar op voorhand voorspellen of iemand in aanmerking komt voor een beroerte.’ – Patrick De Boever, project manager bij VITO (Vlaamse Instelling voor Technologisch Onderzoek).
Tijdens de netvliesanalyse worden er tal van statistieken (ook wel biomerkers genoemd) berekend die mogelijks kunnen dienen als risico-indicator die gekoppeld zijn aan een bepaalde oog- of systeemziekte. Een voorbeeld hiervan is de ratio van de gemiddelde dikte van de slagaders (zuurstofrijk bloed) ten opzichte van de dikte van de aders (zuurstofarm bloed), die dan kan vergeleken worden met een ‘gezonde’ ratio. In het geval van een beroerte hebben onderzoekers vastgesteld dat de aders vernauwd zijn, wat zich dan vertaalt in een hogere ratio dan normaal.
In dit thesisonderzoek werd een algoritme ontwikkeld in samenwerking met VITO dat een deel van de netvliesanalyse automatiseert: het is in staat om de twee verschillende types bloedvaten (slagader en ader) te identificeren op een foto van het netvlies zonder tussenkomst van een arts. Op die manier kan de belangrijke ratio van de bloedvatendikte in enkele seconden bemachtigd worden, in plaats van een arts dit manueel te laten opmeten.
De software doet beroep op een recente doorbraak in het domein van artificiële intelligentie - verwezen als ‘deep learning’ - die nu alom wordt toegepast door technologiereuzen en start-ups. Het principe achter deep learning steunt op de werking van neuronen in het menselijk brein: het systeem is georganiseerd in vele lagen van neuronen, waar elke volgende laag meer complexe informatie kan begrijpen en leren. Wanneer u dit artikel leest, ziet u in het begin (onbewust) ook enkel individuele letters, die dan opeenvolgend woorden, zinnen en alinea’s vormen, om dan uiteindelijk tot een geheel artikel te komen, dat u hopelijk iets nieuws heeft bijgebracht (menselijk leren). Deep learning toegepast op foto’s ziet en begrijpt in de beginlagen ook enkel individuele pixels, waarna meer complexe structuren zoals randen en objecten worden aangeleerd in lagen aan het eind van het netwerk.
Momenteel is de toepassing van deep learning in de medische wereld vooralsnog beperkt mede door de vereiste van een grote hoeveelheid gelabelde data voor het trainen van een model. In mijn onderzoek heb ik een hoge performantie kunnen bereiken met slechts twintig netvliesbeelden waar de twee verschillende soorten bloedvaten op aangeduid zijn door een gespecialiseerde arts. Wanneer ik deze beelden in hun oorspronkelijke vorm aan een deep learning model zou invoeren, zou het model niet in staat zijn te ‘generaliseren’. Met andere woorden, het zou die twintig foto’s zo goed uit het hoofd leren, dat het perfecte accuraatheid scoort op diezelfde beelden, maar compleet zou falen wanneer er een ongeziene foto wordt aangeleverd. Door de aanwezigheid van vele lagen in het netwerk, is er een hoog aantal unieke trainingsbeelden vereist, opdat het netwerk niet uit het hoofd leert.
Weer kan de link gelegd worden met het menselijk leren. In het lager onderwijs worden de maaltafels aangeleerd door verschillende producten als opdracht te geven, en niet uitsluitend het product 2x2=4 te blijven herhalen. Door een variatie aan trainingsmateriaal aan te bieden, slaagt het kind er stilaan in van de kunst van het vermenigvuldigen te generaliseren, en dus zelf een juiste oplossing te formuleren voor een ongezien product.
Het grote struikelblok in mijn onderzoek was om met slechts twintig unieke gelabelde foto’s een zinvol model te trainen. De sleutel tot succes bleek data-augmentatie te zijn: originele foto’s omvormen tot een veelvoud aan ‘nieuwe’ foto’s. Door een foto te draaien of te spiegelen bijvoorbeeld, wordt dit door het deep learning model beschouwd als unieke foto op zichzelf. Daarnaast heb ik van de oorspronkelijke foto’s een tal van kleinere beelden uitgesneden, wat uiteindelijk heeft geleid tot een dataset van circa 80000 unieke beelden.
De huidige performantie van het model ligt reeds hoger dan deze gerapporteerd in de thesistekst die dateert van juni 2017. Met 98% aan juist geclassificeerde bloedvaten (slagader of ader) komt het model erg dicht in de buurt van een menselijke expert en laat het andere softwaretechnieken ver achter zich. Daarnaast wordt er overlegd met VITO of er een wetenschappelijke publicatie en/of patent uit kan voortkomen.
Ondertussen heb ik de heuglijke samenwerking met VITO verlengd in de vorm van een doctoraat waarin ik de toepassingen van deep learning in de medische wereld nog verder ga verkennen. Met de steun van medische experts van UZ Leuven ga ik me in eerste instantie toespitsen op de automatische detectie van glaucoom (een veelvoorkomende oogziekte) op basis van netvliesbeelden.
Bibliografie
[1] S. E. Bursell, A. C. Clermont, B. T. Kinsley, D. C. Simonson, L. M. Aiello, and H. A. Wolpert, “Retinal blood flow changes in patients with insulin-dependent diabetes mellitus and no diabetic retinopathy.” Investigative Ophthalmology & Visual Science, vol. 37, no. 5, p. 886, 1996. [Online]. Available: + http://dx.doi.org/
[2] M. B. Sasongko, T. Y. Wong, T. T. Nguyen, C. Y. Cheung, J. E. Shaw, and J. J. Wang, “Retinal vascular tortuosity in persons with diabetes and diabetic retinopathy,” Diabetologia, vol. 54, no. 9, pp. 2409–2416, 2011. [Online]. Available: http://dx.doi.org/10.1007/s00125-011-2200-y
[3] L. Ramm, S. Jentsch, S. Peters, R. Augsten, and M. Hammer, “Investigation of blood flow regulation and oxygen saturation of the retinal vessels in primary open-angle glaucoma,” Graefe’s Archive for Clinical and Experimental Ophthalmology, vol. 252, no. 11, pp. 1803–1810, 2014. [Online]. Available: http://dx.doi.org/10.1007/s00417-
[4] E. Pekel and G. Pekel, “Diagnostic ability of retinal arteriolar diameter measurements in glaucoma letters,” Investigative Ophthalmology & Visual Science, vol. 57, no. 4, p. 2166, 2016. [Online]. Available: +http://dx.doi.org/10.1167/iovs.16-19060
[5] R. Heitmar, G. Y. H. Lip, R. E. Ryder, and A. D. Blann, “Retinal vessel diameters and reactivity in diabetes mellitus and/or cardiovascular disease,” Cardiovascular Diabetology, vol. 16, no. 1, p. 56, 2017. [Online]. Available: http://dx.doi.org/10.1186/s12933-017-0534-6
[6] J. K. H. Lim, Q.-X. Li, Z. He, A. J. Vingrys, V. H. Y. Wong, N. Currier, J. Mullen, B. V. Bui, and C. T. O. Nguyen, “The eye as a biomarker for alzheimer’s disease,” Frontiers in Neuroscience, vol. 10, p. 536, 2016. [Online]. Available: http://journal.frontiersin.org/article/10.3389/fnins.2016.00536
[7] S. L. Murphy, K. D. Kochanek, J. Xu, and E. Arias, “Mortality in the united states, 2014.” NCHS Data Brief, no. 229, pp. 1–8, Dec 2015.
[8] B. R. McClintic, J. I. McClintic, J. D. Bisognano, and R. C. Block, “The relationship between retinal microvascular abnormalities and coronary heart disease: A review,” The American journal of medicine, vol. 123, no. 4, pp. 374.e1–374.e7, 04 2010. [Online]. Available: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2922900/
[9] M. Fraz, P. Remagnino, A. Hoppe, B. Uyyanonvara, A. Rudnicka, C. Owen, and S. Barman, “Blood vessel segmentation methodologies in retinal images a survey,” Computer Methods and Programs in Biomedicine, vol. 108, no. 1, pp. 407 – 433, 2012. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0169260712000843
[10] G. Gonzlez, E. Tretken, F. Fleuret, and P. Fua, “Delineating trees in noisy 2d images and 3d image-stacks,” in 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 2010,
[11] H. Ishikawa, D. Geiger, and R. Cole, “Finding tree structures by grouping symmetries,” in Tenth IEEE International Conference on Computer Vision (ICCV’05) Volume 1, vol. 2, Oct 2005, pp. 1132–1139 Vol. 2.
[12] E. Tu¨retken, G. Gonza´lez, C. Blum, and P. Fua, “Automated reconstruction of dendritic and axonal trees by global optimization with geometric priors,” Neuroinformatics, vol. 9, no. 2, pp. 279–302, 2011. [Online]. Available: http://dx.doi.org/10.1007/s12021-011-9122-1
[13] T. Yedidya and R. Hartley, “Tracking of blood vessels in retinal images using kalman filter,” in 2008 Digital Image Computing: Techniques and Applications, Dec 2008, pp. 52–58.
[14] M. Fraz, S. Barman, P. Remagnino, A. Hoppe, A. Basit, B. Uyyanonvara, A. Rudnicka, and C. Owen, “An approach to localize the retinal blood vessels using bit planes and centerline detection,” Computer Methods and Programs in Biomedicine, vol. 108, no. 2, pp. 600 – 616, 2012. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0169260711002276
[15] Y. Huang, J. Zhang, and Y. Huang, “An automated computational framework for retinal vascular network labeling and branching order analysis,” Microvascular Research, vol. 84, no. 2, pp. 169 – 177, 2012. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0026286212000945
[16] J. Malek and R. Tourki, “Inertia-based vessel centerline extraction in retinal image,” in 2013 International Conference on Control, Decision and Information Technologies (CoDIT), May 2013, pp. 378–381.
[17] M. Sofka and C. V. Stewart, “Retinal vessel centerline extraction using multiscale matched filters, confidence and edge measures,” IEEE Transactions on Medical Imaging, vol. 25, no. 12, pp. 1531–1546, Dec 2006.
[18] E. Grisan and A. Ruggeri, “A divide et impera strategy for automatic classification of retinal vessels into arteries and veins,” in Proceedings of the 25th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (IEEE Cat. No.03CH37439), vol. 1, Sept 2003, pp. 890–893 Vol.1.
[19] K. Rothaus, X. Jiang, and P. Rhiem, “Separation of the retinal vascular graph in arteries and veins based upon structural knowledge,” Image and Vision Computing, vol. 27, no. 7, pp. 864 – 875, 2009, 7th IAPR-TC15 Workshop on Graph-based Representations (GbR 2007). [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0262885608000590
[20] B. Dashtbozorg, A. M. Mendona, and A. Campilho, “An automatic graph-based approach for artery/vein classification in retinal images,” IEEE Transactions on Image Processing, vol. 23, no. 3, pp. 1073–1083, March 2014.
[21] R. Estrada, M. J. Allingham, P. S. Mettu, S. W. Cousins, C. Tomasi, and
S. Farsiu, “Retinal artery-vein classification via topology estimation,” IEEE Transactions on Medical Imaging, vol. 34, no. 12, pp. 2518–2534, Dec 2015.
[22] H. Li, W. Hsu, M. L. Lee, and H. Wang, “A piecewise gaussian model for profiling and differentiating retinal vessels,” in Image Processing, 2003. ICIP 2003. Proceedings. 2003 International Conference on, vol. 1, Sept 2003, pp. I–1069–72 vol.1.
[23] D. Relan, T. MacGillivray, L. Ballerini, and E. Trucco, “Retinal vessel classification: Sorting arteries and veins,” in 2013 35th Annual Inter- national Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), July 2013, pp. 7396–7399.
[24] S. G. Vazquez, B. Cancela, N. Barreira, M. G. Penedo, M. Rodriguez- Blanco, M. Pena Seijo, G. C. de Tuero, M. A. Barcelo, and M. Saez, “Improving retinal artery and vein classification by means of a minimal path approach,” Machine Vision and Applications, vol. 24, no. 5, pp. 919–930, 2013. [Online]. Available: http://dx.doi.org/10.1007/s00138-012-0442-4
[25] C. Kondermann, D. Kondermann, and M. Yan, “Blood vessel classification into arteries and veins in retinal images,” Proc. SPIE, vol. 6512, pp. 651 247–651 247–9, 2007. [Online]. Available: http://dx.doi.org/10.1117/12.708469
[26] C. Muramatsu, Y. Hatanaka, T. Iwase, T. Hara, and H. Fujita, “Automated selection of major arteries and veins for measurement of arteriolar-to-venular diameter ratio on retinal fundus images,” Computerized Medical Imaging and Graphics, vol. 35, no. 6, pp. 472 – 480, 2011. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0895611111000450
[27] Q. Mirsharif, F. Tajeripour, and H. Pourreza, “Automated characterization of blood vessels as arteries and veins in retinal images,” Computerized Medical Imaging and Graphics, vol. 37, no. 78, pp. 607 – 617, 2013. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0895611113001237
[28] A. Zamperini, A. Giachetti, E. Trucco, and K. S. Chin, “Effective features for artery-vein classification in digital fundus images,” in Computer-Based Medical Systems (CBMS), 2012 25th International Symposium on, June 2012, pp. 1–6.
[29] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Advances in Neural Information Processing Systems 25, F. Pereira, C. J. C. Burges,
L. Bottou, and K. Q. Weinberger, Eds. Curran Associates, Inc., 2012, pp. 1097–1105. [Online]. Available: http://papers.nips.cc/paper/4824- imagenet-classification-with-deep-convolutional-neural-networks.pdf
[30] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov,
D. Erhan, V. Vanhoucke, and A. Rabinovich, “Going deeper with convolutions,” in Computer Vision and Pattern Recognition (CVPR), 2015. [Online]. Available: http://arxiv.org/abs/1409.4842
[31] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” CoRR, vol. abs/1409.1556, 2014. [Online]. Available: http://arxiv.org/abs/1409.1556
[32] M. Lin, Q. Chen, and S. Yan, “Network in network,” CoRR, vol. abs/1312.4400, 2013. [Online]. Available: http://arxiv.org/abs/1312.4400
[33] J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” CoRR, vol. abs/1411.4038, 2014. [Online].
Available: http://arxiv.org/abs/1411.4038
[34] L. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille, “Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs,” CoRR, vol. abs/1606.00915, 2016. [Online]. Available: http://arxiv.org/abs/1606.00915
[35] S. Zheng, S. Jayasumana, B. Romera-Paredes, V. Vineet, Z. Su,
D. Du, C. Huang, and P. H. S. Torr, “Conditional random fields as recurrent neural networks,” CoRR, vol. abs/1502.03240, 2015. [Online].
Available: http://arxiv.org/abs/1502.03240
[36] S. Pereira, A. Pinto, V. Alves, and C. A. Silva, Deep Convolutional Neural Networks for the Segmentation of Gliomas in Multi-sequence MRI. Cham: Springer International Publishing, 2016, pp. 131–143. [Online]. Available: http://dx.doi.org/10.1007/978-3-319-30858-6 12
[37] D. Ciresan, A. Giusti, L. M. Gambardella, and J. Schmidhuber, “Deep neural networks segment neuronal membranes in electron microscopy images,” in Advances in Neural Information Processing Systems 25, F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, Eds. Curran Associates, Inc., 2012, pp. 2843–2851. [On- line]. Available: http://papers.nips.cc/paper/4741-deep-neural-networks- segment-neuronal-membranes-in-electron-microscopy-images.pdf
[38] H. Chen, Q. Dou, L. Yu, and P. Heng, “Voxresnet: Deep voxelwise residual networks for volumetric brain segmentation,” CoRR, vol. abs/1608.05895, 2016. [Online]. Available: http://arxiv.org/abs/1608.05895
[39] Q. Dou, H. Chen, Y. Jin, L. Yu, J. Qin, and P. Heng, “3d deeply supervised network for automatic liver segmentation from CT volumes,” CoRR, vol. abs/1607.00582, 2016. [Online]. Available: http://arxiv.org/abs/1607.00582
[40] M. Havaei, A. Davy, D. Warde-Farley, A. Biard, A. C. Courville,
Y. Bengio, C. Pal, P. Jodoin, and H. Larochelle, “Brain tumor segmentation with deep neural networks,” CoRR, vol. abs/1505.03540, 2015. [Online]. Available: http://arxiv.org/abs/1505.03540
[41] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” CoRR, vol. abs/1505.04597, 2015. [Online]. Available: http://arxiv.org/abs/1505.04597
[42] T. M. Quan, D. G. C. Hildebrand, and W. Jeong, “Fusionnet: A deep fully residual convolutional neural network for image segmentation in connectomics,” CoRR, vol. abs/1612.05360, 2016. [Online]. Available: http://arxiv.org/abs/1612.05360
[43] O¨ . C¸ ic¸ek, A. Abdulkadir, S. S. Lienkamp, T. Brox, and O. Ronneberger, “3d u-net: Learning dense volumetric segmentation from sparse annotation,” CoRR, vol. abs/1606.06650, 2016. [Online]. Available: http://arxiv.org/abs/1606.06650
[44] F. Milletari, N. Navab, and S. Ahmadi, “V-net: Fully convolutional neural networks for volumetric medical image segmentation,” CoRR, vol. abs/1606.04797, 2016. [Online]. Available: http://arxiv.org/abs/1606.04797
[45] J. Staal, M. Abramoff, M. Niemeijer, M. Viergever, and B. van Gin- neken, “Ridge based vessel segmentation in color images of the retina,” IEEE Transactions on Medical Imaging, vol. 23, no. 4, pp. 501–509, 2004.
[46] M. Niemeijer, X. Xu, A. V. Dumitrescu, P. Gupta, B. van Ginneken,
J. C. Folk, and M. D. Abramoff, “Automated measurement of the arteriolar-to-venular width ratio in digital color fundus photographs,” IEEE Transactions on Medical Imaging, vol. 30, no. 11, pp. 1941–1950, Nov 2011.
[47] T. A. Qureshi, M. Habib, A. Hunter, and B. Al-Diri, “A manually- labeled, artery/vein classified benchmark for the drive dataset,” in Proceedings of the 26th IEEE International Symposium on Computer- Based Medical Systems, June 2013, pp. 485–488.
[48] L. Antiga, “retina-unet,” https://github.com/orobix/retina-unet, 2016. [49] H. Li, R. Zhao, and X. Wang, “Highly efficient forward and backward propagation of convolutional neural networks for pixelwise classification,” CoRR, vol. abs/1412.4526, 2014. [Online]. Available: http://arxiv.org/abs/1412.4526
[50] O. Ronneberger, P. Fischer, and T. Brox, “Dental x- ray image segmenation using a u-shaped deep convolutional network,” 2016. [Online]. Available: http://wwwo.ntust.edu.tw/ cwei- wang/ISBI2015/challenge2/isbi2015 Ronneberger.pdf
[51] P. Y. Simard, D. Steinkraus, and J. Platt, “Best practices for convolutional neural networks applied to visual document analysis.” Institute of Electrical and Electronics Engineers, Inc., August 2003. [Online]. Available: https://www.microsoft.com/en- us/research/publication/best-practices-for-convolutional-neural- networks-applied-to-visual-document-analysis/
