Segmenteren van Skeletale Spiercellen in Histologische Beelden met behulp van Machinaal Leren en Beeldverwerking

Thomas Janssens
Kan een computerprogramma je leven redden? Automatische analyse van ziek celweefselEr wordt de laatste jaren steeds meer vooruitgang geboekt op het gebied van medische beeldvormingstechnologie. Artsen en clinici hebben meer dan ooit tevoren enorme hoeveelheden visuele patiëntdata ter beschikking. Deze enorme explosie aan gegevens vergroot hun kennis, maar dreigt hen ook boven het hoofd te groeien. Scans en analyses van weefselmonsters resulteren vaak in tientallen, honderden of zelfs duizenden beelden, die allemaal met de hand onderzocht dienen te worden.

Segmenteren van Skeletale Spiercellen in Histologische Beelden met behulp van Machinaal Leren en Beeldverwerking

Kan een computerprogramma je leven redden? Automatische analyse van ziek celweefsel

Er wordt de laatste jaren steeds meer vooruitgang geboekt op het gebied van medische beeldvormingstechnologie. Artsen en clinici hebben meer dan ooit tevoren enorme hoeveelheden visuele patiëntdata ter beschikking. Deze enorme explosie aan gegevens vergroot hun kennis, maar dreigt hen ook boven het hoofd te groeien. Scans en analyses van weefselmonsters resulteren vaak in tientallen, honderden of zelfs duizenden beelden, die allemaal met de hand onderzocht dienen te worden. De onderzoekers duiden vervolgens alle cellen, tot honderden per afbeelding, aan met behulp van een elektronische pen of beeldbewerkingssoftware.

Hoewel dit werk een zekere expertise en voorkennis vereist, is het verder niet bijzonder interessant of uitdagend te noemen. Het vergt erg veel tijd, wat een kostbaar goed is voor de drukbezette onderzoeker. Het is ook menselijk niet mogelijk om over honderden afbeeldingen exact dezelfde criteria te behouden, laat staan dat collega's exact dezelfde markeringen kunnen afleveren.

We hebben in dit onderzoek geprobeerd met een combinatie van computervisie en machinaal leren dit analyseproces te automatiseren. We hebben ons concreet gericht op de analyse van skeletspierweefsel. De onderzoekers snijden dit spierweefsel in dunne plakjes, waarna ze het inkleuren en doorheen een microscoop fotograferen. We spreken van een “histologisch beeld”. “Skeletspier” is een verzamelnaam voor alle spieren die verbonden zijn aan het skelet en door samentrekken gewrichten bewegen. Dit spierweefsel is bijzonder interessant voor onderzoekers: het uitzicht van de spiercellen kan mogelijk enorm veel vertellen over de toestand van de ziekte van de patiënt. Deze verbanden zijn nog volledig onbekend terrein waarnaar momenteel intensief onderzoek gevoerd wordt.

Het doel van deze automatisatie is om uit de afbeelding de locatie van alle cellen te halen. Dit proces van objectherkenning staat ook wel bekend als beeldsegmentatie. Deze informatie kan dan in een later stadium gebruikt worden om alle relevante gegevens over de cellen te ontdekken. Vooraleer we dieper ingaan op het onderzoek vertellen we wat over de achtergrond van de gebruikte technieken.

Computervisie heeft alles te maken met het interpreteren van beelden door software. Dit is handig in de robotica, maar ook voor automatische cartografie of intelligente beveiligingscamera's. Ook in de medische wereld wordt het enorme potentieel van computervisie almaar duidelijker. In dit onderzoek gebruiken we het om de cellen uit de achtergrond te filteren.

Machinaal leren heeft als doel patronen te zoeken in data, om zo verschillende klassen onderscheiden. Hiervoor worden grote hoeveelheden gelabelde trainingsdata bestudeerd, waarbij we eigenschappen zoeken die het onderscheid het best illustreren. Met deze ontgonnen kennis kunnen we dan nieuwe, ongemarkeerde, gegevens automatisch identificeren. We leggen verderop uit hoe we hier verschillende types segmenten mee onderscheiden.

De methode die we voor dit onderzoek bedacht hebben bestaat uit drie stappen. We beginnen met het uitvoeren van een eerste segmentatie op de afbeelding. Dit betekent dat we deze gaan omvormen in een verzameling ruwe segmenten, waarbij we gebruik maken van de kennis die we hebben over het beeld, namelijk dat er roze cellen te zien zijn op een witte achtergrond. Door dit kleurverschil kunnen we de wittere beeldpunten, die bij de achtergrond horen, herkennen en wegfilteren.

Dit is prima indien de cellen los van elkaar liggen. Als ze echter dicht tegen elkaar aan liggen vormen ze na filteren één enkel segment, een opeenhoping van meerdere cellen, omdat er niet voldoende witte achtergrondpixels tussenliggen om ze uit elkaar te houden. Naast cellen en deze opeenhopingen houden we ook stukjes vetweefsel over, dat niet interessant is en dus weggefilterd dient te worden.

Deze problemen worden aangepakt in de volgende stap, de finale segmentatie. De uitdaging is hier om de computer volledig zelfstandig het onderscheid te laten maken tussen drie verschillende types segmenten: gewone spiercellen, opeenhopingen en vetweefsel. Hier komen de technieken bekend uit machinaal leren ons goed van pas.

Het idee is dat het programma leert welke rol deze eigenschappen spelen bij het klasseren van een onbekend segment. Het moet ze dus allemaal in overweging nemen om te kunnen beslissen wat het type in dit geval is. Dit kunnen we aanleren via onze traingings-database, die bestaat uit meer dan tweeduizend met de hand gelabelde segmenten van de drie types. Ze worden gebruikt als invoer voor het krachtige “Support Vector Machine”-algoritme, dat een model teruggeeft dat het type van elk onbekend segment kan voorspellen.

Nu we deze drie types kunnen onderscheiden moeten we beslissen wat ermee gebeurt. We weten dat we de cellen mogen houden en het vetweefsel mogen weggooien, maar wat met de opeenhopingen? Ze bevatten bruikbare, enkele, cellen, dus we kunnen ze best uiteen halen. Dit is echter gemakkelijker gezegd dan gedaan. We weten niet uit hoeveel cellen ze daadwerkelijk bestaat en we weten niet waar de grenzen tussen de cellen liggen. Dit eerste probleem kan opgelost worden door de opeenhoping herhaaldelijk in twee te splitsen totdat er enkel aparte cellen overblijven. Het is namelijk makkelijker telkens één lijn te trekken dan heel de opeenhoping in een keer volledig te splitsen.

Hoe kan een opeenhoping cellen nu concreet in twee stukken worden verdeeld? We hebben gewerkt met het concept van een “splitslijn”. Deze vertrekt en eindigt op twee verschillende punten op de rand van de cel en trekt een pad doorheen de binnenkant. Belangrijk hierbij is dat we altijd de randen van de individuele cellen volgen en dus nooit een cel doormidden snijden. Wat de eindpunten betreft baseerden we ons methode om “inhammen” in de rand te detecteren, plaatsen waar cellen tegen elkaar duwen. Om deze punten dan te verbinden doorheen de opeenhoping proberen we de celgrenzen te volgen. Dit kan door naar de kleur van de beeldpunten in het pad te kijken; punten aan de rand zijn minder rood dan punten in het midden van een cel.

We vergeleken onze methode zowel met door experts gelabelde afbeeldingen als met de resultaten van een reeds bestaade celsegmentatietool, CellProfiler. Onze methode haalde bij een eis van 50% overlap tussen de cellen uit de expert- en de programmasegmentatie een score van 70% tegenover 53% van CellProfiler. Bij een eis van 75% was dit respectievelijk 65% en 28%. Onze methode scoort dus niet alleen beter dan de huidige “state-of-the-art”, ze is ook robuuster indien we de lat hoger leggen wat kwaliteit betreft. Dit betekent een enorme sprong vooruit voor het mogelijk levensreddend ondezoek van skeletspiercellen en hun relatie met ziekte op intensieve zorgen. Het brengt ons ook een stuk dichter bij de ontwikkeling van een volledig automatisch analyseproces voor deze afbeeldingen.

Bibliografie

 [1] M. Abramoff, P. Magelhaes, and S. Ram. Image processing with ImageJ. Biophotonicsinternational, 11(7):36–42, 2004.[2] N. Bonnet, J. Cutrona, and M. Herbin. A ‘no-threshold’ histogram-based imagesegmentation method. Pattern Recognition, 35(10):2319–2322, 2002.[3] J. E. Cabrera. Gray level correlation matrix texture analyzer, 2005.[4] J. C. Caicedo. Features for Histology Images.[5] A. Carpenter, T. Jones, M. Lamprecht, C. Clarke, I. Kang, O. Friman, D. Guertin,J. Chang, R. Lindquist, J. Moffat, et al. Cellprofiler: image analysis software foridentifying and quantifying cell phenotypes. Genome biology, 7(10):R100, 2006.[6] C. Chang and C. Lin. Libsvm: a library for support vector machines. 2001.[7] F. de Assis Zampirolli, B. Stransky, A. Lorena, and F. de Melo Paulon. Segmentationand classification of histological images-application of graph analysis and machinelearning methods.[8] K. Fatima and H. Majeed. Meningioma subtype classification: A survey. In EmergingTechnologies (ICET), 2010 6th International Conference on, pages 55–60. IEEE.[9] E. Frank, M. Hall, L. Trigg, G. Holmes, and I. Witten. Data mining in bioinformaticsusing Weka. Bioinformatics, 20(15):2479, 2004.[10] F. Garton, J. Seto, K. North, and N. Yang. Validation of an automated computationalmethod for skeletal muscle fibre morphometry analysis. Neuromuscular Disorders,20(8):540–547, 2010.[11] M. Hall, E. Frank, G. Holmes, B. Pfahringer, P. Reutemann, and I. Witten. Theweka data mining software: an update. ACM SIGKDD Explorations Newsletter,11(1):10–18, 2009.[12] P. Hart, N. Nilsson, and B. Raphael. A formal basis for the heuristic determinationof minimum cost paths. Systems Science and Cybernetics, IEEE Transactions on,4(2):100–107, 1968.[13] A. Hoover, G. Jean-Baptiste, X. Jiang, P. Flynn, H. Bunke, D. Goldgof, K. Bowyer,D. Eggert, A. Fitzgibbon, and R. Fisher. An experimental comparison of rangeimage segmentation algorithms. Pattern Analysis and Machine Intelligence, IEEETransactions on, 18(7):673–689, 1996.[14] C. Hsu, C. Chang, C. Lin, et al. A practical guide to support vector classification,2003.[15] N. Kawai, R. Sano, J. Korfage, S. Nakamura, N. Kinouchi, E. Kawakami, K. Tanne,G. Langenbach, and E. Tanaka. Adaptation of rat jaw muscle fibers in postnataldevelopment with a different food consistency: an immunohistochemical andelectromyographic study. Journal of anatomy, 216(6):717–723, 2010.[16] S. Kumar, S. Ong, S. Ranganath, T. Ong, and F. Chew. A rule-based approach forrobust clump splitting. Pattern Recognition, 39(6):1088–1098, 2006.[17] C. Loukas and A. Linney. A survey on histological image analysis-based assessmentof three major biological factors influencing radiotherapy: proliferation, hypoxia andvasculature. Computer methods and programs in biomedicine, 74(3):183–199, 2004.[18] A. Matsakas, K. Foster, A. Otto, R. Macharia, M. Elashry, S. Feist, I. Graham,H. Foster, P. Yaworsky, F.Walsh, et al. Molecular, cellular and physiological investigationof myostatin propeptide-mediated muscle growth in adult mice. NeuromuscularDisorders, 19(7):489–499, 2009.[19] Onbekende Auteur. Introduction to support vector machine (svm) models.http://www.dtreg.com/svm.htm.[20] Onbekende Auteur. Structure of skeletal muscle.http://commons.wikimedia.org/wiki/File:Illu_muscle_structure.jpg.[21] Onbekende Auteur. Support vector machine.http://en.wikipedia.org/wiki/Support_vector_machine.[22] J. Pan, T. Kanade, and M. Chen. Learning to detect different types of cells underphase contrast microscopy. Microscopic Image Analysis with Applications in Biology(MIAAB), 2009.[23] S. Park, Y. Kim, S. Kim, and S. Oh. Changes in muscle fiber size and in thecomposition of myosin heavy chain isoforms of rabbit extraocular rectus musclefollowing recession surgery. Japanese journal of ophthalmology, 52(5):386–392, 2008.[24] K. Rajpoot and N. Rajpoot. Wavelets and support vector machines for textureclassification. In Multitopic Conference, 2004. Proceedings of INMIC 2004. 8thInternational, pages 328–333. IEEE, 2004. [25] H. Shen, G. Nelson, D. Nelson, S. Kennedy, D. Spiller, T. Griffiths, N. Paton,S. Oliver, M. White, and D. Kell. Automated tracking of gene expression inindividual cells and cell compartments. Journal of the Royal Society Interface,3(11):787, 2006.[26] A. Todman, E. Claridge, and A. Todman. Cell Segmentation in Histological Imagesof Striated Muscle Tissue-A Perceptual Grouping Approach. 2008.[27] A. Tutac, D. Racoceanu, T. Putti, W. Xiong, W. Leow, and V. Cretu. Knowledgeguidedsemantic indexing of breast cancer histopathology images. In BioMedicalEngineering and Informatics, 2008. BMEI 2008. International Conference on, volume2, pages 107–112. IEEE, 2008.[28] C. Wang. A Bayesian Learning Application to Automated Tumour Segmentation forTissue Microarray Analysis. Machine Learning in Medical Imaging, pages 100–107,2010.[29] Q. Wang, J. Niemi, C. Tan, L. You, and M. West. Image segmentation and dynamiclineage analysis in single-cell fluorescence microscopy. Cytometry Part A, 77(1):101–110, 2010.[30] G. Wilson and B. Batchelor. Convex hull of chain-coded blob. In Computers andDigital Techniques, IEE Proceedings-, volume 136, pages 530–534. IET, 1989.[31] H. Wu, L. Deligdisch, and J. Gil. Segmentation of microscopic nuclear images—areview. Recent Res. Devel. Electronics, edited by SG Pandalai (Transworld ResearchNetwork, Kerala, India, 2004) Vol, 2:1–17, 2004.[32] Z. Yin, R. Bise, M. Chen, and T. Kanade. Cell segmentation in microscopy imageryusing a bag of local Bayesian classifiers. In Biomedical Imaging: From Nano toMacro, 2010 IEEE International Symposium on, pages 125–128. IEEE, 2010.