Beeldoptimalisatie voor 3D Elektronenmicroscopie Beelden

Joris Roels Jan Aelterman Jonas De Vylder Hiep Luong
 3D elektronenmicroscopie, ofwel ... big data op microschaal “If we have data, let’s look at data. If all we have are opinions, let’s go with mine.” – Jim Barksdale, former Netscape CEO Ongetwijfeld kent u wel iemand met de ziekte van Alzheimer of Parkinson, dementie, groeistoornissen, diabetes of het chronisch vermoeidheidssyndroom. De oorzaak van deze ziekten/stoornissen/aandoeningen is algemeen bekeken te herleiden naar een slecht functionerende energiehuishouding van het menselijk lichaam. Metaforisch zou men bv.

Beeldoptimalisatie voor 3D Elektronenmicroscopie Beelden

 

3D elektronenmicroscopie, ofwel ... big data op microschaal 

“If we have data, let’s look at data. If all we have are opinions, let’s go with mine.” – Jim Barksdale, former Netscape CEO Ongetwijfeld kent u wel iemand met de ziekte van Alzheimer of Parkinson, dementie, groeistoornissen, diabetes of het chronisch vermoeidheidssyndroom. De oorzaak van deze ziekten/stoornissen/aandoeningen is algemeen bekeken te herleiden naar een slecht functionerende energiehuishouding van het menselijk lichaam. Metaforisch zou men bv. een Alzheimerpatiënt kunnen omschrijven als een iPod waarvan de batterijen stuk zijn: elke muziektrack zit wel in het geheugen, maar de energieregeling werkt niet optimaal om het effectief af te spelen.  Biologen onderzoeken dit probleem door mitochondria, de 'batterijen' van levende wezens, bij planten in detail te analyseren. Perfect! Binnen een paar jaar hebben we dus een oplossing voor al deze ziekten en aandoeningen? Jammer genoeg niet, een cruciaal onderdeel aan dit biologisch onderzoek is een goede beeldvorming. Zolang je geen goed beeld hebt van objecten, kan je daar ook geen analyse op gaan doen. De nieuwste elektronenmicroscopen maken het mogelijk om biologische stalen zo maar eventjes twee miljoen keer uit te vergroten. Dit wil zeggen dat het mogelijk is om pakweg een afbeelding van een mier haarscherp af te drukken op een blad papier van een tiental vierkante meter. In praktijk blijkt echter dat die gigantische 3D beelden niet echt van optimale kwaliteit zijn. Meestal brengen ze een grote hoeveelheid ruis (denk aan de allombekende ruisbeelden bij vroegere kabeltelevisies) met zich mee (Bijlage, Figuur 1). En daar wringt het schoentje. Zolang je immers niet goed ziet wat er op het beeld staat, is het onmogelijk om daar conclusies uit te trekken die soms van levensbelang kunnen zijn.  De kern van deze scriptie zit hem dus in het restaureren van 3D elektronenmicroscopie (EM) beelden zodat de uiteindelijke biomedische analyse vereenvoudigd wordt. Hier zijn verschillende uitdagingen aan verbonden:  1. 3D EM data is gigantisch qua omvang. In tegenstelling tot een dagdagelijkse afbeelding van 10 megapixels, is een 3D EM dataset typisch opgebouwd uit een stapel (meestal enkele honderden) van beelden ter grootte van 200 megapixels. 2. Biologische beelden zijn meestal heel complex qua structuur. Het is belangrijk bij de restauratie dat er geen details verloren gaan. Om het voorgesteld probleem op te lossen, was het idee simpel: "Het is eenvoudiger om ongewenste effecten te verwijderen, eenmaal je weet hoe die ongewenste effecten er uitzien". We hebben m.a.w. het gedrag van ruis bij 3D EM beelden onderzocht en dit zo goed mogelijk trachten te modelleren. Vervolgens laat die extra voorkennis ons toe het probleem gericht aan te pakken.  Concreet kan een afbeelding gezien worden als een rooster van getallen. Bij een kleurenbeeld zal in elke cel (ook wel picture element of pixel genoemd) een rood-, groen- en blauwwaarde beschikbaar zijn. Een volledig blauwe pixel zal dan een maximale blauwwaarde (typisch 255) en minimale rood- en groenwaarde (typisch 0) hebben. Bij zwart-wit beelden is echter één waarde per pixel voldoende (de grijswaarde). Een minimale en maximale waarde komt dan overeen met respectievelijk zwart en wit. Ruis op een zwart-wit beeld uit zich dan als onverwachte schommelingen in die getalwaarden. Als bv. een foto genomen wordt van een uniform grijs object, met constante grijswaarde 100, zullen in praktijk grijswaarden 95, 97, 102, 106, 99, etc. waargenomen worden. In een beeld uit zich dit tot onverwacht, lichtere en donkerdere pixels. Onze taak is dan om te voorspellen wat de ideale waarde van die pixels moet zijn.  Hoe analyseer je nu in godsnaam ruis? Dit kan op verschillende manieren gebeuren. Mogelijks de belangrijkste factor van ruis is zijn distributie. In het voorgaand voorbeeld werden getalwaarden 95, 97, 102, 106, 99, etc. gegeven terwijl dit ook bv. 72, 81, 124, 110, 78, etc. zou kunnen zijn. In het tweede geval is er duidelijk meer ruis aanwezig (Bijlage, Figuur 2). Een ander factor is de zogenaamde stationariteit of positie-afhankelijkheid van ruis. Door een technisch defect kan een beeldscherm bv. last hebben van een dode pixel waar niks weergegeven wordt (Bijlage, Figuur 3). In dat geval kan men op die positie altijd ruis verwachten. Vervolgens is het ook mogelijk dat de ruis onderlinge correlatie of afhankelijkheden vertoont. Zo kan het bv. zijn dat cirkelpatronen te herkennen zijn in de ruis (Bijlage, Figuur 4). Als laatste ruiseigenschap hebben we dan nog signaalafhankelijkheid (Bijlage, Figuur 5). Dit is het verschijnsel waarbij donkere regio's minder ruis vertonen dan heldere regio's. Bovenstaande eigenschappen werden onderzocht en hieruit werd geconcludeerd dat we te maken hadden met een moeilijk te verwijderen vorm van ruis. De afgeleide eigenschappen werden vervolgens gebruikt in een restauratietechniek die gebruik maakt van kansberekening. De techniek gaat op zoek naar het meest waarschijnlijke ideaalbeeld, gegeven een waargenomen, ruizig beeld en bepaalde voorkennis (de ruiskennis). Bovendien hebben we deze techniek gecombineerd met één van de best presterende ruisonderdrukkingstechnieken. Op die manier kwamen we tot heel goede restauratieresultaten (Bijlage, Figuur 6). Bovendien laat de ruiskennis ons ook toe om EM-ruis te simuleren op referentiebeelden (Bijlage, Figuur 7). De reconstructies kunnen dan numeriek vergeleken (a.d.h.v. de zogenaamde PSNR) worden met het referentiebeeld om de kwaliteit van een bepaalde techniek uit te drukken. Hoe hoger deze numerieke waarde, hoe kwalitatiever de restauratie. Vergeleken met andere technieken presteert onze technieken het beste (Bijlage, Figuur 8).  Samenvattend hebben we dus de oorzaak gezocht (en gevonden) van de lage beeldkwaliteit bij 3D EM-beelden. Conclusie daarbij was dat ruis de belangrijkste factor was en van een heel specifieke vorm was. We hebben bovendien een restauratietechniek ontwikkeld die deze ruis sterk onderdrukt en het voor biomedisch onderzoekers veel makkelijker maakt analyses uit te voeren.  

Bibliografie

[1] Hooke R. Micrographia. Courier Dover Publications, 1665.[2] M. Malpighi. De Pulmonibus Observationes Anatomicae. 1663.[3] Optical microscope, . URL http://en.wikipedia.org/wiki/Optical_microscope.[4] Enkelvoudige microscoop, . URL http://upload.wikimedia.org/wikipedia/commons/4/4f/Microscope_simple_di…] Samengestelde microscoop, . URL http://upload.wikimedia.org/wikipedia/commons/f/fe/Microscope_compound_…] Electron microscope, . URL http://en.wikipedia.org/wiki/Electron_microscope.[7] Scherptediepte in beelden, . URL http://img407.imageshack.us/img407/6410/xwingcomparisonwf6.jpg.[8] H. Luong, S. Lippens, Y. Saeys, B. Goossens, J. Aelterman, J. De Vylder and W. Philips. The image processing revolution: The next step in electron microscopy. Proc. 3View Users Group Meeting and Symposium, 2014.[9] A. Pizurica, B. Goossens, H.Q. Luong and W. Philips. An improved non-local means algorithm for image denoising. International Workshop on Local and Non-Local Approximation in Image Processing, 2008.[10] A. Pizurica, J. Aelterman, B. Goossens and W. Philips. Removal of correlated rician noise in magnetic resonance imaging. 16th European Signal Processing Conference, 2008.[11] A. Pizurica, B. Goossens and W. Philips. Removal of correlated noise by modeling the signal of interest in the wavelet domain. IEEE Transactions on Image Processing, 2009.[12] D. Giacalone, S. Battiato, A. Bosco, R. A. Bruna and R. Rizzo. Signal dependent raw image denoising using sensor noise characterization via multiple acquisitions. Digital Photography VI, 2010.[13] A. Foi. Clipped noisy images: Heteroskedastic modeling and practical denoising. Signal Processing, 2009.[14] P. Weiss, J. Fehrenbach and C. Lorenzo. Variational algorithms to remove stationary noise: Application to spim imaging. IEEE Transactions on Image Processing, 2011.[15] G. Poggi M. Matrecano and L. Verdoliva. Improved bm3d for correlated noise removal. VISAPP (1), 2012.[16] V. V. Lukin, N. N. Ponomarenko, R. Oktem, K. Egiazarian and O. V. Tsymbal. Locally adaptive dct filtering for signal-dependent noise removal. EURASIP Journal on Advances in Signal Processing, 2007.[17] M. Tanaka, X. Liu and M. Okutomi. Estimation of signal dependent noise parameters from a single image. IEEE International Conference on Image Processing, 2013.[18] V. Katkovnik, K. Dabov, A. Foi and K. Egiazarian. Image denoising by sparse 3d transform-domain collaborative filtering. IEEE Transactions on Image Processing, 2007.[19] P.T. Vanathi, V.R. Vijaykumar and P. Kanagasabapathy. Fast and efficient algorithm to remove gaussian noise in digital images. IAENG International Journal of Computer Science, 2010.[20] M. Chandra, S. Lal and G. K. Upadhyay. Noise removal algorithm for images corrupted by additive gaussian noise. International Journal of Recent Trends in Engineering, 2009.[21] Chi-square goodness-of-fit, . URL http://www.stat.yale.edu/Courses/1997-98/101/chigf.htm.[22] V. Katkovnik, A. Foi, M. Trimeche and K. Egiazarian. Practical poissonian-gaussian noise modeling and fitting for single-image raw-data. IEEE Transactions on Image Processing, 2007.[23] P. Perona and J. Malik. Scale-space and edge detection using anisotropic diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990.[24] B. Coll, A. Buades and J.-M. Morel. A non-local algorithm for image denoising. Image Processing On Line, 2011.[25] S. G. Mallat. A theory for multiresolution signal decomposition: The wavelet representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989.[26] R. R. Coiffman and D. L. Donoho. Translation-invariant de-noising. Lecture Notes in Statistics: Wavelets and Statistics, 1995.[27] B. Yu, S. G. Chang and M. Vetterli. Adaptive wavelet thresholding for image denoising and compression. IEEE Transactions on Image Processing, 2000.[28] S. Osher, L. I. Rudin and E. Fatemi. Nonlinear total variation based noise removal algorithms. Phys. D, 1992.[29] F. Park, T. Chan, S. Esedoglu and A. Yip. Recent developments in total variation image restoration. In Mathematical Models of Computer Vision, 2005.[30] Conjugate gradient method, . URL http://en.wikipedia.org/wiki/Conjugate_gradient_method.[31] H. Luong, J. De Vylder, A. Pizurica, J. Aelterman, B. Goossens and W. Philips. Combined non-local and multi-resolution sparsity prior in image restoration. IEEE International Conference on Image Processing, 2012.

Universiteit of Hogeschool
Wiskundige Informatica
Publicatiejaar
2014
Kernwoorden
Share this on: