Artificiële intelligentie leert materialen herkennen
Heb je er ooit bij stilgestaan dat de dagdagelijkse technologieën die ons omringen, zoals bijvoorbeeld de batterij of processor in je smartphone, een ontwerp hebben dat zo verfijnd is dat elk atoom op de juiste plek moet zitten? Beeld je dan eens in dat je de onderzoeker bent die dit effectief moet nagaan… Vervelend werkje, gelukkig kan je hiervoor nu gebruik maken van artificiële intelligentie!
Computers die leren zoals jij en ik?
De spectaculaire mogelijkheden van artificiële intelligentie (AI) systemen zoals Chat-GPT en DALL-E zullen haast niemand ontgaan zijn het voorbije jaar. Het zal dus ook niet verbazen dat AI ook in de wetenschap revolutionaire resultaten boekt. Moderne AI-systemen bestaan uit zogenaamde neurale netwerken, die hun inspiratie vonden in de werking van de menselijke hersenen. Deze neurale netwerken leren een taak uitvoeren a.d.h.v. voorbeelden, in plaats van expliciet voorgeprogrammeerde algoritmes te gebruiken. Deze computersystemen worden dus nooit uitdrukkelijk verteld hoe ze een taak moeten aanpakken, maar leren dit zelf door vele voorbeelden met oplossing te observeren. Om een krachtig AI-systeem te bouwen heb je twee zaken nodig: een voldoende krachtige computer (ja hoor, die waarop je dit leest is krachtig genoeg!) en een gigantische hoeveelheid gemarkeerde data, waarvan je AI-systeem kan leren. Als je een toepassing kan bedenken waarvoor nog geen AI-oplossing bestaat, dan komt dit zeer waarschijnlijk door een gebrek aan het laatste.
Waarom moet een computer materialen herkennen?
Het karakteriseren van materialen is een cruciale en alledaagse praktijk in de ontwikkeling van nieuwe technologieën zoals bijvoorbeeld batterijen, processoren of koolstof-opvang. Het verzamelen van ruwe data over nieuwe of ongekende materialen gaat steeds sneller en vereist steeds minder tussenkomst van een menselijke operator. Natuurlijk wordt het ook steeds belangrijker om deze grote hoeveelheden ruwe data automatisch te verwerken tot bruikbare informatie. Dit is waar AI-systemen zo goed van pas komen.
Wat wordt er nu net bedoeld met “een materiaal herkennen”? Er valt heel wat te vertellen over elk materiaal, zoals bijvoorbeeld uit welke chemische elementen het bestaat of welke structuur het heeft. De vraag die je wil beantwoorden bepaalt ook meteen welke techniek het best geschikt is voor het onderzoek van het materiaal. Er bestaat een immens gamma aan potentiële technieken, gaande van chemische of mechanische testen tot licht- of elektronenmicroscopie. De vraag die dit nieuwe AI-systeem beantwoordt is: Wat is de chemische samenstelling van mijn materiaal? Om deze vraag te beantwoorden moeten we met de elektronenmicroscoop aan de slag.
Een natuurlijke barcode voor elk atoom
De elektronenmicroscoop is een bijzonder krachtig toestel voor het bestuderen van materialen op de allerkleinste schaal. Het idee erachter is enigszins vergelijkbaar met de microscoop die je kent vanop de schoolbanken. Door te kijken met elektronen i.p.v. met zichtbaar licht kunnen vergrotingen behaald worden zo sterk dat zelfs individuele atomen te zien zijn! Verder wordt chemische informatie over het materiaal bekomen door het opmeten van de energie van deze elektronen, dit noemt men spectroscopie. Een spectrum opgemeten met spectroscopie kan beschouwd worden als een natuurlijke barcode die de chemische samenstelling van het onderzocht materiaal bevat. Een getraind onderzoeker kan deze natuurlijke barcode vertalen naar de chemische samenstelling, maar omdat de mens beperkt is in tijd en snelheid, neemt AI het nu over.
Voorbeeld van een spectrum, waar de twee witte strepen de aanwezigheid van titanium onthullen.
Waar haal je voldoende oefening?
Een groot aantal gevarieerde voorbeelden waaruit je AI-systeem kan leren is één van de meest cruciale benodigdheden, maar vaak ook de moeilijkste om te realiseren. Online zijn enkele honderden goede voorbeelden van spectra te vinden, maar dan is er nog een lange weg te gaan tot aan de vereiste honderdduizenden. Ook het zelf opmeten van zo veel data is onbegonnen werk. Gelukkig brengt de gewone computer hierbij redding. Het is niet eenvoudig om zonder AI-systeem een spectrum – m.a.w. een natuurlijke barcode – te vertalen naar de chemische samenstelling van het materiaal. Het is echter wel eenvoudig om voor een gekozen materiaal een voorbeeld van zo’n spectrum te berekenen. Er kan dus een opmerkelijk tweerichtingsverkeer opgezet worden: eerst laat je een gewone computer de natuurlijke barcode van een materiaal berekenen, en dan laat je het AI-systeem proberen deze barcode terug te vertalen naar het materiaal. De gewone computer kan dan de pogingen van het AI-systeem corrigeren, en zo wordt die laatste slimmer. Als alles goed gaat wordt je AI-systeem dan slim genoeg om ook echte experimentele spectra te vertalen!
Oefening baart kunst
Het is niet vanzelfsprekend dat een AI-systeem getraind met gesimuleerde data ook goed presteert op echte data uit experimenten. Dit zal enkel zo zijn wanneer de gesimuleerde dataset voldoende realistisch is. Gelukkig voldoet de gesimuleerde dataset aan deze voorwaarde en presteert het resulterende AI-systeem goed in de echte wereld. Als we het AI-systeem een onbekend materiaal voorschotelen, dan heeft het een precisie en gevoeligheid van 88%. De precisie vertelt ons dat van 100 elementen die de AI als aanwezig bestempelt, er gemiddeld 88 daadwerkelijk aanwezig zijn. De gevoeligheid vertelt ons dat van 100 aanwezige elementen, de AI er gemiddeld 88 kan vinden.
Atomen inkleuren
Dit artikel werd geopend met de bewering dat een AI-systeem de mens kan helpen door een materiaal atoom per atoom te bestuderen. Figuur 2 toont een voorbeeld van de resultaten die dit in de praktijk levert. Helemaal links in figuur 2 zie je een elektronenmicroscopie-beeld van een materiaal met een vergroting sterk genoeg om individuele atomen te onderscheiden. De schaalbalk is 1 miljardste van een meter! Elke pixel in dit beeld heeft een eigen natuurlijke barcode. De kleurplaatjes tonen de posities van de chemische elementen gevonden door het AI-systeem. Dergelijke volledig automatische materiaalkarakterisatie vormt een beloftevol hulpmiddel voor onderzoek in de materiaalkunde en nanotechnologie. Hoewel dit verhaal misschien ver van je bed lijkt, beïnvloedt dit soort technologie sterk onze toekomst. Dankzij AI-versnelde ontdekkingen krijgen we straks efficiëntere smartphonebatterijen, duurzamere huizen en geavanceerdere medische hulpmiddelen. Het vormt de stille revolutie die ons dagelijks leven binnenkort zal raken.
Automatische aanduiding van elementen met behulp van het nieuwe AI-systeem.
Bibliografie
[1] Gatan. “EELS Atlas”. (2023), adres: https://eels.info/atlas (bezocht op 13-05-2023).
[2] J. Verbeeck en S. Van Aert, “Model based quantification of EELS spectra”, Ultramicroscopy, jrg. 101, nr. 2, p. 207–224, 2004, ISSN: 0304-3991. DOI:
10.1016/j.ultramic.2004.06.004.
[3] I. Goodfellow, Y. Bengio en A. Courville, Deep Learning. MIT Press, 2016, http://www.deeplearningbook.org.
[4] C. C. Aggarwal, Neural Networks and Deep Learning, A Textbook, 1ste ed. Springer, 2018, ISBN: 978-3-319-94462-3. DOI: 10.1007/978-3-319-94463-0.
[5] M. Kundmann en O. Krivanek, “Automated processing of parallel-detection EELS data”, Microsc. Microanal. Microstruct., jrg. 2, p. 245–256, 1991. DOI:
10.1051/mmm:0199100202-3024500.
[6] G. Kothleitner en F. Hofer, “Elemental occurrence maps: a starting point for quantitative EELS spectrum image processing”, Ultramicroscopy, jrg. 96, nr. 3,
p. 491–508, 2003, Proceedings of the International Workshop on Strategies andAdvances in Atomic Level Spectroscopy and Analysis, ISSN: 0304-3991. DOI:
10.1016/S0304-3991(03)00111-6.
[7] M. Shiga, S. Muto, K. Tatsumi en K. Tsuda, “Matrix Factorization for Automatic Chemical Mapping from Electron Microscopic Spectral Imaging Datasets”, Transactions of the Materials Research Society of Japan, jrg. 41, nr. 4, p. 333–336, 2016. DOI: 10.14723/tmrsj.41.333.
[8] M.-T. Chang, R.-F. Cai, C.-C. Chen en S.-C. Lo, “Development of Clustering Algorithm Applied for the EELS Analysis of Advanced Devices”, Microscopy and Microanalysis, jrg. 26, nr. S2, p. 2112–2114, 2020. DOI:
10.1017/S1431927620020486.
[9] J. Hachtel, N. Borodinov, K. Roccapriore e.a., “Beyond NMF: Advanced Signal Processing and Machine Learning Methodologies for Hyperspectral Analysis in EELS”, Microscopy and Microanalysis, jrg. 27, nr. S1, p. 322–324, 2021. DOI:
10.1017/S1431927621001720.
[10] T. Blum, J. Graves, M. Zachman, R. Kannan, X. Pan en M. Chi, “Machine Learning for Challenging EELS and EDS Spectral Decomposition”, Microscopy and Microanalysis, jrg. 25, nr. S2, p. 180–181, 2019. DOI: 10.1017/S1431927619001636.
[11] M. Chatzidakis en G. Botton, “Towards calibration-invariant spectroscopy using deep learning”, Scientific Reports, jrg. 9, p. 2126, feb 2019. DOI:
10.1038/s41598-019-38482-1.
[12] D. del-Pozo-Bueno, F. Peiró en S. Estradé, “Support vector machine for EELS oxidation state determination”, Ultramicroscopy, jrg. 221, p. 113 190, 2021, ISSN: 0304-3991. DOI: 10.1016/j.ultramic.2020.113190.
[13] C. Pate, J. Hart en M. Taheri, “RapidEELS: machine learning for denoising and classification in rapid acquisition electron energy loss spectroscopy”, Scientific Reports, jrg. 11, sep 2021. DOI: 10.1038/s41598-021-97668-8.
[14] L. I. Roest, S. E. van Heijst, L. Maduro, J. Rojo en S. Conesa-Boj, “Charting the low-loss region in electron energy loss spectroscopy with machine learning”, Ultramicroscopy, jrg. 222, p. 113 202, 2021, ISSN: 0304-3991. DOI:
10.1016/j.ultramic.2021.113202.
[15] S. Shayan Mousavi M, A. Pofelski en G. Botton, “EELSpecNet: Deep Convolutional Neural Network Solution for Electron Energy Loss Spectroscopy Deconvolution”, Microscopy and Microanalysis, jrg. 27, nr. S1, p. 1626–1627, 2021. DOI:
10.1017/S1431927621005997.
[16] N. R. Lewis, Y. Jin, X. Tang e.a., “Forecasting of in situ electron energy loss spectroscopy”, npj Computational Materials, jrg. 8, 1 dec 2022, ISSN: 20573960. DOI: 10.1038/s41524-022-00940-2.
[17] Y. Sun, S. Brockhauser en P. Hegedűs, “Comparing End-to-End Machine Learning Methods for Spectra Classification”, Applied Sciences, jrg. 11, nr. 23, 2021, ISSN: 2076-3417. DOI: 10.3390/app112311520.
[18] J. Acquarelli, T. van Laarhoven, J. Gerretzen, T. N. Tran, L. M. Buydens en
E. Marchiori, “Convolutional neural networks for vibrational spectroscopic data analysis”, Analytica Chimica Acta, jrg. 954, p. 22–31, 2017, ISSN: 0003-2670. DOI:
10.1016/j.aca.2016.12.010.
[19] M. Kazemzadeh, C. L. Hisey, K. Zargar-Shoshtari, W. Xu en N. G. Broderick, “Deep convolutional neural networks as a unified solution for Raman spectroscopy-based classification in biomedical applications”, Optics Communications, jrg. 510, p. 127 977, 2022, ISSN: 0030-4018. DOI:
10.1016/j.optcom.2022.127977.
[20] L.-N. Li, X.-F. Liu, F. Yang, W.-M. Xu, J.-Y. Wang en R. Shu, “A review of artificial neural network based chemometrics applied in laser-induced breakdown spectroscopy analysis”, Spectrochimica Acta Part B: Atomic Spectroscopy, jrg. 180, p. 106 183, 2021, ISSN: 0584-8547. DOI: 10.1016/j.sab.2021.106183.
[21] C. Jones, N. Daly, C. Higgitt en M. Rodrigues, “Neural network-based classification of X-ray fluorescence spectra of artists’ pigments: an approach leveraging a synthetic dataset created using the fundamental parameters method”, Heritage Science, jrg. 10, jun 2022. DOI: 10.1186/s40494-022-00716-3.
[22] C. Li, D. Wang en L. Kong, “Application of Machine Learning Techniques in Mineral Classification for Scanning Electron Microscopy - Energy Dispersive
X-Ray Spectroscopy (SEM-EDS) Images”, Journal of Petroleum Science and Engineering, jrg. 200, p. 108 178, 2021, ISSN: 0920-4105. DOI:
10.1016/j.petrol.2020.108178.
[23] K. Ghosh, A. Stuke, M. Todorović e.a., “Deep Learning Spectroscopy: Neural Networks for Molecular Excitation Spectra”, Advanced Science, jrg. 6, nr. 9, p. 1 801 367, 2019. DOI: 10.1002/advs.201801367.
[24] L. Kong, Z. Ji en H. Xin, “Electron energy loss spectroscopy database synthesis and automation of core-loss edge recognition by deep-learning neural networks”, Scientific Reports, jrg. 12, p. 22 183, 2022. DOI: 10.1038/s41598-022-25870-3.
[25] R. Egerton, Electron Energy-Loss Spectroscopy in the Electron Microscope, 3rd Edition (Springer, 2011). jan 2011, ISBN: 978-1-4419-9582-7. DOI:
10.1007/978-1-4419-9583-4.
[26] M. P. Seah en W. A. Dench, “Quantitative electron spectroscopy of surfaces: A standard data base for electron inelastic mean free paths in solids”, Surface and Interface Analysis, jrg. 1, p. 2–11, 1979.
[27] A. Jain, S. P. Ong, G. Hautier e.a., “Commentary: The Materials Project: A materials genome approach to accelerating materials innovation”, APL Materials, jrg. 1, nr. 1, p. 011 002, 2013. DOI: 10.1063/1.4812323.
[28] Z. Zhang, I. Lobato, D. Jannis, J. Verbeeck, S. V. Aert en P. Nellist, Generalised oscillator strength for core-shell electron excitation by fast electrons based on Dirac solutions, versie 1.0, Zenodo, mrt 2023. DOI: 10.5281/zenodo.7729585. adres:
https://doi.org/10.5281/zenodo.7729585.
[29] J. Verbeeck en D. Jannis, pyEELSmodel (onuitgebracht), 2023.
[30] J. Verbeeck, S. Van Aert en G. Bertoni, “Model-based quantification of EELS spectra: Including the fine structure”, Ultramicroscopy, jrg. 106, nr. 11, p. 976–980, 2006, Proceedings of the International Workshop on Enhanced Data Generated by Electrons, ISSN: 0304-3991. DOI: 10.1016/j.ultramic.2006.05.006.
[31] J. Chae, J.-S. Kim, S.-Y. Nam, M. Kim en J. Park, “Introduction to the standard reference data of electron energy loss spectra and their database: eel.geri.re.kr”, Applied Microscopy, jrg. 50, dec 2020. DOI: 10.1186/s42649-019-0015-3.
[32] P. Ewels, T. Sikora, V. Serin, C. P. Ewels en L. Lajaunie, “A Complete Overhaul of the Electron Energy-Loss Spectroscopy and X-Ray Absorption Spectroscopy Database: eelsdb.eu”, Microscopy and Microanalysis, jrg. 22, p. 717–724, feb 2016, ISSN: 1435-8115. DOI: 10.1017/S1431927616000179.
[33] W. Tirry, D. Schryvers, K. Jorissen en D. Lamoen, “Electron-diffraction structure refinement of Ni 4 Ti 3 precipitates in Ni 52 Ti 48”, Acta Crystallographica Section B-structural Science - ACTA CRYSTALLOGR B-STRUCT SCI, jrg. 62, p. 966–971, dec 2006. DOI: 10.1107/S0108768106036457/lc5049sup2.txt.
[34] A. Feldhoff, J. Martynczuk, M. Arnold e.a., “Spin-state transition of iron in (Ba0.5Sr0.5)(Fe0.8Zn0.2)O3- perovskite”, Journal of Solid State Chemistry, jrg. 182, nr. 11, p. 2961–2971, 2009, ISSN: 0022-4596. DOI: 10.1016/j.jssc.2009.07.058.
[35] L. Lajaunie, F. Boucher, R. Dessapt en P. Moreau, “Quantitative use of electron energy-loss spectroscopy Mo-M2,3 edges for the study of molybdenum oxides”, Ultramicroscopy, jrg. 149, p. 1–8, 2015, ISSN: 0304-3991. DOI:
10.1016/j.ultramic.2014.11.002.
[36] F. Hofer en P. Golob, “New examples for near-edge fine structures in electron energy loss spectroscopy”, Ultramicroscopy, jrg. 21, nr. 4, p. 379–383, 1987, ISSN: 0304-3991. DOI: 10.1016/0304-3991(87)90036-2.
[37] G. Gassner, J. Patscheider, P. H. Mayrhofer e.a., “Structure of sputtered nanocomposite CrCxa-C:H thin films”, Journal of Vacuum Science & Technology B: Microelectronics and Nanometer Structures Processing, Measurement, and Phenomena, jrg. 24, nr. 4, p. 1837–1843, 2006. DOI: 10.1116/1.2216713.
[38] G. Hug, R. Leapman en A. Jaouen, “A study of EELS fine structure in three chromium carbide”, Microbeam Analysis, 1995.
[39] S. Trasobares, C. Kolczewski, R. Räty e.a., “Monitoring the Decomposition of Melamine in the Solid Phase by Electron Energy Loss Chronospectroscopy”, The Journal of Physical Chemistry A, jrg. 107, nr. 2, p. 228–235, 2003. DOI:
10.1021/jp026340j.
[40] V. Serin, C. Colliex, R. Brydson, S. Matar en F. Boucher, “EELS investigations of the electron conduction band states in wurtzite AlN and oxygen-doped AlN(O)”, Physical Review, 1998.
[41] A. Krizhevsky, I. Sutskever en G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, in Advances in Neural Information Processing
Systems, F. Pereira, C. Burges, L. Bottou en K. Weinberger, red., deel 25, Curran Associates, Inc., 2012. adres: https://proceedings.neurips.cc/paper/2012/ file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf.
[42] K. Simonyan en A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition”, 3rd International Conference on Learning Representations (ICLR 2015), 2015, p. 1–14.
[43] O. Ronneberger, P. Fischer en T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation”, in Medical Image Computing and
Computer-Assisted Intervention – MICCAI 2015, N. Navab, J. Hornegger,
W. M. Wells en A. F. Frangi, red., Cham: Springer International Publishing, 2015,
p. 234–241, ISBN: 978-3-319-24574-4.
[44] K. He, X. Zhang, S. Ren en J. Sun, “Deep Residual Learning for Image
Recognition”, in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Los Alamitos, CA, USA: IEEE Computer Society, jun 2016, p. 770–778. DOI:
10.1109/CVPR.2016.90.
[45] H. Iqbal, HarisIqbal88/PlotNeuralNet v1.0.0, versie v1.0.0, dec 2018. DOI:
10.5281/zenodo.2526396. adres: https://doi.org/10.5281/zenodo.2526396.
[46] S. Hochreiter en J. Schmidhuber, “Long Short-term Memory”, Neural computation, jrg. 9, p. 1735–80, dec 1997. DOI: 10.1162/neco.1997.9.8.1735.
[47] A. Vaswani, N. Shazeer, N. Parmar e.a., “Attention is All you Need”, in Advances in Neural Information Processing Systems, I. Guyon, U. V. Luxburg, S. Bengio e.a., red., deel 30, Curran Associates, Inc., 2017. adres: https://proceedings.neurips.cc/ paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf.
[48] T. Brown, B. Mann, N. Ryder e.a., “Language Models are Few-Shot Learners”, in
Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan en H. Lin, red., deel 33, Curran Associates, Inc., 2020,
p. 1877–1901. adres: https://proceedings.neurips.cc/paper/2020/file/ 1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf.
[49] A. Dosovitskiy, L. Beyer, A. Kolesnikov e.a., “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale”, 9th International Conference on Learning Representations (ICLR 2021), 2021.
[50] A. Hassani, S. Walton, N. Shah, A. Abuduweili, J. Li en H. Shi, Escaping the Big Data Paradigm with Compact Transformers, 2021. DOI:
10.48550/ARXIV.2104.05704.
[51] R. Battiti en A. M. Colla, “Democracy in neural nets: Voting schemes for classification”, Neural Networks, jrg. 7, nr. 4, p. 691–707, 1994, ISSN: 0893-6080.
DOI: https://doi.org/10.1016/0893-6080(94)90046-9.
[52] R. R. Selvaraju, A. Das, R. Vedantam, M. Cogswell, D. Parikh en D. Batra, “Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localization”, CoRR, jrg. abs/1610.02391, 2016. DOI: 1610.02391. adres: http://arxiv.org/abs/1610.02391.
[53] B. Chen, N. Gauquelin, N. Strkalj e.a., “Signatures of enhanced out-of-plane polarization in asymmetric BaTiO3 superlattices integrated on silicon”, Nature Communications, jrg. 13, jan 2022. DOI: 10.1038/s41467-021-27898-x.
