Je loopt door een onbekende stad en probeert je hotel terug te vinden. Eerst vertrouw je op je geheugen, maar na een tijdje begin je te twijfelen en pak je toch de kaart op je telefoon erbij. Het moment waarop je nadenkt over je eigen keuzes, is een voorbeeld van metacognitie. In dit onderzoek gebruik ik artificiële intelligentie om een onderdeel van dit denkproces te voorspellen op basis van hersenactiviteit. Zo kunnen we beter begrijpen hoe mensen nadenken over hun eigen beslissingen en leren om dat te verbeteren.
Abstract concept, wazig onderzoek
Metacognitie, oftewel "denken over denken", is het vermogen om onze eigen denkprocessen te monitoren en aan te passen. Het helpt ons beoordelen hoe we een taak uitvoeren en of we onze aanpak moeten aanpassen. Eén van de grootste obstakels in metacognitie-onderzoek is de manier waarop het gemeten wordt. Veel studies baseren zich op subjectieve zelfrapportages, zoals het meten van hoe zeker iemand is van een beslissing. Deze methoden zijn echter vaak gevoelig voor bias en variabiliteit. Om dit probleem aan te pakken, biedt cognitieve neurowetenschap een oplossing. Door technieken zoals EEG (elektro-encefalografie) te gebruiken, kunnen onderzoekers objectieve gegevens verzamelen over hoe metacognitieve processen daadwerkelijk in de hersenen plaatsvinden, waardoor de beperkingen van zelfrapportages worden overwonnen.
Wat heb je nu gemeten?
Metacognitie, het vermogen om na te denken over je eigen denken, is lastig om precies te meten. Al decennialang proberen onderzoekers te ontrafelen hoe dit proces in de hersenen werkt. Een belangrijk onderdeel hiervan is hoe zeker mensen zijn van hun beslissingen. Dit wordt vaak onderzocht met een perceptuele besluitvormingstaak, waarbij mensen keuzes maken op basis van wat ze waarnemen – het meest onderzochte gebied van metacognitie. In dit onderzoek kregen deelnemers een visuele taak: ze moesten kiezen welk van twee figuren meer stippen bevatte en vervolgens aangeven hoe zeker ze waren van hun keuze. Deze zelfevaluatie van zelfzekerheid in hun beslissing helpt ons beter te begrijpen hoe mensen hun eigen keuzes beoordelen, een cruciaal onderdeel van metacognitie.
Tijdens deze taken werd de hersenactiviteit van de deelnemers gemeten met EEG (elektro-encefalografie), het bekende kapje met metalen pinnen. EEG registreert de elektrische activiteit in de hersenen en laat zien hoe deze samenhangt met cognitieve processen, zoals het nemen van beslissingen en de zelfzekerheid over die keuzes. Door te starten met deze eenvoudige taken, bouwen we aan een fundament voor een breder begrip van hoe metacognitie in de hersenen werkt.
Het WaveFusion-model: Deep learning in actie
Om de verzamelde EEG-gegevens te analyseren, werd het geavanceerde deep learning-model WaveFusion ontwikkeld en verbeterd in dit onderzoek. Deep learning, een vorm van artificiële intelligentie, is bijzonder geschikt voor het herkennen van complexe patronen in grote hoeveelheden data, zoals hersenactiviteit. Traditionele analysemethoden schieten vaak tekort in het verwerken van de complexe dynamiek van de hersenen. Het WaveFusion-model kan op basis van hersenactiviteit voorspellen of deelnemers een hoge of lage zelfzekerheid hebben over hun keuzes in de perceptuele proef. Daarnaast kan het ook inschatten hoe nauwkeurig die zelfzekerheid is.
Tegelijkertijd brengt deep learning uitdagingen met zich mee. Een van de grootste problemen is dat deze modellen moeilijk te interpreteren zijn: hoe weten we precies waarop het model zijn beslissingen baseert? Het WaveFusion-model pakt dit aan met een attention network, dat helpt bepalen welke delen van de hersenactiviteit het meest relevant zijn voor zowel de zelfzekerheid als de accuraatheid van die zelfzekerheid. Deze informatie wordt visueel weergegeven in topoplots, die tonen welke hersengebieden cruciaal zijn voor de voorspellingen van het model. De visuele weergave maakt het model niet alleen nauwkeuriger, maar ook beter te begrijpen voor onderzoekers. Dit is essentieel voor verdere vooruitgang in het meten van metacognitie.
Mensen beter leren denken: De kracht van metacognitieve ontwikkeling
De inzichten uit dit onderzoek dient verder wetenschappelijk onderzoek te inspireren om verklaarbare deep learning-modellen, zoals WaveFusion, te gebruiken om het mysterie van metacognitie te ontrafelen. Dit kan leiden tot een versnelde ontwikkeling van talrijke praktische toepassingen, zoals het verbeteren van denkprocessen bij mensen. Metacognitieve training kan bijvoorbeeld bijdragen aan betere prestaties in het onderwijs en op de werkvloer. Het helpt mensen hun denkstrategieën en fouten sneller te herkennen en aan te passen. Dit verhoogt niet alleen de productiviteit, maar kan ook een positieve invloed hebben op de mentale gezondheid. Mensen die worstelen met depressie of angst hebben vaak een verstoorde metacognitie, waardoor ze hun gedachten en gevoelens moeilijker kunnen interpreteren. Dankzij de opkomst van kunstmatige intelligentie en neurotechnologie komen doorbraken in metacognitieve training steeds sneller binnen handbereik, met grote potentie voor zowel mentale gezondheid als cognitieve groei.
[1] Stephen M. Fleming, S. M. Fleming, and R. J. Dolan, ‘The Neural Basis of Metacognitive Ability’, Philosophical Transactions of the Royal Society B, vol. 367, no. 1594, pp. 1338–1349, May 2012, doi: 10.1098/rstb.2011.0417. [2] Ruth Colvin Clark and R. C. Clark, ‘Metacognition and Human Performance Improvement.’, Performance Improvement Quarterly, vol. 1, no. 1, pp. 33–45, Oct. 2008, doi: 10.1111/j.1937-8327.1988.tb00005.x. [3] M. V. J. Veenman, B. van Hout-Wolters, and P. Afflerbach, ‘Metacognition and learning: conceptual and methodological considerations’, Metacognition and Learning, vol. 1, no. 1, pp. 3–14, Mar. 2006, doi: 10.1007/s11409-006-6893-0. [4] Marianne Hohendorf and Markus Bauer, ‘Metacognitive sensitivity and symptoms of mental disorder: A systematic review and meta-analysis’, Frontiers in Psychology, vol. 14, Feb. 2023, doi: 10.3389/fpsyg.2023.991339. [5] E. Norman et al., ‘Metacognition in Psychology’, Review of General Psychology, vol. 23, no. 4, pp. 403–424, Oct. 2019, doi: 10.1177/1089268019883821. [6] Mitsuo Kawato, M. Kawato, Aurelio Cortese, and A. Cortese, ‘From internal models toward metacognitive AI.’, Biological Cybernetics, Oct. 2021, doi: 10.1007/s00422- 021-00904-7. [7] Athanasios Drigas, A. Drigas, Eleni Mitsea, and E. Mitsea, ‘The Triangle of Spiritual Intelligence, Metacognition and Consciousness’, Int. J. Recent Contributions Eng. Sci. IT, vol. 8, no. 1, pp. 4–23, Mar. 2020, doi: 10.3991/ijes.v8i1.12503. [8] Alexander Soutschek et al., ‘Frontopolar theta oscillations link metacognition with prospective decision making.’, Nature Communications, vol. 12, no. 1, pp. 3943– 3943, Jun. 2021, doi: 10.1038/s41467-021-24197-3. [9] A. Bhargav and S. Srivastava, ‘Effectiveness of Vipassana Meditation on Meta Cognition and Resilience in Patients of The Major Depressive Disorder : A PrePost Study’, vol. 31, no. 33, pp. 277–289, May 2020. [10] Jean-Marc Fellous et al., ‘Explainable Artificial Intelligence for Neuroscience: Behavioral Neurostimulation’, Frontiers in Neuroscience, vol. 13, pp. 1346–1346, Dec. 2019, doi: 10.3389/fnins.2019.01346. [11]Fakhirah Badrulhisham, Esther Pogatzki-Zahn, Daniel Segelcke, Tamás Spisák, and Jan Vollert, ‘Machine learning and artificial intelligence in neuroscience: A primer for researchers’, Brain, behavior, and immunity, Nov. 2023, doi: 10.1016/j.bbi.2023.11.005. [12] Thomas O. Nelson, T. O. Nelson, Louis Narens, and L. Narens, ‘Why investigate metacognition’, pp. 1–25, Jan. 1994. [13] John H. Flavell and J. H. Flavell, ‘Speculations about the nature and development of metacognition’, pp. 21–29, Jan. 1987. [14] Stephen M. Fleming, S. M. Fleming, R. J. Dolan, and C. D. Frith, ‘Metacognition: computation, biology and function’, Philosophical Transactions of the Royal Society B, vol. 367, no. 1594, pp. 1280–1286, May 2012, doi: 10.1098/rstb.2012.0021. [15] Jonathan Freedman, J. L. Freedman, Thomas K. Landauer, and T. K. Landauer, ‘Retrieval of long-term memory: “Tip-of-the-tongue” phenomenon’, Psychonomic science, vol. 4, no. 8, pp. 309–310, Aug. 1966, doi: 10.3758/bf03342310. [16] P. Georghiades, ‘From the general to the situated: three decades of metacognition’, International Journal of Science Education, vol. 26, no. 3, pp. 365– 383, Feb. 2004, doi: 10.1080/0950069032000119401. [17] Pina Tarricone and P. Tarricone, ‘The Taxonomy of Metacognition’, Feb. 2011, doi: 10.4324/9780203830529. [18] J. H. Flavell, ‘Metacognitive aspects of problem solving’, pp. 231–235, Jan. 1976. [19] T. O. Nelson and T. O. Nelson, ‘Metamemory: A Theoretical Framework and New Findings’, Psychology of Learning and Motivation, vol. 26, pp. 125–173, Jan. 1990, doi: 10.1016/s0079-7421(08)60053-5. [20] C. M. Roebers, ‘Executive function and metacognition: Towards a unifying framework of cognitive self-regulation’, Developmental Review, vol. 45, pp. 31–51, Sep. 2017, doi: 10.1016/j.dr.2017.04.001. [21] Gregory Schraw, G. Schraw, Rayne Sperling Dennison, and R. S. Dennison, ‘Assessing metacognitive awareness’, Contemporary Educational Psychology, vol. 19, no. 4, pp. 460–475, Oct. 1994, doi: 10.1006/ceps.1994.1033. [22] D. Fernandez-Duque, J. A. Baird, and M. I. Posner, ‘Executive attention and metacognitive regulation.’, Consciousness and Cognition, vol. 9, no. 2, pp. 288– 307, Jun. 2000, doi: 10.1006/ccog.2000.0447. [23] Jennifer A. Livingston and J. A. Livingston, ‘Metacognition: An Overview.’, Jan. 2003. [24] A. L. Brown and A. L. Brown, ‘Knowing when, where, and how to remember ; A problem of metacognition’, vol. 1, Jan. 1978. [25] Marcel V. J. Veenman, M. V. J. Veenman, Marleen A. Spaans, and M. A. Spaans, ‘Relation between intellectual and metacognitive skills: Age and task differences’, Learning and Individual Differences, vol. 15, no. 2, pp. 159–176, Jan. 2005, doi: 10.1016/j.lindif.2004.12.001. [26] C. D. Frith, ‘Consciousness, (meta)cognition, and culture’, Quarterly Journal of Experimental Psychology, vol. 76, no. 8, pp. 1711–1723, Apr. 2023, doi: 10.1177/17470218231164502. [27] Asher Koriat and A. Koriat, ‘Metacognition and consciousness.’, May 2007, doi: 10.1017/cbo9780511816789.012. [28] Gregory Schraw et al., ‘Does a general monitoring skill exist’, Journal of Educational Psychology, vol. 87, no. 3, pp. 433–444, Sep. 1995, doi: 10.1037//0022-0663.87.3.433. [29] M. Rouault et al., ‘Human metacognition across domains: insights from individual differences and neuroimaging.’, Polymer Engineering and Science, vol. 1, Aug. 2018, doi: 10.1017/pen.2018.16. [30] E. Panadero, ‘A Review of Self-regulated Learning: Six Models and Four Directions for Research’, Front. Psychol., vol. 8, p. 422, Apr. 2017, doi: 10.3389/fpsyg.2017.00422. [31] J. H. Flavell, ‘Metacognition and cognitive monitoring: A new area of cognitive– developmental inquiry.’, American Psychologist, vol. 34, no. 10, pp. 906–911, Oct. 1979, doi: 10.1037/0003-066X.34.10.906. [32] Gregory Schraw, Gregory Schraw, David Moshman, and David Moshman, ‘Metacognitive theories’, Educational Psychology Review, doi: 10.1007/bf02212307. [33] G. Schraw, ‘Promoting general metacognitive awareness’, Instructional Science, vol. 26, no. 1, pp. 3–16, Mar. 1998, doi: 10.1007/978-94-017-2243-8_1. [34] A. Efklides, ‘Metacognition: Defining its facets and levels of functioning in relation to self- and co-regulation’, European Psychologist, Jan. 2008, doi: 10.1027/1016-9040.13.4.277. [35] A. Efklides, ‘Metacognitive experiences in problem solving: Metacognition, motivation, and self-regulation.’, Jan. 2001. [36] A. Zohar and A. B. David, ‘Paving a clear path in a thick forest: a conceptual analysis of a metacognitive component’, Metacognition and Learning, vol. 4, no. 3, pp. 177–195, May 2009, doi: 10.1007/s11409-009-9044-6. [37] Young Rae Kim et al., ‘Multiple levels of metacognition and their elicitation through complex problem-solving tasks’, The Journal of Mathematical Behavior, vol. 32, no. 3, pp. 377–396, Sep. 2013, doi: 10.1016/j.jmathb.2013.04.002. [38] Regina Boulware-Gooden et al., ‘Instruction of Metacognitive Strategies Enhances Reading Comprehension and Vocabulary Achievement of Third-Grade Students.’, The Reading Teacher, vol. 61, no. 1, pp. 70–77, Sep. 2007, doi: 10.1598/rt.61.1.7. [39] M. Ann Dirkes and M. A. Dirkes, ‘Metacognition: Students in charge of their thinking’, Roeper Review, vol. 8, no. 2, pp. 96–100, Nov. 1985, doi: 10.1080/02783198509552944. [40] Marvin S. Cohen, M. S. Cohen, Jared Freeman, J. T. Freeman, Steve Wolf, and S. Wolf, ‘Metarecognition in Time-Stressed Decision Making: Recognizing, Critiquing, and Correcting’, Human Factors, vol. 38, no. 2, pp. 206–219, Jun. 1996, doi: 10.1177/001872089606380203. [41] Nesrin Öztürk, N. Ozturk, and Nesrin Ozturk, ‘Assessing Metacognition: Theory and Practices’, International Journal of Assessment Tools in Education, vol. 4, no. 2, pp. 134–148, Mar. 2017, doi: 10.21449/ijate.298299. [42] Vassilis Martiadis, Enrico Pessina, Fabiola Raffone, Valeria Iniziato, Azzurra Martini, and Pasquale Scognamiglio, ‘Metacognition in schizophrenia: A practical overview of psychometric metacognition assessment tools for researchers and 90 clinicians’, Frontiers in Psychiatry, vol. 14, Apr. 2023, doi: 10.3389/fpsyt.2023.1155321. [43] Philip H. Winne and P. H. Winne, ‘A metacognitive view of individual differences in self-regulated learning’, Learning and Individual Differences, vol. 8, no. 4, pp. 327–353, Jan. 1996, doi: 10.1016/s1041-6080(96)90022-9. [44] Stephen M. Fleming, S. M. Fleming, and C. D. Frith, ‘The cognitive neuroscience of metacognition’, Springer Berlin Heidelberg, vol. 9783642451904, pp. 1–407, Dec. 2014, doi: 10.1007/978-3-642-45190-4. [45] D. Fleur, B. Bredeweg, and Wouter Van Den Bos, ‘Metacognition: ideas and insights from neuro- and educational sciences’, npj Science of Learning, 2021, doi: 10.1038/s41539-021-00089-5. [46] Shaohan Jiang et al., ‘Metacognition and mentalizing are associated with distinct neural representations of decision uncertainty’, PLOS Biology, vol. 20, no. 5, pp. e3001301–e3001301, May 2022, doi: 10.1371/journal.pbio.3001301. [47] Annika Boldt, A. Boldt, A. S. Boldt, Nick Yeung, and N. Yeung, ‘Shared Neural Markers of Decision Confidence and Error Detection’, The Journal of Neuroscience, vol. 35, no. 8, pp. 3478–3484, Feb. 2015, doi: 10.1523/jneurosci.0797-14.2015. [48] Dobromir Rahnev et al., ‘Consensus Goals in the Field of Visual Metacognition’, Perspectives on Psychological Science, pp. 174569162210756– 174569162210756, Jul. 2022, doi: 10.1177/17456916221075615. [49] Lirong Qiu et al., ‘The neural system of metacognition accompanying decisionmaking in the prefrontal cortex’, PLOS Biology, vol. 16, no. 4, pp. 1–27, Apr. 2018, doi: 10.1371/journal.pbio.2004037. [50] T. U. Hauser, M. Allen, N. Purg, M. Moutoussis, G. Rees, and R. J. Dolan, ‘Noradrenaline blockade specifically enhances metacognitive performance’, eLife, vol. 6, May 2017, doi: 10.7554/elife.24901. [51] Paolo Di Luzio, Luca Tarasi, Juha Silvanto, Alessio Avenanti, and V. Romei, ‘Human perceptual and metacognitive decision-making rely on distinct brain networks’, PLOS Biology, vol. 20, no. 8, pp. e3001750–e3001750, Aug. 2022, doi: 10.1371/journal.pbio.3001750. [52] P. Grimaldi, Hakwan Lau, H. Lau, and M. A. Basso, ‘There are things that we know that we know, and there are things that we do not know we do not know: Confidence in decision-making.’, Neuroscience & Biobehavioral Reviews, vol. 55, pp. 88–97, Aug. 2015, doi: 10.1016/j.neubiorev.2015.04.006. [53] A. P. Shimamura, ‘Toward a Cognitive Neuroscience of Metacognition’, Consciousness and Cognition, vol. 9, no. 2, pp. 313–323, Jun. 2000, doi: 10.1006/ccog.2000.0450. [54] A. G. Vaccaro and S. M. Fleming, ‘Thinking about thinking: A coordinate-based meta-analysis of neuroimaging studies of metacognitive judgements’, Brain and Neuroscience Advances, vol. 2, p. 239821281881059, Jan. 2018, doi: 10.1177/2398212818810591. [55] M. E. Wokke, D. Achoui, and A. Cleeremans, ‘Action information contributes to metacognitive decision-making.’, Scientific Reports, vol. 10, no. 1, pp. 3632–3632, Feb. 2020, doi: 10.1038/s41598-020-60382-y. [56] Tricia Seow et al., ‘How local and global metacognition shape mental health’, Biological Psychiatry, vol. 90, no. 7, pp. 436–446, May 2021, doi: 10.1016/j.biopsych.2021.05.013. [57] Pascal Molenberghs et al., ‘Neural correlates of metacognitive ability and of feeling confident: a large-scale fMRI study’, Social Cognitive and Affective 91 Neuroscience, vol. 11, no. 12, pp. 1942–1951, Jul. 2016, doi: 10.1093/scan/nsw093. [58] Stephen M. Fleming et al., ‘Relating Introspective Accuracy to Individual Differences in Brain Structure’, Science, vol. 329, no. 5998, pp. 1541–1543, Sep. 2010, doi: 10.1126/science.1191883. [59] Paul J. Healy, D. A. Moore, Don A. Moore, and P. J. Healy, ‘The Trouble With Overconfidence’, Psychological Review, May 2007, doi: 10.1037/0033- 295x.115.2.502. [60] Jason M. Carpenter et al., ‘Domain-general enhancements of metacognitive ability through adaptive training’, bioRxiv, p. 388058, Aug. 2018, doi: 10.1101/388058. [61] Indrit Sinanaj, I. Sinanaj, Yann Cojan, Y. Cojan, Patrik Vuilleumier, and P. Vuilleumier, ‘Inter-individual variability in metacognitive ability for visuomotor performance and underlying brain structures’, Consciousness and Cognition, vol. 36, pp. 327–337, Nov. 2015, doi: 10.1016/j.concog.2015.07.012. [62] Stephen M. Fleming, S. M. Fleming, J. Huijgen, and R. J. Dolan, ‘Prefrontal Contributions to Metacognition in Perceptual Decision Making’, The Journal of Neuroscience, vol. 32, no. 18, pp. 6117–6125, May 2012, doi: 10.1523/jneurosci.6489-11.2012. [63] Cuizhen Liu, Keqing Wang, and Rongjun Yu, ‘The neural representation of metacognition in preferential decision‐making’, Human Brain Mapping, 2024, doi: 10.1002/hbm.26651. [64] Micah Allen et al., ‘Metacognitive ability correlates with hippocampal and prefrontal microstructure.’, NeuroImage, vol. 149, pp. 415–423, Apr. 2017, doi: 10.1016/j.neuroimage.2017.02.008. [65] Pascal Molenberghs et al., ‘Understanding the minds of others: A neuroimaging meta-analysis’, Neuroscience & Biobehavioral Reviews, vol. 65, pp. 276–291, Jun. 2016, doi: 10.1016/j.neubiorev.2016.03.020. [66] Chen Song et al., ‘Relating inter-individual differences in metacognitive performance on different perceptual tasks’, Consciousness and Cognition, vol. 20, no. 4, pp. 1787–1792, Dec. 2011, doi: 10.1016/j.concog.2010.12.011. [67] R. Grützmann, T. Endrass, J. Klawohn, and N. Kathmann, ‘Response accuracy rating modulates ERN and Pe amplitudes’, Biological Psychology, vol. 96, pp. 1– 7, Feb. 2014, doi: 10.1016/j.biopsycho.2013.10.007. [68] Kobe Desender et al., ‘The temporal dynamics of metacognition: Dissociating task-related activity from later metacognitive processes’, Neuropsychologia, vol. 82, pp. 54–64, Feb. 2016, doi: 10.1016/j.neuropsychologia.2016.01.003. [69] Aslihan Selimbeyoglu et al., ‘What if you are not sure? Electroencephalographic correlates of subjective confidence level about a decision’, Clinical Neurophysiology, vol. 123, no. 6, pp. 1158–1167, Jun. 2012, doi: 10.1016/j.clinph.2011.10.037. [70] Martijn E. Wokke, M. E. Wokke, Axel Cleeremans, A. Cleeremans, K. Richard Ridderinkhof, and K. R. Ridderinkhof, ‘Sure I’m Sure: Prefrontal Oscillations Support Metacognitive Monitoring of Decision Making’, The Journal of Neuroscience, vol. 37, no. 4, pp. 781–789, Jan. 2017, doi: 10.1523/jneurosci.1612- 16.2016. [71] Jason Samaha, J. Samaha, Luca Iemi, L. Iemi, Bradley R. Postle, and B. R. Postle, ‘Prestimulus alpha-band power biases visual discrimination confidence, but not accuracy’, bioRxiv, p. 089425, Nov. 2016, doi: 10.1101/089425. 92 [72] Stephen M. Fleming and S. M. Fleming, ‘HMeta-d: hierarchical Bayesian estimation of metacognitive efficiency from confidence ratings.’, Neuroscience of Consciousness, vol. 2017, no. 1, p. 007, Jan. 2017, doi: 10.1093/nc/nix007. [73] Christopher L. Hewitson, Naser Al-Fawakhiri, and Samuel Mcdougle, ‘Metacognitive Judgments during Visuomotor Learning Reflect the 3 Integration of Error History’, 2023. [74] Christoph Tremmel et al., ‘A meta-learning BCI for estimating decision confidence’, Journal of Neural Engineering, Jun. 2022, doi: 10.1088/1741- 2552/ac7ba8. [75] M. Briden and N. Norouzi, ‘Toward metacognition: subject-aware contrastive deep fusion representation learning for EEG analysis’, Biol Cybern, vol. 117, no. 4–5, pp. 363–372, Jul. 2023, doi: 10.1007/s00422-023-00967-8. [76] K. Desender, P. R. Murphy, A. Boldt, T. Verguts, and N. Yeung, ‘A postdecisional neural marker of confidence predicts information-seeking’, bioRxiv, p. 433276, Oct. 2018, doi: 10.1101/433276. [77] Yudong Tao et al., ‘Confidence Estimation Using Machine Learning in Immersive Learning Environments’, Conference on Multimedia Information Processing and Retrieval, pp. 247–252, 2020, doi: 10.1109/mipr49039.2020.00058. [78] Michael Briden and Narges Norouzi, ‘WaveFusion Squeeze-and-Excitation: Towards an Accurate and Explainable Deep Learning Framework in Neuroscience.’, Annual International Conference of the IEEE Engineering in Medicine and Biology Society, vol. 2021, pp. 1092–1095, Nov. 2021, doi: 10.1109/embc46164.2021.9630605. [79] S. M. Fleming and H. C. Lau, ‘How to measure metacognition’, Front. Hum. Neurosci., vol. 8, Jul. 2014, doi: 10.3389/fnhum.2014.00443. [80] Et Al. Nand Kumar, ‘Enhancing Robustness and Generalization in Deep Learning Models for Image Processing’, Power system technology, 2023, doi: 10.52783/pst.193. [81] Cristiano Mauro Assis Gomes, C. M. A. Gomes, Hudson Golino, H. Golino, Igor Gomes Menezes, and I. G. Menezes, ‘Predicting School Achievement Rather than Intelligence: Does Metacognition Matter?’, Psychology, vol. 2014, no. 9, pp. 1095– 1110, Jul. 2014, doi: 10.4236/psych.2014.59122. [82] Jona Förster, J. Förster, Mika Koivisto, M. Koivisto, Antti Revonsuo, and A. Revonsuo, ‘ERP and MEG correlates of visual consciousness: The second decade.’, Consciousness and Cognition, vol. 80, pp. 102917–102917, Apr. 2020, doi: 10.1016/j.concog.2020.102917. [83] Michelle Downes, M. Downes, Joe Bathelt, J. Bathelt, Michelle de Haan, and M. de Haan, ‘Event-related potential measures of executive functioning from preschool to adolescence’, Developmental Medicine & Child Neurology, vol. 59, no. 6, pp. 581–590, Jun. 2017, doi: 10.1111/dmcn.13395. [84] E. F. Chua, D. Pergolizzi, Rachel Weintraub, and R. R. Weintraub, ‘The Cognitive Neuroscience of Metamemory Monitoring: Understanding Metamemory Processes, Subjective Levels Expressed, and Metacognitive Accuracy’, pp. 267– 291, Jan. 2014, doi: 10.1007/978-3-642-45190-4_12.