Hoe het achtervolgd worden door koeien mij inspireerde om een digitaal spel te ontwikkelen dat duurzaamheid onderwijst?
Wat begon als een routineuze dag veldwerk om de gezondheid van eikenbomen in kaart te brengen, veranderde al snel in een onvergetelijke sprint naar veiligheid toen een kudde nieuwsgierige maar territoriale koeien op ons afstormde. Dat adrenalinevolle moment, vol angst en fascinatie, bleef me nog lang bij nadat het veldwerk was afgelopen. Daar, midden op het Spaanse platteland, werd de kiem gelegd voor Silent Spread, een digitale serious game die spelers moest leren over duurzaamheid en de verborgen bedreiging van wortelpathogenen zoals Phytophthora cinnamomi.
Phytophthora cinnamomi. Nee, het is geen Harry Potter-spreuk. Het is een microscopisch kleine wortelpathogen die in stilte eikenbomen in Spanje doodt. De bedreiging is ernstig omdat eiken eikels produceren die Iberische varkens voeden, de hoeksteen van de Iberische productenindustrie van €95 miljoen. Eenmaal in de grond blijft de aanwezigheid ervan vaak onopgemerkt totdat de schade ernstig is. Dus, hoe leer je mensen, met name toekomstige boeren, bosbeheerders en beleidsmakers, iets wat ze niet kunnen zien?
In mijn scriptie heb ik invasiebiologie opnieuw vormgegeven als een digitaal leermiddel. Het doel is om de manier waarop we plaagbestrijding, duurzaamheid en systeemdenken onderwijzen, opnieuw te definiëren.
De landingspagina van het spel, Silent Spread, is ontwikkeld met behulp van gratis online software.
Een verborgen moordenaar met een wereldwijde voetafdruk
Wetenschappers kennen Phytophthora cinnamomi of Pcinnamomi als een van 's werelds meest destructieve plantendoders. Het organisme is aangetroffen in minstens 15 wereldwijde hotspots van biodiversiteit en heeft de afgelopen 50 jaar zo'n 30.000 hectare op het Iberisch Schiereiland beschadigd. De ziekteverwekker heeft bondgenoten. Klimaatverandering, intensieve landbouw en zelfs rivieren vormen een ware storm voor boeren. Ondanks de biodiversiteit en de economische gevolgen blijven oplossingen beperkt, duur en gericht, waardoor de tolerantie van de aangetaste planten toeneemt.
Maar wat als de oplossing voor deze stille verspreiding niet alleen in het lab of in het veld ligt, maar in een spel?
Serieuze problemen vereisen serieuze spellen
In tegenstelling tot entertainmentgames zijn serious games ontworpen om te onderwijzen, aan te zetten tot nadenken en actie te inspireren. Deze games kunnen complexe systemen vereenvoudigen en uitdagingen uit de echte wereld simuleren. Ondanks hun groeiende populariteit, zijn de meeste studies slechts oppervlakkig.
We weten dat games feiten kunnen aanleren, maar kunnen ze ook systeemdenken, probleemoplossing en reflectie op duurzaamheid bevorderen? Dat was de vraag die ik in mijn proefschrift onderzocht. Ik betwistte de algemeen aanvaarde opvatting dat leerlingen een cognitieve ladder moeten beklimmen. Dit betekent dat leren begint met het simpelweg herinneren van feiten voordat leerlingen complexe redeneringen kunnen maken. Mijn bevindingen suggereren het tegendeel. Ik betoogde dat dit denken misschien achterhaald is en dat serious games mogelijk meer geavanceerde mogelijkheden voor mensen ontsluiten.
Één speler maakt op niveau 3 gebruik van alle vier de beheeroplossingen en creëert daarbij verschillende combinaties van handelingen, zoals de integratie van hek- en wortelbarrières en hek- en kalkmeststoffen.
Ondergrondse vijand, bovengrondse strategie
Om de mogelijkheden van serious games verder te testen, ontwikkelde ik Silent Spread. Het is het allereerste digitale bordspel dat de verspreiding van Pcinnamomi simuleert, wat een nieuwe dimensie toevoegt aan mijn onderzoek. Het spel speelt zich af op drie gestileerde Spaanse boerderijen en weerspiegelt echte boerderijactiviteiten en natuurlijke gebeurtenissen zoals droogte en regenval. Elk level bouwt geleidelijk kennis op en begeleidt spelers van eenvoudig herinneren naar complexe besluitvorming. Op level 1 leren spelers over de algehele ecologie van de wortelpathogeen, terwijl level 2 spelers informeert en uitdaagt om na te denken over de economische gevolgen van de plaag voor het plattelandsleven. Uiteindelijk introduceert level 3 de verschillende factoren die de verspreiding van Pcinnamomi stimuleren.
Het doel is simpel maar uitdagend. Spelers gooien met de dobbelstenen, verplaatsen zich over de boerderij en nemen het onder tijdsdruk op tegen zoveel mogelijk ziekteverwekkers. Elke vijandelijke ontmoeting brengt een nieuwe wending, waardoor de complexiteit van het spel toeneemt en verschillende denkprocessen worden geactiveerd. De acties van de spelers leiden tot een van de vier spelelementen. Deze omvatten het ontgrendelen van trivia, het activeren van quizzen, het introduceren van managementoplossingen of het activeren van game-uitdagingen. Voor zover ik weet, is dit de eerste keer dat deze vier elementen tegelijkertijd worden onderzocht. Zie het als een spoedcursus in plaagbestrijding, agro-ecologie en systeemdenken, allemaal vermomd als een spel..
(Links) Speler 21 werd getroffen door een gebeurtenis in het spel waarbij hij een actieve vector werd van de overdracht van ziekteverwekkers, die elke tegel die hij passeerde infecteerde. (Rechts) Speler 28 gebruikte alle beheeroplossingen en creëerde verschillende combinaties van de beschikbare bronnen.
Spelers leren door middel van trivia iedere keer dat ze een ziekteverwekker tegenkomen of een speciaal item ontgrendelen.
Dankzij de gerandomiseerde aanpak kunnen spelers ook ingebedde quizzen beantwoorden om hun kennis te testen en middelen te winnen om de plaag te stoppen.
Bijhouden hoe spelers denken
Ik nodigde 35 universitaire studenten uit 18 landen uit om het spel te spelen. Sommigen waren collega's in plattelandsontwikkeling; anderen waren studenten bosbouw en milieukunde uit Duitsland, Slowakije en Nederland. Elke beweging, quizprestatie en managementbeslissing werd vastgelegd, waardoor een live dataset ontstond van hoe de spelers onder druk presteerden. Sterker nog, mijn resultaten lieten verschillende denkpatronen zien.
“Sommige spelers ontpopten zich tot economische denkers, die prioriteit gaven aan acties die hulpbronnen efficiënt beheren. Anderen werden milieubewuste strategen die zich richtten op het behandelen van zoveel mogelijk bomen. Een derde groep neigde naar sociaal gedreven oplossingen, waarbij samenwerking de strategie was om zowel meer spelbeloningen te verdienen als verdere besmetting te voorkomen.”
Een voorbeeldoplossing van een speler op level 1, waarbij calciummeststof veelvuldig werd gebruikt om de aanhoudende plaag te bestrijden. In Spanje zijn calciummeststoffen de meest voorkomende oplossing tegen de ziekteverwekker vanwege hun kosteneffectieve karakter. Als economisch gedreven strateeg zette de speler alle middelen in om de plaag onmiddellijk te stoppen en zoveel mogelijk bomen te redden.
In-game management bleek de sterkste drijfveer voor leren binnen de game. Dit verwijst naar hoe spelers gebruikmaken van managementmiddelen zoals kalkmeststof, hekken en Trichoderma spp., een biologische oplossing om de ziekteverwekker te bestrijden. Gegevens toonden aan dat wanneer spelers middelen gebruiken, ze waarschijnlijk hun vermogen om de situatie te analyseren, de opgedane kennis toe te passen en beslissingen te evalueren, aanscherpen. Deze bevinding is cruciaal. Het bewijst dat ervaringsgericht spelen de analytische mindset kan stimuleren die nodig is om complexe problemen op te lossen. Deze vaardigheden zijn hetzelfde soort strategisch denkvermogen dat echte boeren en beleidsmakers nodig hebben bij het omgaan met duurzaamheidscrises.
Van de wortels van ziekten tot pijlers van duurzaamheid
Na de game reflecteerden de leerlingen op hun ervaringen met behulp van het Cognitive Sustainability Compass, een raamwerk dat leerresultaten koppelt aan de drie pijlers van duurzaamheid: milieu, maatschappij en economie.
De meesten begonnen de game met een focus op de biologische bedreiging: de ziekteverwekker, de bomen, de bodem. Maar toen ze erover nadachten, veranderde hun aandacht. Velen schreven over de boeren, het verlies van inkomsten op het platteland en het culturele belang van het dehesa-landschap. Anderen koppelden ziektebeheer aan de ethiek van landgebruik en klimaatadaptatie.
Wat eruit kwam was krachtig: een leerproces dat veel verder reikte dan het scherm. Leerlingen koppelden ecologisch inzicht aan sociale empathie en economische prognose – het soort denken dat duurzaamheidsonderwijs nastreeft, maar zelden bereikt.
We hebben een punt bereikt waarop we de wedstrijd verliezen door apart te spelen. Dus ik begrijp dat als we strategieën combineren en gezamenlijk problemen oplossen in plaats van concurrenten te zijn, we kunnen winnen. Uiteindelijk zijn we teamgenoten geworden.
Enkele voorbeelden van de uitkomsten van het eigen Cognitieve Duurzaamheidskompas van de spelers.
Wat begon als een afstudeerproject, zou nu kunnen uitgroeien tot een hulpmiddel voor bosbouwscholen, landbouwtrainingen en zelfs beleidsworkshops. Omdat het digitaal is, kan Silent Spread zich gemakkelijk verspreiden – van universiteitslokalen tot landbouwcoöperaties, van Spanje tot elke regio die te maken heeft met ecologische achteruitgang.
Phytophthora cinnamomi verspreidt zich misschien stilletjes, maar onze reactie hoeft dat niet te zijn. Door wetenschap om te zetten in spel, maken we het onzichtbare zichtbaar – en stellen we de volgende generatie in staat om te beschermen wat ons allen wortelt.
Bibliografie
Abt, C. C. (1987). Serious games. University press of America.
Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom's taxonomy of educational objectives. Longman.
Albrecht, A., & Kandji, S. T. (2003). Carbon sequestration in tropical agroforestry systems. Agriculture, ecosystems & environment, 99(1-3), 15-27.
Alhazmi, A. K., & Rahman, A. A. (2012, October). Why LMS failed to support student learning in higher education
institutions. In 2012 IEEE Symposium on e-learning, e-management and e-services (pp. 1-5). IEEE.
Altomari, L., Altomari, N., & Iazzolino, G. (2023). Gamification and soft skills assessment in the development of a serious game: design and feasibility pilot study. JMIR serious games, 11(1), e45436.
Axelrod, R. (1980). Effective choice in the prisoner's dilemma. Journal of conflict resolution, 24(1), 3-25.
Baranowski, T., Baranowski, J., Thompson, D., Buday, R., Jago, R., Griffith, M. J., ... & Watson, K. B. (2011). Video game play, child diet, and physical activity behavior change: A randomized clinical trial. American journal of preventive medicine, 40(1), 33-38.
Baker, E. L. & Mayer, R. E. (1999) Computer-based assessment of problem solving, Computers in Human Behavior, 15, 269–282.
Batson, A., & Coleman, M. (2008). CALEDON: Making a game of forest pathology to increase awareness of tree diseases, pests, and production. The Plant Health Instructor. https://doi.org/10.1094/PHI-T-2018-0814-01
Beale, I. L., Kato, P. M., Marin-Bowling, V. M., Guthrie, N., & Cole, S. W. (2007). Improvement in cancer-related knowledge following use of a psychoeducational video game for adolescents and young adults with cancer. Journal of Adolescent Health, 41(3), 263-270.
Bloom, B. S., Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Handbook I: cognitive domain. New York: David McKay, 483-498.
Bolton, G. E., & Ockenfels, A. (2000). ERC: A theory of equity, reciprocity, and competition. American economic review, 91(1), 166-193.
Boulestreau, Y., Casagrande, M., & Navarrete, M. (2023). A method to design coupled innovations for the agroecological transition. Implementation for soil health management in Provencal sheltered vegetable systems. Agricultural Systems, 212, 103752.
Boyd, R., Richerson, P. J., & Henrich, J. (2011). The cultural niche: Why social learning is essential for human adaptation. Proceedings of the National Academy of Sciences, 108(supplement_2), 10918-10925.
Boyle, E., Connolly, T. M., & Hainey, T. (2011). The role of psychology in understanding the impact of computer games. Entertainment computing, 2(2), 69-74.
Boyle, E. A., Hainey, T., Connolly, T. M., Gray, G., Earp, J., Ott, M., ... & Pereira, J. (2016). An update to the systematic literature review of empirical evidence of the impacts and outcomes of computer games and serious games. Computers & Education, 94, 178-192.
Buchanan, L., Wolanczyk, F., & Zinghini, F. (2011). Blending bloom's taxonomy and serious game design. In Proceedings of the International Conference on Security and Management (SAM) (p. 1). The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (WorldComp).
Byun, J., & Loh, C. S. (2015). Audial engagement: Effects of game sound on learner engagement in digital game-based learning environments. Computers in Human Behavior, 46, 129-138.
Calsamiglia, S., Espinosa, G., Vera, G., Ferret, A., & Castillejos, L. (2020). A virtual dairy herd as a tool to teach dairy production and management. Journal of dairy science, 103(3), 2896-2905.
Cardillo, E., Abad, E., & Meyer, S. (2020). Spatio-temporal analysis at landscape scale of the Iberian oak decline epidemic caused by Phytophthora cinnamomi. bioRxiv, 2020-03.
Carroll, J. M. (1997). Human–computer interaction: Psychology as a science of design. International journal of human-computer studies, 46(4), 501-522.
Cheung, G. W., Cooper-Thomas, H. D., Lau, R. S., & Wang, L. C. (2024). Reporting reliability, convergent and discriminant validity with structural equation modeling: A review and best-practice recommendations. Asia pacific journal of management, 41(2), 745-783.
Cheng, M. T., Chen, J. H., Chu, S. J., & Chen, S. Y. (2015). The use of serious games in science education: a review of selected empirical research from 2002 to 2013. Journal of computers in education, 2(3), 353-375.
Cardillo, E., Abad, E., & Meyer, S. (2021). Iberian oak decline caused by Phytophthora cinnamomi: A spatiotemporal analysis incorporating the effect of host heterogeneities at landscape scale. Forest Pathology, 51(2), e12667.
Coleman, M. (2017). Online game changer for tree health.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum.
Connolly, T. M., Boyle, E. A., MacArthur, E., Hainey, T., & Boyle, J. M. (2012). A systematic literature review of empirical evidence on computer games and serious games. Computers & education, 59(2), 661-686.
Cosme Jr, L., Turchen, L. M., & Guedes, R. N. C. (2020). Insect world: game-based learning as a strategy for teaching entomology. The American Biology Teacher, 82(4), 210-215.
Czaika, E., & Selin, N. E. (2017). Model use in sustainability policy making: An experimental study. Environmental Modelling & Software, 98, 54-62.
Drachen, A., Seif El-Nasr, M., & Canossa, A. (2013). Game analytics–the basics. In Game analytics: Maximizing the value of player data (pp. 13-40). London: Springer London.
Esposito Vinzi, V., & Russolillo, G. (2013). Partial least squares algorithms and methods. Wiley Interdisciplinary Reviews: Computational Statistics, 5(1), 1-19.
de la Vega, G. J., Falconaro, A. C., Soria, L., & Corley, J. C. (2022). Integrated pest management education: a video-game to improve management of Drosophila suzukii, soft-skin fruit pest. Neotropical Entomology, 51(5), 801-807.
De Graeuwe D'Aoust, M., Dumont, B., & Maréchal, K. (2024). Quantifying agroecology learning with the SErious Game for AgroEcology (SEGAE) in a 4-hour lesson. In 15th IFSA conference.
Den Haan, R. J., & Van der Voort, M. C. (2018). On evaluating social learning outcomes of serious games to collaboratively address sustainability problems: A literature review. Sustainability, 10(12), 4529.
Dernat, S., Vollet, D., Cayre, P., Dumont, B., & Rigolot, C. (2019, June). Accompanying the collective construction of a plan for the future. The case of a collaborative and territorialized process for the actors of the PDO cheese ‘Fourme de Montbrison’(Loire, France). In Agricultural Education and Extension Tuned on Innovation for Sustainability. Experiences and perspectives, Proceedings of the 24th European Seminar on Extension and Education (pp. 18-21).
Dernat, S., Grillot, M., Andreotti, F., & Martel, G. (2025). A sustainable game changer? Systematic review of serious games used for agriculture and research agenda. Agricultural Systems , 222 , 104178.
de Rosa, F., & De Gloria, A. (2021). Design methodology of analytical games for knowledge acquisition. International Journal of Serious Games, 8(4), 3-23.
Deterding, S., Dixon, D., Khaled, R., & Nacke, L. (2011). From game design elements to gamefulness: Defining “gamification”. In Proceedings of the 15th International Academic MindTrek Conference: Envisioning Future Media Environments (pp. 9–15). ACM. https://doi.org/10.1145/2181037.2181040
Dieterle, E., Dede, C., & Schrier, K. (2007). " Neomillennial" Learning Styles Propagated by Wireless Handheld Devices. In Ubiquitous and pervasive knowledge and learning management: Semantics, social networking and new media to their full potential (pp. 35-66). IGI Global Scientific Publishing.
Driscoll, M. P. (1994). Psychology of learning for instruction. Allyn & Bacon.
Docherty, C. W. (2020). Scoping the Potential Use of Serious Games for Public Engagement with Tree and Plant Health.
Dourmad, J. Y., Adji, K., Boulestreau-Boulay, A. L., Emeraud, L., & Espagnol, S. (2013, August). A 3D-serious game for teaching the environmental sustainability of pig farming systems. In 64. Annual Meeting of the European Federation of Animal Science (EAAP) (Vol. 19, pp. 660-p). Wageningen Academic Publishers.
Dunstan, W. A., Rudman, T., Shearer, B. L., Moore, N. A., Paap, T., Calver, M. C., ... & Hardy, G. E. S. J. (2010). Containment and spot eradication of a highly destructive, invasive plant pathogen (Phytophthora cinnamomi) in natural ecosystems. Biological Invasions, 12(4), 913-925.
Duru, M., Therond, O., Martin, G., Martin-Clouaire, R., Magne, M. A., Justes, E., ... & Sarthou, J. P. (2015). How to implement biodiversity-based agriculture to enhance ecosystem services: a review. Agronomy for sustainable development, 35, 1259-1281.
Espinosa-Curiel, I. E., & de Alba-Chávez, C. A. G. (2024). Serious video games for agricultural learning: scoping review. IEEE Transactions on Learning Technologies, 17, 1155-1169.
Esposito Vinzi, V., & Russolillo, G. (2013). Partial least squares algorithms and methods. Wiley Interdisciplinary Reviews: Computational Statistics, 5(1), 1-19.
Faber, T. J. E., Dankbaar, M. E. W., van den Broek, W., & Bruinink, L. (2024). Effects of adaptive scaffolding on performance, cognitive load and engagement in game‑based learning: A randomized controlled trial. BMC Medical Education, 24(1), Article 5698. https://doi.org/10.1186/s12909-024-05698-3
Francis, C. A., Lieblein, G., Breland, T. A., Salomonsson, L., Geber, U., Sriskandarajah, N., & Langer, V. (2008). Transdisciplinary research for a sustainable agriculture and food sector. Agronomy Journal, 100(3), 771-776.
Francis, C. A., Jordan, N., Porter, P., Breland, T. A., Lieblein, G., Salomonsson, L., ... & Langer, V. (2011). Innovative education in agroecology: Experiential learning for a sustainable agriculture. Critical Reviews in Plant Sciences, 30(1-2), 226-237.
Foppe, S., & von Wehrden, H. (2025). A leverage point perspective on serious games for sustainability transformation: a systematic literature review. Sustainability Science, 20(1), 269-286.
Gabay, M., & Rekola, M. (2019). Forests, peaceful and inclusive societies, reduced inequality, education, and inclusive institutions at all levels: Background study prepared for the fourteenth session of the United Nations Forum on Forests.
Garrity, D. P. (2004). Agroforestry and the achievement of the Millennium Development Goals. Agroforestry systems, 61, 5-17.
Gee, J. P. (2005). Learning by design: Good video games as learning machines. E-learning and Digital Media, 2(1), 5-16.
Gee, J. P. (2003). What video games have to teach us about learning and literacy. Computers in entertainment (CIE), 1(1), 20-20.
Gil-Pelegrín, E., Peguero-Pina, J. J., & Sancho-Knapik, D. (Eds.). (2017). Oaks physiological ecology: Exploring the functional diversity of genus Quercus L. Cham: Springer International Publishing. Retrieved from http://link.springer.com/10.1007/978-3-319-69099-5 (Accessed April 12, 2025).
Goodison, T. (2001). The implementation of e-learning in uk higher education. In EdMedia+ Innovate Learning (pp. 613-618). Association for the Advancement of Computing in Education (AACE).
Gros, B. (2007). Digital games in education: The design of games-based learning environments. Journal of research on technology in education, 40(1), 23-38.
Guest, G., MacQueen, K. M., & Namey, E. E. (2011). Applied thematic analysis. sage publications.
Guillén-Nieto, V., & Aleson-Carbonell, M. (2012). Serious games and learning effectiveness: The case of It’sa Deal!. Computers & Education, 58(1), 435-448.
Hair, J. F., Hult, G. T. M., Ringle, C. M., & Sarstedt, M. (2021). A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM) (3rd ed.). Sage Publications.
Hair Jr, J. F., Howard, M. C., & Nitzl, C. (2020). Assessing measurement model quality in PLS-SEM using confirmatory composite analysis. Journal of business research, 109, 101-110.
Hair, J., & Alamer, A. (2022). Partial Least Squares Structural Equation Modeling (PLS-SEM) in second language and education research: Guidelines using an applied example. Research Methods in Applied Linguistics, 1(3), 100027.
Hair, J. F., Hult, G. T. M., Ringle, C. M., & Sarstedt, M. (2022). A primer on partial least squares structural equation modeling (PLS-SEM) (3rd ed.). SAGE Publications.
Hämäläinen, R. (2011). Using a game environment to foster collaborative learning: a design‐based study. Technology, Pedagogy and Education, 20(1), 61-78.
Hardham, A. R. (2005). Phytophthora cinnamomi. Molecular plant pathology, 6(6), 589-604.
Hardham, A. R., & Blackman, L. M. (2018). Phytophthora cinnamomi. Molecular plant pathology, 19(2), 260-285.
Helmberger, M. S., Lampasona, T. P., Lorenz, A. R., & Grieshop, M. J. (2022). Pest Quest: A Game of Strategy, Uncertainty, and Sticky Traps. Journal of Integrated Pest Management, 13(1), 23.
Hernandez-Aguilera, J. N., Mauerman, M., Herrera, A., Vasilaky, K., Baethgen, W., Loboguerrero, A. M., ... & Osgood, D. (2020). Games and fieldwork in agriculture: A systematic review of the 21st century in economics and social science. Games, 11(4), 47.
Hopwood, B., Mellor, M., & O'Brien, G. (2005). Sustainable development: mapping different approaches. Sustainable development, 13(1), 38-52.
Hong, J. C., Hwang, M. Y., Tai, K. H., & Lin, P. H. (2021). The effects of intrinsic cognitive load and gameplay interest on flow experience reflecting performance progress in a Chinese remote association game. Computer Assisted Language Learning, 34(3), 358-378.
Isnanda, R. G., Santosa, P. I., & Hartanto, R. (2023). The Effects of Surprising Events on Promoting Social Change in Unwinnable Persuasive Games. International Journal of Serious Games, 10(1), 3-17.
Jouan, J., De Graeuwe, M., Carof, M., Baccar, R., Bareille, N., Bastian, S., ... & Godinot, O. (2020). Learning interdisciplinarity and systems approaches in agroecology: experience with the serious game SEGAE. Sustainability, 12(11), 4351.
Jose, S. (2009). Agroforestry for ecosystem services and environmental benefits: an overview (pp. 1-10). Springer, Dordrecht.
Khaldi, A., Bouzidi, R., & Nader, F. (2023). Gamification of e-learning in higher education: a systematic literature review. Smart Learning Environments, 10(1), 10.
Khelifa, R., & Mahdjoub, H. (2021). EcoDragons: a game for environmental education and public outreach. Insects, 12(9), 776.
Kirkpatrick, D. L. (1994) Evaluating training programs: the four levels (San Francisco, CA, Berrett Koehler).
Klerkx, L., & Rose, D. (2020). Dealing with the game-changing technologies of Agriculture 4.0: How do we manage diversity and responsibility in food system transition pathways?. Global Food Security, 24, 100347.
Jouan, J., Carof, M., Baccar, R., Bareille, N., Bastian, S., Brogna, D., ... & Godinot, O. (2021). SEGAE: An online serious game to learn agroecology. Agricultural Systems, 191, 103145.
Liu, B., Wu, Y., Xing, W., Cheng, G., & Guo, S. (2022). Exploring behavioural differences between certificate achievers and explorers in MOOCs. Asia Pacific Journal of Education, 42(4), 802-814.
Lumivero. (2023). NVivo (Version 14) [Computer software]. https://lumivero.com/products/nvivo/
Maharaj, S., & Greene, P. (2015). Gamification within plant health in the Forestry Commission.
Maniar, N. (2007, June). M-learning to teach university students. In EdMedia+ Innovate Learning (pp. 881-887). Association for the Advancement of Computing in Education (AACE).
Marley, S. C., & Levin, J. R. (2011). When are prescriptive statements in educational research justified?. Educational Psychology Review, 23(2), 197-206.
Memon, M. A., Ramayah, T., Cheah, J. H., Ting, H., Chuah, F., & Cham, T. H. (2021). PLS-SEM statistical programs: a review. Journal of Applied Structural Equation Modeling, 5(1), 1-14.
Berg Marklund, B., Engström, H., Hellkvist, M., & Backlund, P. (2019). What empirically based research tells us about game development. The Computer Games Journal, 8(3), 179-198.
Martin, L., & Martin, W. (2015). Modifying an information literacy game for outreach events. Reference services review, 43(4), 643-655.
Marsh, T. (2010). Activity-based scenario design, development and assessment in serious games. In Gaming and cognition: Theories and practice from the learning sciences (pp. 213-226). IGI Global.
Marzano, M., Dandy, N., Bayliss, H. R., Porth, E., & Potter, C. (2017). Part of the solution? Stakeholder awareness, information and engagement in tree health issues. Biological Invasions, 19(11), 3307–3321. https://doi.org/10.1007/s10530-017-1412-7
Mayer, R. E. (Ed.). (2005). The Cambridge handbook of multimedia learning. Cambridge university press.
Marley, S. C., & Levin, J. R. (2011). When are prescriptive statements in educational research justified?. Educational Psychology Review, 23(2), 197-206.
Memon, M. A., Ramayah, T., Cheah, J. H., Ting, H., Chuah, F., & Cham, T. H. (2021). PLS-SEM statistical programs: a review. Journal of Applied Structural Equation Modeling, 5(1), 1-14.
Mbow, C., Smith, P., Skole, D., Duguma, L., & Bustamante, M. (2014). Achieving mitigation and adaptation to climate change through sustainable agroforestry practices in Africa. Current opinion in Environmental sustainability, 6, 8-14.
Merrill, S. C., Koliba, C. J., Moegenburg, S. M., Zia, A., Parker, J., Sellnow, T., ... & Smith, J. M. (2019). Decision-making in livestock biosecurity practices amidst environmental and social uncertainty: evidence from an experimental game. PloS one, 14(4), e0214500.
Michael, D., & Chen, S. (2006). Serious games: Games that educate, train, and inform. Thomson Course Technology.
Moreno, G., & Pulido, F. J. (2008). The functioning, management and persistence of dehesas. In A. Rigueiro-Rodríguez, J. McAdam, & M. R. Mosquera-Losada (Eds.), Agroforestry in Europe (pp. 127–160). Dordrecht: Springer Netherlands. Retrieved from http://link.springer.com/10.1007/978-1-4020-8272-6_7 (Accessed April 12, 2025).
Morgan, C. B., Merrill, S. C., Clark, E. M., Wolfson, J. A., & Trubek, A. B. (2024). A serious games methodology to test solutions for regional food systems inequities. Journal of Rural Studies, 110, 103366.
Mosquera-Losada, M. R., Santiago-Freijanes, J. J., Rois-DíAz, M., Moreno, G., den Herder, M., Aldrey-Vázquez, J. A., ... & Rigueiro-Rodríguez, A. (2018). Agroforestry in Europe: A land management policy tool to combat climate change. Land use policy, 78, 603-613.
Myers, N., Mittermeier, R. A., Mittermeier, C. G., Da Fonseca, G. A., & Kent, J. (2000). Biodiversity hotspots for conservation priorities. Nature, 403(6772), 853-858.
Nair, P. R., Kumar, B. M., Nair, V. D., Nair, P. R., Kumar, B. M., & Nair, V. D. (2021). Definition and concepts of agroforestry. An introduction to agroforestry: Four decades of scientific developments, 21-28.
Neuendorf, K. A. (2018). Content analysis and thematic analysis. In Advanced research methods for applied psychology (pp. 211-223). Routledge.
Neuendorf, K. A. (2018). Content analysis and thematic analysis. In Advanced research methods for applied psychology (pp. 211-223). Routledge.
Obikwelu, C., & Read, J. C. (2012). The serious game constructivist framework for children's learning. Procedia Computer Science, 15, 32-37.
O'Neil, H. F., Wainess, R., & Baker, E. L. (2005). Classification of learning outcomes: Evidence from the computer games literature. The Cirriculum Journal, 16(4), 455-474.
Ouariachi, T., Olvera-Lobo, M. D., & Gutiérrez-Pérez, J. (2019). Serious games and sustainability. In Encyclopedia of Sustainability in Higher Education (pp. 1-10). Springer, Cham.
Park, E., Cho, M., & Ki, C. S. (2009). Correct use of repeated measures analysis of variance. The Korean journal of laboratory medicine, 29(1), 1-9.
Prada, U. G., Hernández, M. O., & Ibañez, J. S. (2020). Systems dynamics and serious video games in an appropriation strategy of a decision support system for small livestock farmers.
Plass, J. L., Homer, B. D., & Kinzer, C. K. (2015). Foundations of game-based learning. Educational psychologist, 50(4), 258-283.
Radziszewski, K., Weichbroth, P., & Anacka, H. (2021). Greencoin: A proenvironmental action-reward system.
Ravyse, W. S., Seugnet Blignaut, A., Leendertz, V., & Woolner, A. (2017). Success factors for serious games to enhance learning: a systematic review. Virtual Reality, 21(1), 31-58.
Reed, M. S., Evely, A. C., Cundill, G., Fazey, I., Glass, J., Laing, A., ... & Stringer, L. C. (2010). What is social learning?. Ecology and society, 15(4).
Ringle, C. M., Sarstedt, M., Mitchell, R., & Gudergan, S. P. (2023). SmartPLS 4. SmartPLS GmbH, http://www.smartpls.com
Robin, C., Smith, I., & Hansen, E. M. (2012). Phytophthora cinnamomi: Species profile. Forest Phytophthoras, 2(1). https://doi.org/10.5399/osu/fp.2.1.3041
Rouault, A., Perrin, A., Renaud-Gentié, C., Julien, S., & Jourjon, F. (2020). Using LCA in a participatory eco-design approach in agriculture: the example of vineyard management. The International Journal of Life Cycle Assessment, 25, 1368-1383.
Rodríguez-Piñeros, S., Walji, K., Rekola, M., Owuor, J. A., Lehto, A., Tutu, S. A., & Giessen, L. (2020). Innovations in forest education: Insights from the best practices global competition. Forest Policy and Economics, 118, 102260.
Rudebjer, P. G., Taylor, P., & Del Castillo, R. A. (2001). A guide to learning agroforestry. Training and Education Report, (51).
Ruta, M., Scioscia, F., Colucci, S., Di Sciascio, E., Di Noia, T., & Pinto, A. (2010). A knowledge-based framework for e-learning in heterogeneous pervasive environments. In Multiplatform e-learning systems and technologies: Mobile devices for ubiquitous ICT-based education (pp. 20-41). IGI Global.
Sales-Baptista, E., d’Abreu, M. C., & Ferraz-de-Oliveira, M. I. (2016). Overgrazing in the Montado? The need for monitoring grazing pressure at paddock scale. Agroforestry Systems, 90, 57–68. https://doi.org/10.1007/s10457-015-9826-1
Salvini, G., Van Paassen, A., Ligtenberg, A., Carrero, G. C., & Bregt, A. K. (2016). A role-playing game as a tool to facilitate social learning and collective action towards Climate Smart Agriculture: Lessons learned from Apuí, Brazil. Environmental science & policy, 63, 113-121.
Sarin, R., & Wieland, A. (2016). Risk aversion for decisions under uncertainty: Are there gender differences?. Journal of Behavioral and Experimental Economics, 60, 1-8.
Scanu, B., Linaldeddu, B. T., Deidda, A., & Jung, T. (2015). Diversity of Phytophthora species from declining Mediterranean maquis vegetation, including two new species, Phytophthora crassamura and P. ornamentata sp. nov. PLoS One, 10(12), e0143234.
Sajeva, M., Kotta, J., Valonen, M., Korhonen, O., Kinnunen, P., Aalto, L., ... & Horne, P. (2024). Implementation of the Sustainability Compass: A Bottom-Up Social Learning Approach in Initial Pilot Studies. Sustainability, 16(10), 4271.
ScienceDirect. (n.d.). Game development. In Computer Science Topics. Elsevier. Retrieved August 15, 2025, from https://www.sciencedirect.com/topics/computer-science/game-development
Shute, V. J., & Ventura, M. (2013). Measuring and supporting learning in games: Stealth assessment. MIT Press. https://doi.org/10.7551/mitpress/9589.001.0001.
Schoeneberger, M., Bentrup, G., De Gooijer, H., Soolanayakanahally, R., Sauer, T., Brandle, J., ... & Current, D. (2012). Branching out: Agroforestry as a climate change mitigation and adaptation tool for agriculture. Journal of Soil and Water Conservation, 67(5), 128A-136A.
Senado. (2010). Ponencia de estudio sobre la protección del ecosistema de la dehesa (Report No. 543/000009, p. 26). Senado.
Serrazina, S., Santos, C., Machado, H., Pesquita, C., Vicentini, R., Pais, M. S., ... & Costa, R. (2015). Castanea root transcriptome in response to Phytophthora cinnamomi challenge. Tree genetics & genomes, 11, 1-19.
Sitzmann, T. (2011). A meta‐analytic examination of the instructional effectiveness of computer‐based simulation games. Personnel Psychology, 64(2), 489–528. https://doi.org/10.1111/j.1744-6570.2011.01190.x
Stanitsas, M., Kirytopoulos, K., & Vareilles, E. (2019). Facilitating sustainability transition through serious games: A systematic literature review. Journal of cleaner production, 208, 924-936.
Sukajaya, N., Purnama, K. E., & Purnomo, M. H. (2015). Intelligent Classification of Learner's Cognitive Domain using Bayes Net, Naïve Bayes, and J48 Utilizing Bloom's Taxonomy-based Serious Game. International Journal of Emerging Technologies in Learning (Online), 10(2), 46.
Susi, T., Johannesson, M., & Backlund, P. (2007). Serious games: An overview.
Stemler, S. E. (2004). A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability. Practical Assessment, Research, and Evaluation, 9(1).
Teichmann, M., Ullrich, A., Knost, D., & Gronau, N. (2020). Serious games in learning factories: perpetuating knowledge in learning loops by game-based learning. Procedia Manufacturing, 45, 259-264.
Ullah, M., Amin, S. U., Munsif, M., Yamin, M. M., Safaev, U., Khan, H., ... & Ullah, H. (2022). Serious games in science education: a systematic literature. Virtual Reality & Intelligent Hardware, 4(3), 189-209.
Vicente-Serrano, S. M., Beguería, S., Lorenzo-Lacruz, J., Camarero, J. J., López-Moreno, J. I., Azorin-Molina, C., ... & Sanchez-Lorenzo, A. (2012). Performance of drought indices for ecological, agricultural, and hydrological applications. Earth Interactions, 16(10), 1-27.
Waeber, P. O., Melnykovych, M., Riegel, E., Chongong, L. V., Lloren, R., Raher, J., ... & Garcia, C. A. (2023). Fostering innovation, transition, and the reconstruction of forestry: critical thinking and transdisciplinarity in forest education with strategy games. Forests, 14(8), 1646.
Weber, R. P. (1990). Basic content analysis (Vol. 49). Sage.
Weste, G. (2003) The dieback cycle in Victorian forests: a 30-year study of changes caused by Phytophthora cinnamomi in Victorian open forests, woodlands and heathlands. Aust. Plant Pathol. 32, 247–256.
Wong, Y. L., Bothma, T. J. D., & Smith, A. E. (2024). Effects of meaningful choices in serious games for meaningful learning.
Wollman, L. F. (2012). Research paradigms. Retrieved from. https://www.chds.us/coursefiles/research/lectures/research_paradigms/script.pdf
Wong, L. P. (2008). Data analysis in qualitative research: A brief guide to using NVivo. Malaysian family physician: the official journal of the Academy of Family Physicians of Malaysia, 3(1), 14.
Wouters, P., van Nimwegen, C., van Oostendorp, H., & van der Spek, E. D. (2013). A meta-analysis of the cognitive and motivational effects of serious games. Journal of Educational Psychology, 105(2), 249–265. https://doi.org/10.1037/a0031311
Villarraga-Flórez, L. F., Rodríguez-Piñeros, S., & Martínez-Cortés, O. G. (2015). Social science in forestry curricula: A case study of Colombia forestry programs. Sustainability, 8(1), 36.
Vogel, J. J., Vogel, D. S., Cannon-Bowers, J., Bowers, C. A., Muse, K., & Wright, M. (2006). Computer gaming and interactive simulations for learning: A meta-analysis. Journal of educational computing research, 34(3), 229-243.
Yusoffa, A., & Shafirilb, S. (2019). The development of “forest ranger” as a 2D serious game application to increase awareness against illegal logging. Development, 6(2).
Zentmyer, G.A. and Mircetich, S.M. (1966) Saprophytism and persistence in soil by Phytophthora cinnamomi. Phytopathology, 56, 7
Zhao, X., Lynch, J. G., Jr., & Chen, Q. (2010). Reconsidering Baron and Kenny: Myths and truths about mediation analysis. Journal of Consumer Research, 37(2), 197–206. https://doi.org/10.1086/651257
Zhonggen, Y. (2019). A meta‐analysis of use of serious games in education over a decade. International Journal of Computer Games Technology, 2019(1), 4797032.
