Valsspelen of slimmer spelen met ChatGPT?
Als je de kranten gelooft, is de klassieke bachelor- of masterproef “dood”. Studenten zouden academische schrijftaken met generatieve artificiële intelligentie maken en het evaluatiesysteem bedriegen. Uit een verkennend onderzoek aan de KU Leuven blijkt echter dat zeker niet alle studenten aan het hoger onderwijs ChatGPT gebruiken en sommige studenten er verstandig en kritisch mee omgaan.
Wat gebeurt er eigenlijk als je schrijft?
Schrijven is een vaardigheid waarbij je met de nodige taalbeheersing en een heldere structuur een boodschap probeert over te brengen aan een bepaalde lezer. Psychologische studies bestuderen al sinds de jaren tachtig de mentale stappen tijdens het schrijven van een tekst. Ze zeggen bijvoorbeeld dat plannen, schrijven en nakijken elkaar opvolgen. De technologie verandert dat schrijfproces echter voortdurend. Zo is schrijven met pen en papier anders dan typen op een laptop waar je alles zonder problemen kunt verplaatsen en aanpassen. Generatieve artificiële Intelligentie zoals ChatGPT wijzigt ook weer bepaalde stappen uit het schrijfproces.
Kennen en gebruiken studenten in het hoger onderwijs ChatGPT?
De academische wereld presenteert en evalueert inzichten schriftelijk in een register met eigen stijlkenmerken. Het academisch taalgebruik is voor beginnende studenten best moeilijk om onder de knie te krijgen. Dit onderzoek ging daarom na of eerstejaarsstudenten en ouderejaarsstudenten anders omgaan met ChatGPT in academische schrijfopdrachten.
Een anonieme enquête uit het voorjaar van 2024 peilde naar de ervaring en mening van 258 studenten humane wetenschappen aan de KU Leuven. Een kleinschalige individuele schrijfopdracht met think-aloud protocols gaf een verdiepend inzicht. Vier eerstejaars en zeven ouderejaars schreven een korte tekst met ChatGPT en formuleerden hun gedachten tijdens het schrijfproces luidop.
Wat doen studenten aan de KU Leuven met ChatGPT?
De resultaten van de anonieme enquête tonen aan dat de grote meerderheid bekend is met ChatGPT en ongeveer 60% de tool inzet in academische schrijfopdrachten. Opvallend is dat procentueel gezien bijna de helft (46%) van de eerstejaarsstudenten er nooit gebruik van maakt terwijl dit bij de ouderejaars slechts 25% van de groep bedraagt.
Zij die het wel gebruiken, doen dat vooral tijdens de voorbereidende fase om te brainstormen en concepten te verduidelijken. Ook tijdens de schrijf- en nakijkfase laten ze zelfgeschreven zinnen grammaticaal verbeteren, academischer herformuleren en verrijken. Ze zoeken er synoniemen mee op, stellen er grammaticale vragen aan en laten openingszinnen genereren om op gang te komen. Als ze gegenereerde zinnen overnemen, passen ze stappen toe die niet in het vroegere schrijfmodel passen. Ze kijken nu immers inhoud na die ze niet zelf gepland of geschreven hebben.
Hoe vaak studenten hulp vragen aan ChatGPT, verschilt individueel en lijkt niet samen te hangen met academische ervaring. Sommige studenten formuleren vage instructies, krijgen niet het gewenste resultaat en besluiten de opdracht dan maar zonder ChatGPT uit te voeren. Een bepaalde deelnemer neemt dan weer bijna heel de tekst zomaar over van ChatGPT omdat die er tevreden mee is. Deze studenten missen bepaalde vaardigheden om het potentieel van AI op verstandige manier te benutten.
Andere studenten kennen hun zwaktes wel goed en vragen bijvoorbeeld aan ChatGPT om hun tekst na te kijken op dt- en lidwoordfouten. Ook tonen enkele deelnemers in de schrijfopdracht dat ze kritisch blijven nadenken.
Dat zou ik nooit schrijven in een paper dus dat ga ik ook niet overnemen (een student).
Ze gebruiken hun kennis over academische schrijfvaardigheid om de output te beoordelen, laten herhalingen weg, en bestempelen bepaalde zinnen van ChatGPT als te ver afwijkend van hun eigen schrijfstijl. Dit zijn duidelijk ervaren schrijvers die ChatGPT inzetten om nog efficiënter te werk te gaan.
Wat denken studenten aan de KU Leuven over ChatGPT?
De enquête toont aan dat ongeveer 40% van de studenten geen generatieve AI gebruikt voor academische schrijfopdrachten. Ze zijn bang om plagiaat of fraude te plegen, vinden van zichzelf dat ze beter kunnen schrijven zonder, kennen het niet genoeg om ermee aan de slag te gaan of hebben een slechte ervaring opgelopen.
De meeste deelnemers vinden ChatGPT wel een handig hulpmiddel maar zijn ook kritisch over de betrouwbaarheid. Het gebrek aan bronvermelding en de angst om de regels te doorbreken houdt hen tegen. De ouderejaars zien meestal iets meer voordelen dan de eerstejaars maar zijn bezorgd dat ze minder bijleren. Bovendien zijn de universitaire richtlijnen over AI minder duidelijk voor ouderejaars dan voor eerstejaars.
Hoe gaan we nu verder?
Het hoger onderwijs moet betere richtlijnen verspreiden over het toegestaan gebruik van AI en moet studenten aanleren hoe ze er verstandig mee om kunnen gaan. Instructies aan ChatGPT formuleren en de output daarvan interpreteren, is voor sommige studenten moeilijk. Schrijfervaring blijft dus voorlopig nog essentieel om een opdracht tot een goed einde te brengen, zelfs als ChatGPT in het spel is.
Bibliografie
Allen, L. K., Jacovina, M. E., & McNamara, D. S. (2016). Computer-Based Writing Instruction. In C. A. McArthur, S. Graham, & J. Fitzgerakd (Red.), Handbook of writing research (second edition, pp. 316- 329). The Guilford Press.
Anghelescu, A., Ciobanu, I., Munteanu, C., Anghelescu, L. A. M., & Onose, G. (2023). ChatGPT: ‘To be or not to be’ ... in academic research. The human mind’s analytical rigor and capacity to discriminate between AI bots’ truths and hallucinations. Balneo and PRM Research Journal, 14(Vol.14, 4), 614. https://doi.org/10.12680/balneo.2023.614
Baarda, B., de Goede, M. P. M., & Kalmijn, M. (2015). Basisboek enquêteren: handleiding voor het maken van een vragenlijst en het voorbereiden en afnemen van enquêtes. (Vierde druk). Noordhoff Uitgevers. Barrot, J. S. (2023).
Using ChatGPT for second language writing: Pitfalls and potentials. Assessing Writing, 57, 100745. https://doi.org/10.1016/j.asw.2023.100745
Beck, S. W., & Levine, S. R. (2023). Backtalk: ChatGPT: A powerful technology tool for writing instruction. Phi Delta Kappan, 105(1), 66-67. https://doi.org/10.1177/00317217231197487
Bereiter, C., & Scardamalia, M. (1987). The psychology of written composition. Erlbaum.
Berckmoes, D., & Rombouts, H. (2009). Intern rapport verkennend onderzoek naar knelpunten taalvaardigheid in het hoger onderwijs. Linguapolis/Universiteit Antwerpen.
Berthelot, A., Caron, E., Jay, M., & Lefèvre, L. (2024). Estimating the environmental impact of Generative-AI services using an LCA-based methodology. Procedia CIRP, 122, 707–712. https://doi.org/10.1016/j.procir.2024.01.098
Bonset, H. (2010). Deel 1. Nederlands in voortgezet en hoger onderwijs: hoe sluit dat aan? Levende Talen Magazine, 3, 16-21.
Cummings, L. (2023). Writing Processes in the Digital Age: A Networked Interpretation. In O. Kruse, C. Rapp, C. M. Anson, K. Benetos, E. Cotos, A. Devitt, & A. Shibani (Red.), Digital Writing Technologies in Higher Education (pp. 485-497). Springer International Publishing. https://doi.org/10.1007/978-3- 031-36033-6_30 64
Day, T. (2023). A Preliminary Investigation of Fake Peer-Reviewed Citations and References Generated by ChatGPT. The Professional Geographer, 75(6), 1024–1027. https://doi.org/10.1080/00330124.2023.2190373
De Bakker, I., Meuffels, B., Muris, M., & Rietstap, E. (2015). Diagnose en remediëring van schrijfvaardigheidsproblemen bij eerstejaarsstudenten Geesteswetenschappen. Tijdschrift voor Taalbeheersing, 37(2), 127-157. https://doi.org/10.5117/TVT2015.2.BAKK
De Wachter, L., & d’Hertefelt, M. (2018). Academic Writing Assistant – Effective and process-oriented writing support. JoSch – Journal der Schreibberatung, 23-32.
De Wachter, L., Fivez, K., & Van Soom, C. (2021). Academisch schrijven: een praktische gids (zevende druk). Acco.
Ding, L., & Zou, D. (2024). Automated writing evaluation systems: A systematic review of Grammarly, Pigai, and Criterion with a perspective on future directions in the age of generative artificial intelligence. Education and Information Technologies. https://doi.org/10.1007/s10639-023-12402-3
Englert, C.S., Mariage, T.V., Dunsmore, K. (2006). Tenets of sociocultural theory in writing instruction research. In C. A. McArthur, S. Graham, & J. Fitzgerald (Red.), Handbook of writing research (first edition, pp. 54-66). The Guilford Press.
Ericsson, K. A., & Simon, H. A. (1996). Protocol analysis: verbal reports as data (Rev. ed., 2nd pr.). MIT press.
Flower, L., & Hayes, J. R. (1981). A Cognitive Process Theory of Writing. College Composition and Communication, 32(4), 365-387. https://doi.org/10.2307/356600
Flower, L., Hayes, J. R., Carey, L., Schriver, K., & Stratman, J. (1986). Detection, Diagnosis, and the Strategies of Revision. College Composition and Communication, 37(1), 16. https://doi.org/10.2307/357381
Goosen, M., & Schoordijk, F. (2017). Basisvaardigheden academisch schrijven (eerste druk, derde oplage). Coutinho.
Graham, S. (2006). Writing. In P. Alexander & P. Winne (Red.), Handbook of educational psychology (pp. 457-477). Erlbaum.
Green, A. (1998). Verbal Protocol Analysis in Language Testing Research: a Handbook. Cambridge University Press.
Hayes, J. R., Flower, L., Schriver, K. A., Stratman, J. F., & Carey, L. (1987). Cognitive processes in revision. In S. Rosenerg (Red.), Advances in Applied Psycholinguistics II: reading, writing and language processes (pp. 176-240). Cambridge University Press.
Hayes, J.R. (1996) A new framework for understanding cognition and affect in writing. In C.M Levy, Ransdell S. (Red.) The science of writing (pp. 1-27). Erlbaum.
Hayes, J. R. (2012). Modeling and Remodeling Writing. Written Communication, 29 (3), 369-388. https://doi.org/10.1177/0741088312451260
Hwang, S. I., Lim, J. S., Lee, R. W., Matsui, Y., Iguchi, T., Hiraki, T., & Ahn, H. (2023). Is ChatGPT a “Fire of Prometheus” for Non-Native English-Speaking Researchers in Academic Writing? Korean Journal of Radiology, 24(10), 952. https://doi.org/10.3348/kjr.2023.0773
Hyland, K. (2009). Academic Discourse: English in a Global Context. Continuum International Publishing Group.
Jacob, S. R., Tata, T., & Warschauer, M. (2023). Emergent AI-assisted discourse: Case study of a second language writer authoring with ChatGPT. ArXiv.Org. https://doi.org/10.48550/arxiv.2310.10903
Karakose, T. (2023). The Utility of ChatGPT in Educational Research—Potential Opportunities and Pitfalls. Educational Process International Journal, 12(2). https://doi.org/10.22521/edupij.2023.122.1
KU Leuven. (2024, 15 februari). Verantwoord gebruik van Generatieve Artificiële Intelligentie. Student aan KU Leuven. Geraadpleegd op 28 mei 2024, van https://www.kuleuven.be/onderwijs/student/onderwijstools/artificiele-in…;
Kulkarni, A., Shivananda, A., Kulkarni, A., & Gudivada, D. (2023). Applied Generative AI for Beginners: Practical Knowledge on Diffusion Models, ChatGPT, and Other LLMs. Apress. https://doi.org/10.1007/978-1-4842-9994-4
Lei, X. (2008). Exploring a sociocultural approach to writing strategy research: Mediated actions in writing activities. Journal of Second Language Writing, 17(4), 217-236. https://doi.org/10.1016/j.jslw.2008.04.001
Lei, X. (2016). Understanding writing strategy use from a sociocultural perspective: The case of skilled and less skilled writers. System, 60, 105-116. https://doi.org/10.1016/j.system.2016.06.006
Levshina, N. (2015). How to do linguistics with R. John Benjamins Publishing Company.
McArthur, C., & Graham, S. (2016). Writing research from a cognitive perspective. In C. A. McArthur, S. Graham, & J. Fitzgerald (Red.), Handbook of writing research (second edition, pp. 24-41). The Guilford Press.
McGowan, A., Gui, Y., Dobbs, M., Shuster, S., Cotter, M., Selloni, A., Goodman, M., Srivastava, A., Cecchi, G. A., & Corcoran, C. M. (2023). ChatGPT and Bard exhibit spontaneous citation fabrication during psychiatry literature search. Psychiatry Research, 326, 115334. https://doi.org/10.1016/j.psychres.2023.115334
OpenAI (2022, november). Introducing ChatGPT. OpenAI Blog. Geraadpleegd 17 januari 2023, van https://openai.com/blog/chatgpt/
Pressley, M., & Afflerbach, P. (1995). Verbal protocols of reading: the nature of constructively responsive reading. Erlbaum.
Prior, P. (2006). A sociocultural theory of writing. In C. A. McArthur, S. Graham, & J. Fitzgerald (Red.), Handbook of writing research (first edition, pp. 54-66). The Guilford Press.
Ray, P. (2023). ChatGPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope. Internet of Things and Cyber-Physical Systems, 3, 121-154. https://doi.org/10.1016/j.iotcps.2023.04.003
Shadiev, R., & Feng, Y. (2023). Using automated corrective feedback tools in language learning: A review study. Interactive Learning Environments, 1-29. https://doi.org/10.1080/10494820.2022.2153145
Snow, C. E. (2010). Academic Language and the Challenge of Reading for Learning About Science. Science, 328(5977), 450-452. https://doi.org/10.1126/science.1182597
Strobl, C., Ailhaud, E., Benetos, K., Devitt, A., Kruse, O., Proske, A., & Rapp, C. (2019). Digital support for academic writing: A review of technologies and pedagogies. Computers & Education, 131, 33-48. https://doi.org/10.1016/j.compedu.2018.12.005
Su, Y., Lin, Y., & Lai, C. (2023). Collaborating with ChatGPT in argumentative writing classrooms. Assessing Writing, 57, 100752. https://doi.org/10.1016/j.asw.2023.100752
Turner, J. (2011). Language in the academy: Cultural reflexivity and intercultural dynamics. Multilingual Matters.
Van De Mieroop, D. (2020). Nederlandse taalkunde III: Taalbeheersingsonderzoek. Acco.
Van den Branden, K. (2010). Taalbeleid in het hoger onderwijs. In Peters, E. & Van Houtven, T. (Eds.), Taalbeleid in het hoger onderwijs: de hype voorbij? (pp. 213-223). Acco.
Vandooren, L. (2022). Studenten en de Schrijfhulp: de juiste klik? [Ongepubliceerde masterproef]. KU Leuven
Van Kalsbeek, A., & Kuiken, F. (2014). Academisch taalgebruik in het Nederlandse wetenschappelijk onderwijs: Stand van zaken en blik op de toekomst. Internationale Neerlandistiek, 52(3), 221-236. https://doi.org/10.5117/IN2014.3.KALS
Van Someren, M. W., Barnard, Y. F., & Sandberg, J. A. C. (1994). The think aloud method: a practical guide to Modelling cognitive processes. Academic press.
Warschauer, M., Tseng, W., Yim, S., Webster, T., Jacob, S., Du, Q., & Tate, T. (2023). The affordances and contradictions of AI-generated text for writers of English as a second or foreign language. Journal of Second Language Writing, 62, 101071. https://doi.org/10.1016/j.jslw.2023.101071
Yang, C., & Zhang, L. J. (2023). Think-Aloud Protocols in Second Language Writing: A Mixed-Methods Study of Their Reactivity and Veridicality (1st ed. 2023.). Springer. https://doi.org/10.1007/978-3- 031-39574-1
Zimmerman, B. J., & Risemberg, R. (1997). Becoming a Self-Regulated Writer: A Social Cognitive Perspective. Contemporary Educational Psychology, 22(1), 73-101.
