Sleutelcompetenties omzetten in actiegerichte inzichten voor leraren
De digitalisering in scholen heeft geleid tot het genereren van enorme hoeveelheden gegevens. Desondanks ontbreekt het leraren vaak aan de benodigde tools om deze gegevens te benutten en te begrijpen, dit terwijl ze ook nog eens te maken hebben met een zware administratieve last. Dit artikel presenteert het Competentie Dashboard, een leeranalyse dashboard dat leraren voorziet van voortdurende updates over de voortgang en prestaties van studenten, met als doel hun werkdruk te verlichten.
Actiegerichte inzichten
Digitalisering heeft steeds meer zijn intrede gemaakt in scholen, met leeromgevingen zoals Moodle en Smartschool die aanzienlijke hoeveelheden gegevens verzamelen over de prestaties en betrokkenheid van studenten. Echter, deze digitale transformatie heeft uitdagingen met zich meegebracht, met name voor docenten die zich een weg moeten banen door deze gegevensstroom. Leraren worden geconfronteerd met de immense taak om betekenis te geven aan deze informatie, een taak die nog ingewikkelder wordt door de last van administratieve verantwoordelijkheden [1].
Een van deze administratieve lasten is het bijhouden van eindtermen. Eindtermen zijn minimale doelen die de Vlaamse overheid noodzakelijk en haalbaar acht voor die groep leerlingen [2]. Deze eindtermen zijn gekoppeld aan sleutelcompetenties. Sleutelcompetenties zijn "groepen vaardigheden met betrekking tot de inhoud die studenten moeten leren om in de samenleving te kunnen functioneren en zich als individuen te ontwikkelen" [3].
Het Competentie Dashboard zal leerkrachten van het middelbaar onderwijs leeranalyse bieden waarin eindtermen en sleutelcompetenties gevisualiseerd worden. Leraren zullen in staat zijn om de voortgang van de studenten te volgen, de impact van hun onderwijsactiviteiten te evalueren, en interventies te identificeren die studenten kunnen helpen hun doelen te bereiken.
Een blik op het dashboard
Het Competentie Dashboard is ontwikkeld om de prestaties van leerlingen voor elke competentie te presenteren door middel van visuele representaties. Het dashboard is een werkende en functionele Moodle plugin die kan geïnstalleerd kan worden voor scholen die de leeromgeving Moodle gebruiken. Figuur 1 toont het functionele dashboard. Het Competentie Dashboard biedt een uitgebreid overzicht van de prestaties van studenten door middel van grafieken. Het frame ‘Leerlingen’ biedt inzichten in de klas, het frame ‘Sleutelcompetenties’ richt zich op competenties, en het frame ‘Resultaten leerlingen per sleutelcompetentie’ duikt in de individuele studentenprestaties. Elk frame probeert verschillende vragen te beantwoorden die leraren kunnen hebben over hun studenten. Al deze vragen zijn verzameld via een focusgroep samen met leraren, wat opnieuw benadrukt dat dit onderzoek gericht was op een gebruikersgericht ontwerpproces.
Figuur 1: Het Competentie Dashboard
Evaluatie van het dashboard
De belangrijkste doelstelling van dit onderzoek is het ontwikkelen van een dashboard voor leraren van het secundair onderwijs dat nuttige en bruikbare inhoud biedt. Dit terwijl er ook gefocust wordt op een gebruiksvriendelijk ontwerp dat rekening houdt met de feedback van leerkrachten. Om deze doelstellingen te bereiken, werd er besloten om een iteratief ontwerpproces te volgen waarin leraren bij elke stap betrokken werden.
Twee studies hebben het finale dashboard geëvalueerd. De eerste studie maakte gebruik van diepte-interviews waarin leraren interageerde met het dashboard. Het bestaat uit drie delen: een tutorial, een interview en vragenlijsten. Negentien leraren van drie verschillende secundaire scholen namen deel aan deze studie. In de tweede studie werd een proefperiode van een week gehouden, waarin leraren het dashboard gebruikten met hun eigen klasgegevens.
Impact & bruikbaarheid
Het onderzoek leverde waardevolle inzichten op door een combinatie van kwalitatieve analyse van diepte-interviews en kwantitatieve gegevens. Enkele belangrijke lessen kwamen naar voren uit de studie, die licht werpen op de impact en bruikbaarheid van het Competentie Dashboard:
- Het dashboard scoorde buitengewoon goed op gebruiksvriendelijkheid, met een System Usability Scale (SUS)-score van 85.7, wat als 'uitstekend' categoriseerd wordt [4]. Leraren gaven aan dat het dashboard een snel overzicht biedt en een hoge mate van eenvoud en tijdefficiëntie. Het ontwerp van het dashboard houdt hier rekening mee en zorgt voor een gebruiksvriendelijke interface, wat zorgde voor een soepele onboarding-ervaring voor leraren.
- Het Competentie Dashboard biedt waardevolle inzichten, waaronder probleemidentificatie, studentenmonitoring, zelfreflectie en lesplanning, in lijn met eerder onderzoek [5, 6] dat het belang benadrukte van het ondersteunen van leraren op deze gebieden. Bovendien faciliteert het actiegerichte stappen zoals het aanpassen van lessen, het bieden van aanmoediging en gerichte remediëring, waarmee het tekort in bestaand onderzoek over 'impact' en 'bruikbare inhoud' aanhaalt [7, 8] en zo een waardevolle bijdrage levert aan het vakgebied van Mens-Machine-Interactie.
- Het dashboard biedt een resultaatgericht beeld van studentenprestaties. Toch benadrukken leerkrachten ook het belang van gedrag en emotie in de ontwikkeling en prestatie van studenten. Dit wordt ook door onderzoek ondersteunt [9]. Deze elementen ontbreken momenteel in de gegevens en moeten in overweging worden genomen bij toekomstige verbeteringen van het dashboard.
De weg vooruit
Dit onderzoek richtte zich op het ontwerpen, ontwikkelen en evalueren van een Competentie Dashboard, specifiek gericht op leraren van het secundaire onderwijs. We hebben geprobeerd waardevolle inzichten te bieden in het ontwerp en de ontwikkeling van een leeranalyse dashboard voor leerkrachten secundair onderwijs. Om deze doelstellingen te bereiken, is een iteratief en gebruikersgericht ontwerpproces gevolgd. Het resultaat van dit onderzoek is een functioneel dashboard dat leraren nuttige inzichten en bruikbare inhoud biedt voor het begrijpen van de cijfers en voortgang van hun studenten. Het ontwerp van het dashboard maakt het gemakkelijk te begrijpen en te gebruiken voor gevisualiseerde leerdata.
Terwijl we blijven zoeken naar innovatieve oplossingen in het onderwijs, laten tools zoals het Competentie Dashboard zien welke mogelijkheden er zijn. Ze tonen aan hoe technologie de kloof tussen gegevens en actie kan overbruggen, wat uiteindelijk zowel leraren als studenten ten goede komt. Concluderend vertegenwoordigt het Competentie Dashboard een belangrijke stap vooruit in het aanreiken van de essentiële en effectieve tools die leerkrachten nodig hebben in een steeds meer digitaliserende wereld van het onderwijs.
Bibliografie
[1] Onderwijsdoelen verklarende begrippenlijst. https://onderwijsdoelen.be/
verklarende-begrippenlijst. last checked on 07-04-2023.
[2] J. Aerts, F. Cornillie, T. De Laet, O. De Troyer, J. De Weerdt, J. Elen, A. Gelan,
K. Goeman, E. Kindt, D. Mortelmans, W. Van den Noortgate, J. Vandewalle,
K. Verbert, and P. Vos. learning analytics in het vlaams hoger onderwijs. 2018.
[3] V. Aleven, F. Xhakaj, K. Holstein, and B. M. McLaren. Developing a teacher
dashboard for use with intelligent tutoring systems. technology, 34:44–50, 2010.
[4] M. Audenaert. En de leraar zwoegde verder. https://www.tijd.be/opinie/
algemeen/en-de-leraar-zwoegde-verder/10334284, Sept. 2021. Accessed:
2022-9-21.
[5] N. M. Ballarini, Y.-D. Chiu, F. König, M. Posch, and T. Jaki. A critical review
of graphics for subgroup analyses in clinical trials. Pharmaceutical Statistics,
19(5):541–560, 2020.
[6] A. Bangor, P. Kortum, and J. Miller. Determining what individual sus scores
mean: Adding an adjective rating scale. Journal of usability studies, 4(3):114–
123, 2009.
[7] A. Bangor, P. Kortum, and J. Miller. Determining what individual sus scores
mean: Adding an adjective rating scale. Journal of usability studies, 4(3):114–
123, 2009.
[8] M. Beardsley, M. Vujovic, M. Portero-Tresserra, and D. Hernández-Leo. Classmood
app: a classroom orchestration tool for identifying and influencing student
moods. In Transforming Learning with Meaningful Technologies: 14th European
Conference on Technology Enhanced Learning, EC-TEL 2019, Delft, The
Netherlands, September 16–19, 2019, Proceedings 14, pages 723–726. Springer,
2019.
[9] T. Broos, M. Pinxten, M. Delporte, K. Verbert, and T. De Laet. Learning
dashboards at scale: early warning and overall first year experience. Assessment
Evaluation in Higher Education, 45:1–20, 11 2019.
[10] E. Charters. The use of think-aloud methods in qualitative research an introduction
to think-aloud methods. Brock Education Journal, 12(2), 2003.
[11] R. Conijn, L. V. Waes, and M. v. Zaanen. Human-centered design of a dashboard
on students revisions during writing. In European Conference on Technology
Enhanced Learning, pages 30–44. Springer, 2020.
[12] G. Craps. Zakelijk communiceren cursustekst. Cursusdienst VTK, 2018.
[13] R. A. Dourado, R. L. Rodrigues, N. Ferreira, R. F. Mello, A. S. Gomes, and
K. Verbert. A teacher-facing learning analytics dashboard for process-oriented
feedback in online learning. In LAK21: 11th International Learning Analytics
and Knowledge Conference, pages 482–489, 2021.
[14] A. Engelfriet, J. Manderveld, and E. Jeunink. Learning analytics onder de wet
bescherming persoonsgegevens. URL: https://www.surf.nl/files/2019-03/
learning-analytics_wbp-editie2017_def.pdf.
[15] M. Ez-Zaouia and E. Lavoué. Emoda: A tutor oriented multimodal and
contextual emotional dashboard. In Proceedings of the seventh international
learning analytics & knowledge conference, pages 429–438, 2017.
[16] S. Few. Information dashboard design: The effective visual communication of
data. O’Reilly Media, Inc., 2006.
[17] S. Few and P. Edge. Save the pies for dessert. Visual business intelligence
newsletter, pages 1–14, 2007.
[18] S. L. Franconeri, L. M. Padilla, P. Shah, J. M. Zacks, and J. Hullman. The
science of visual data communication: What works. Psychological Science in
the public interest, 22(3):110–161, 2021.
[19] F. Gutiérrez, K. Seipp, X. Ochoa, K. Chiluiza, T. De Laet, and K. Verbert.
Lada: A learning analytics dashboard for academic advising. Computers in
Human Behavior, 107:105826, 2020.
[20] K. Holstein, B. M. McLaren, and V. Aleven. Intelligent tutors as teachers’
aides: exploring teacher needs for real-time analytics in blended classrooms. In
Proceedings of the Seventh International Learning Analytics & Knowledge Conference,
LAK ’17, pages 257–266, New York, NY, USA, Mar. 2017. Association
for Computing Machinery.
[21] K. F. Ingenieurswetenschappen. IJkingstoets is relevante graadmeter voor
studiesucces — nieuws.kuleuven.be. https://nieuws.kuleuven.be/nl/2014/
ijkingstoets-is-relevante-graadmeter-voor-studiesucces, 2014. [Accessed
22-May-2023].
[22] P. Isenberg, A. Bezerianos, P. Dragicevic, and J.-D. Fekete. A study on dualscale
data charts. IEEE Transactions on Visualization and Computer Graphics,
17(12):2469–2478, 2011.
[23] J. Kuan. Learning Highcharts. Packt Publishing Ltd, 2012.
[24] K. Mangaroska and M. Giannakos. Learning analytics for learning design: A
systematic literature review of analytics-driven design to enhance learning. IEEE
Transactions on Learning Technologies, 12(4):516–534, 2018.
[25] W. Matcha, N. A. Uzir, D. Gasevic, and A. Pardo. A systematic review of
empirical studies on learning analytics dashboards: A Self-Regulated learning
perspective. PP(99):1–1, May 2019.
[26] S. McKenna, D. Mazur, J. Agutter, and M. Meyer. Design activity framework
for visualization design. IEEE Transactions on Visualization and Computer
Graphics, 20(12):2191–2200, 2014.
[27] M. Millecamp, F. Gutiérrez, S. Charleer, K. Verbert, and T. De Laet. A qualitative
evaluation of a learning dashboard to support advisor-student dialogues.
In Proceedings of the 8th International Conference on Learning Analytics and
Knowledge, LAK ’18, pages 56–60, New York, NY, USA, Mar. 2018. Association
for Computing Machinery.
[28] V. ministerie van onderwijs en vorming. Sleutelcompetenties.
https://onderwijs.vlaanderen.be/nl/onderwijspersoneel/
van-basis-tot-volwassenenonderwijs/lespraktijk/
onderwijsdoelen-en-leerplannen/sleutelcompetenties. last checked
on 07-04-2023.
[29] I. Molenaar and C. Knoop-van Campen. Teacher dashboards in practice: Usage
and impact. In European conference on technology enhanced learning, pages
125–138. Springer, 2017.
[30] Moodle. Grader report. https://docs.moodle.org/402/en/Grader_report,
2023. [Accessed 14-May-2023].
[31] T. Munzner. Visualization analysis & design. In Proc. InfoVis, page 4, 2013.
[32] J. Nielsen. Thinking aloud: The 1 usability tool. URL: https://www.nngroup.
com/articles/thinking-aloud-the-1-usability-tool/, last checked on 06-
04-2023.
[33] I. Nikolayeva, B. Martin, A. Yessad, F. Chenevotot, J. Pilet, D. Prévit,
B. Grugeon-Allys, and V. Luengo. How to help teachers adapt to learners?
teachers perspective on a competency and error-type centered dashboard. In
Lifelong Technology-Enhanced Learning: 13th European Conference on Technology
Enhanced Learning, EC-TEL 2018, Leeds, UK, September 3-5, 2018,
Proceedings 13, pages 596–599. Springer, 2018.
[34] M. Pérez-Sanagustín, R. Pérez-Álvarez, J. Maldonado-Mahauad, E. Villalobos,
and C. Sanza. Designing a moodle plugin for promoting learners self-regulated
learning in blended learning. In European Conference on Technology Enhanced
Learning, pages 324–339. Springer, 2022.
[35] R. Prestigiacomo, R. Hadgraft, J. Hunter, L. Locker, S. Knight, E. van den
Hoven, and R. Martinez-Maldonado. Learning-centred translucence: an approach
to understand how teachers talk about classroom data. In Proceedings of the
Tenth International Conference on Learning Analytics & Knowledge, LAK ’20,
pages 100–105, New York, NY, USA, Mar. 2020. Association for Computing
Machinery.
[36] F. Rabiee. Focus-group interview and data analysis. Proceedings of the nutrition
society, 63(4):655–660, 2004.
[37] M. Scheffel, K. Niemann, and I. Jivet. The evaluation framework for learning
analytics. Open Universiteit Heerlen, The Netherlands, 2017.
[38] T. Schnabel, S. Amershi, P. N. Bennett, P. Bailey, and T. Joachims. The impact
of more transparent interfaces on behavior in personalized recommendation. In
Proceedings of the 43rd International ACM SIGIR Conference on Research and
Development in Information Retrieval, pages 991–1000, 2020.
[39] B. A. Schwendimann, M. J. Rodriguez-Triana, A. Vozniuk, L. P. Prieto, M. S.
Boroujeni, A. Holzer, D. Gillet, and P. Dillenbourg. Perceiving learning at a
glance: A systematic literature review of learning dashboard research. IEEE
Transactions on Learning Technologies, 10(1):30–41, 2016.
[40] B. A. Schwendimann, M. J. Rodríguez-Triana, A. Vozniuk, L. P. Prieto, M. S.
Boroujeni, A. Holzer, D. Gillet, and P. Dillenbourg. Understanding learning
at a glance: An overview of learning dashboard studies. In Proceedings of the
sixth international conference on learning analytics & knowledge, pages 532–533,
2016.
[41] G. Siemens and P. Long. Penetrating the fog: Analytics in learning and education.
EDUCAUSE review, 46(5):30, 2011.
[42] M. Simons and G. Kelchtermans. De actuele werking en doeltreffendheid van
de eindtermen als beleidsinstrument in vlaanderen. https://data-onderwijs.
vlaanderen.be/documenten/bestand.ashx?nr=6213, 2016. [Accessed 10-Feb-
2023].
[43] R. Spence. Information visualization, volume 1. Springer, 2001.
[44] D. L. Tavares, K. Perkins, M. Kauzmann, and C. A. Velez. Towards a teacher
dashboard design for interactive simulations. In Journal of Physics: Conference
Series, volume 1287, page 012055. IOP Publishing, 2019.
[45] Y.-S. Tsai. Learning analytics: 3 challenges and opportunities.
URL: https://www.solaresearch.org/2021/03/
learning-analytics-3-challenges-and-opportunities/, last checked
on 22-12-2022.[46] K. Verbert, E. Duval, J. Klerkx, S. Govaerts, and J. L. Santos. Learning analytics
dashboard applications. American Behavioral Scientist, 57(10):1500–1509, 2013.
[47] K. Verbert, X. Ochoa, R. De Croon, R. A. Dourado, and T. De Laet. Learning
analytics dashboards: The past, the present and the future. In Proceedings
of the tenth international conference on learning analytics & knowledge, pages
35–40, 2020.
[48] P. O. Vlaanderen. Eerste graad leerplan. https://www.povsites.be/mso/
eerste-graad/. last checked on 07-04-2023.
[49] P. O. Vlaanderen. Van sleutelcompetentie tot vakfiche. https:
//www.povsites.be/mso/eerste-graad/modernisering-eerste-graad/
van-sleutelcompetentie-tot-vakfiche/. last checked on 07-04-2023.
[50] P. O. Vlaanderen. Wat zijn sleutelcompetenties? https://www.povsites.be/
mso/faq-modernisering/wat-zijn-sleutelcompetenties/. last checked on
07-04-2023.
[51] D. Weitz. Parallel coordinates plots. https://towardsdatascience.com/
parallel-coordinates-plots-6fcfa066dcb3, 2020. [Accessed 13-May-2023].
[52] Wikipedia. Moodle. URL: https://en.wikipedia.org/wiki/Moodle, last
checked on 22-12-2022.
[53] M. Yi. A Complete Guide to Bar Charts — chartio.com.
https://chartio.com/learn/charts/bar-chart-complete-guide/
#best-practices-for-using-bar-charts. [Accessed 07-May-2023].
