Datageletterdheid meten van Vlaamse leerkrachten basis- en secundair onderwijs: de utopie voorbij!
Stel je voor… een Vlaams onderwijssysteem waarin leraren hun
onderwijsbeslissingen niet enkel laten afhangen van hun ervaring
of intuïtie, maar zich laten sturen door de kracht van data. Een
systeem waarin elke leraar een datageletterde professional is,
gewapend met de noodzakelijke kennis en vaardigheden om in
hun eigen klas data-geïnformeerde beslissingen te nemen. Klinkt
als een utopie, nietwaar? Maar wat als ik je zeg dat dit start bij het
adequaat meten van die datageletterdheid door
onderwijsonderzoekers!
In onze zoektocht naar beter onderwijs staan we voor een immense uitdaging: het meten van datageletterdheid bij leraren. Datageletterdheid is een complex samenspel tussen de kennis en vaardigheden
om geïnformeerde beslissingen te nemen én de dagelijkse onderwijscontext waarin elke individuele leraar werkt. Het is hierbij geen geheim dat leraren voor die laatste sterk van elkaar verschillen op vlak van vakken, leerplannen, didactiek, pedagogie, leerlingen, lokale nuances én onderwijswaarden. Tot nu toe ontbraken de juiste meetinstrumenten die met deze complexiteit rekening hielden. Maar wees gerust: er is hoop!
Dit onderzoek introduceert een nieuw meetinstrument: een contextrijke vignetteninstrument geïnspireerd op het factoriele survey-experiment om de datageletterdheid van Vlaamse leraren in het basis- en secundair onderwijs te meten. De resultaten zijn werkelijk veelbelovend. Het vignetteninstrument toonde zich niet alleen uiterst geschikt in het waarborgen van de inhoudsvaliditeit doordat ze herkenbare contexten aan de respondenten aanbiedt waardoor zij hun kennis over hun vak, leerplan, pedagogie, leerlingen, enzovoort
aanboorden. Het instrument overbrugde eveneens de complexiteit aan onderwijscontexten van leraren. Of je nu werkzaam bent in het basisonderwijs of het secundair onderwijs, dit instrument bood een consistente en gelijkwaardige meting van datageletterdheid (constructvaliditeit).
Dit onderzoek draagt daardoor niet alleen bij aan het bredere debat over datageletterdheid, maar biedt ook een uniek methodologisch perspectief die zowel de contextkracht én het meten verzoent. Met methoden zoals
factoriele survey-experimenten en vignetteninstrumenten dringen we dieper door tot de kern van hoe leraren data benutten en hoe we datageletterdheid verder kunnen bevorderen. Kortom, wanneer je de kracht van context en de kunst van meten samenbrengt, ontstaan nieuwe wegen voor datageletterheid.
Meer informatie?
Masterproefstudent: Andy Boydens (andyboydens@gmail.com)
Promotor: dr. Roos van Gasse (roos.vangasse@uantwerpen.be)
Bibliografie
Ansyari, M. F., Groot, W., & De Witte, K. (2020). Tracking the process of data use professional
development interventions for instructional improvement: A systematic literature review.
Educational Research Review, 31, 100362. https://doi.org/ARTN 100362
10.1016/j.edurev.2020.100362
Atzmüller, C., & Steiner, P. (2010). Experimental Vignette Studies in Survey Research. Methodology:
European Journal of Research Methods for The Behavioral and Social Sciences, 6, 128-138.
https://doi.org/10.1027/1614-2241/a000014
Beck, J. S., & Nunnaley, D. (2021). A continuum of data literacy for teaching. Studies in Educational
Evaluation, 69, 100871. https://doi.org/ARTN 100871
10.1016/j.stueduc.2020.100871
Ben-Peretz, M., Mendelson, N., & Kron, F. W. (2003). How teachers in different educational contexts
view their roles. Teaching and Teacher Education, 19(2), 277-290.
https://doi.org/10.1016/s0742-051x(02)00100-2
Bishop, K., & Denley, P. (2007). EBOOK: Learning Science Teaching: Developing A Professional
Knowledge Base. McGraw-Hill Education (UK).
Brauer, P. M., Hanning, R. M., Arocha, J. F., Royall, D., Goy, R., Grant, A., Dietrich, L., Martino, R., &
Horrocks, J. (2009). Creating case scenarios or vignettes using factorial study design methods.
Journal of advanced nursing, 65(9), 1937-1945.
Brod, M., Tesler, L. E., & Christensen, T. L. (2009). Qualitative research and content validity:
developing best practices based on science and experience. Quality of Life Research, 18(9),
1263-1278. https://doi.org/10.1007/s11136-009-9540-9
Brovelli, D., Bölsterli, K., Rehm, M., & Wilhelm, M. (2014). Using Vignette Testing to Measure Student
Science Teachers’ Professional Competencies. American Journal of Educational Research,
2(7), 555-558. https://doi.org/10.12691/education-2-7-20
Charters, E. (2003). The Use of Think-aloud Methods in Qualitative Research An Introduction to Thinkaloud
Methods. Brock Education Journal, 12(2). https://doi.org/10.26522/brocked.v12i2.38
Clarke, V., & Braun, V. (2016). Thematic analysis. The Journal of Positive Psychology, 12(3), 297-298.
https://doi.org/10.1080/17439760.2016.1262613
Coburn, C. E., & Turner, E. O. (2011). Research on Data Use: A Framework and Analysis.
Measurement: Interdisciplinary Research & Perspective, 9(4), 173-206.
https://doi.org/10.1080/15366367.2011.626729
Cui, Y., Chen, F., Lutsyk, A., Leighton, J. P., & Cutumisu, M. (2023). Data literacy assessments: a
systematic literature review. Assessment in Education-Principles Policy & Practice, 30(1), 76-
96. https://doi.org/10.1080/0969594x.2023.2182737
D’haese, D., Van Gasse, R., Vanhoof, J., & Montero Perez, M. (2023). Conceptualiseren, ontwikkelen en
valideren van een professionaliseringstool evaluatie. Retrieved 15/10/2023 from
www.proev.com
Datnow, A., & Hubbard, L. (2015). Teacher capacity for and beliefs about data-driven decision making:
A literature review of international research. Journal of Educational Change, 17(1), 7-28.
https://doi.org/10.1007/s10833-015-9264-2
De kracht van context, de kunst van meten | 43
Datnow, A., Lockton, M., & Weddle, H. (2021). Capacity building to bridge data use and instructional
improvement through evidence on student thinking. Studies in Educational Evaluation, 69.
https://doi.org/ARTN 100869
10.1016/j.stueduc.2020.100869
Drachsler, H., & Kirschner, P. A. (2012). Learner characteristics. In Encyclopedia of the Sciences of
Learning. Springer Science+ Business Media.
Grossman, P., Wilson, S., & Shulman, L. (2011). Profesores de sustancia: el conocimiento de la materia
para enseñanza. Profesorado: Revista de curriculum y formación del profesorado, ISSN 1138-
414X, Vol. 9, Nº 2, 2005, 9.
Gummer, E. S., & Mandinach, E. B. (2015). Building a Conceptual Framework for Data Literacy.
Teachers College Record, 117(4), 1-22. https://doi.org/10.1177/016146811511700401
Hammersley, M. (2010). Reproducing or constructing? Some questions about transcription in social
research. Qualitative Research, 10(5), 553-569. https://doi.org/10.1177/1468794110375230
Harrits, G. S., & Møller, M. Ø. (2020). Qualitative Vignette Experiments: A Mixed Methods Design.
Journal of Mixed Methods Research, 15(4), 526-545.
https://doi.org/10.1177/1558689820977607
Hayashi, P., Abib, G., & Hoppen, N. (2019). Validity in Qualitative Research: A Processual Approach.
Qualitative Report, 24(1), 98-112. <Go to ISI>://WOS:000459196700008
Herold, F. (2019). Shulman, or Shulman and Shulman? How communities and contexts affect the
development of pre-service teachers’ subject knowledge. Teacher Development, 23(4), 488-
505. https://doi.org/10.1080/13664530.2019.1637773
Jan Vanhoof, R. B., Lore Pelgrims, Koen Aesaert, Jonas Dockx, Peter Van Petegem. (2023).
Kwaliteitsmonitoring in het Vlaamse onderwijs: Onderzoek naar het samenspel van het OKkader,
de doorlichting en gestandaardiseerde toetsen. Beleidssamenvatting OBPWO-project
21.01. https://data-onderwijs.vlaanderen.be/documenten/bestand.ashx?nr=21685
Kerr, Kerri A., Marsh, Julie A., Ikemoto, Gina S., Darilek, H., & Barney, H. (2006). Strategies to Promote
Data Use for Instructional Improvement: Actions, Outcomes, and Lessons fromThree Urban
Districts. American Journal of Education, 112(4), 496-520. https://doi.org/10.1086/505057
Kippers, W. B., Poortman, C. L., Schildkamp, K., & Visscher, A. J. (2018). Data literacy: What do
educators learn and struggle with during a data use intervention? Studies in Educational
Evaluation, 56, 21-31. https://doi.org/10.1016/j.stueduc.2017.11.001
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data.
Biometrics, 33(1), 159-174. https://www.ncbi.nlm.nih.gov/pubmed/843571
Mandinach, E. B., & Gummer, E. S. (2013). A Systemic View of Implementing Data Literacy in Educator
Preparation. Educational Researcher, 42(1), 30-37.
https://doi.org/10.3102/0013189x12459803
Mandinach, E. B., & Gummer, E. S. (2016a). Data literacy for educators : making it count in teacher
preparation and practice. Teachers College Press New York, NY.
Mandinach, E. B., & Gummer, E. S. (2016b). Every teacher should succeed with data literacy. Phi Delta
Kappan, 97(8), 43-46. https://doi.org/Doi 10.1177/0031721716647018
Mandinach, E. B., & Gummer, E. S. (2016c). What does it mean for teachers to be data literate: Laying
out the skills, knowledge, and dispositions. Teaching and Teacher Education, 60, 366-376.
https://doi.org/10.1016/j.tate.2016.07.011
De kracht van context, de kunst van meten | 44
Mandinach, E. B., & Schildkamp, K. (2021). Misconceptions about data-based decision making in
education: An exploration of the literature. Studies in Educational Evaluation, 69.
https://doi.org/ARTN 100842
10.1016/j.stueduc.2020.100842
Marsh, J. A. (2012). Interventions Promoting Educators' Use of Data: Research Insights and Gaps.
Teachers College Record, 114(11), 1-48. https://doi.org/10.1177/016146811211401106
Miller, K., Chepp, V., Willson, S., & Padilla, J.-L. (2014). Cognitive interviewing methodology. John
Wiley & Sons.
Morine-Dershimer, G., Kent, T. (1999). The Complex Nature and Sources of Teachers' Pedagogical
Knowledge , bookTitle= Examining Pedagogical Content Knowledge: The Construct and its
Implications for Science Education. Springer Netherlands. https://doi.org/10.1007/0-306-
47217-1_2
Mortelmans, D. (2020). Handboek kwalitatieve onderzoeksmethoden. Uitgeverij Acco.
Nieveen, N., & Folmer, E. (2013). Formative evaluation in educational design research. Design
Research, 153(1), 152-169.
Reidenberg, J. R., & Schaub, F. (2018). Achieving big data privacy in education. Theory and Research in
Education, 16(3), 263-279. https://doi.org/10.1177/1477878518805308
Ritchie, J., Lewis, J., Nicholls, C. M., & Ormston, R. (2003). Qualitative research practice (Vol. 757).
sage London.
Sauer, C., Auspurg, K., & Hinz, T. (2020). Designing multi-factorial survey experiments: Effects of
presentation style (text or table), answering scales, and vignette order.
Sauer, C., Auspurg, K., Hinz, T., & Liebig, S. (2011). The Application of Factorial Surveys in General
Population Samples: The Effects of Respondent Age and Education on Response Times and
Response Consistency. Survey Research Methods, 5, 89-102.
https://doi.org/10.18148/srm/2011.v5i3.4625
Schildkamp, K. (2019). Data-based decision-making for school improvement: Research insights and
gaps. Educational Research, 61(3), 257-273.
https://doi.org/10.1080/00131881.2019.1625716
Schwab, J., Westbury, I., & Wilkof, N. (1981). Science, Curriculum, and Liberal Education: Selected
Essays. Bibliovault OAI Repository, the University of Chicago Press, 10.
https://doi.org/10.2307/1175440
Shulman, L. S. (1987). Knowledge and Teaching - Foundations of the New Reform. Harvard
Educational Review, 57(1), 1-22. https://doi.org/DOI 10.17763/haer.57.1.j463w79r56455411
Shulman, L. S. (2017). Those who Understand: Knowledge Growth in Teaching. Journal of Education,
193(3), 1-11. https://doi.org/10.1177/002205741319300302
Sireci, S. G. (1998). Gathering and Analyzing Content Validity Data. Educational Assessment, 5(4), 299-
321. https://doi.org/10.1207/s15326977ea0504_2
Skilling, K., & Stylianides, G. J. (2020). Using vignettes in educational research: a framework for
vignette construction. International Journal of Research & Method in Education, 43(5), 541-
556. https://doi.org/10.1080/1743727x.2019.1704243
Spencer, C. E., Michael, C. R., Jared, W. K., Jennifer, B. B., Christina, M. A., Andrea, M. G., Cathleen
Odar, S., Kimberly, S. C., Rebeca, R., & Geoffrey, M. R. (2015). Vignette methodologies for
studying clinicians’ decision-making: Validity, utility, and application in ICD-11 field studies.
De kracht van context, de kunst van meten | 45
International Journal of Clinical and Health Psychology, 15(2), 160-170.
https://doi.org/https://doi.org/10.1016/j.ijchp.2014.12.001
Stecher, B., Le, V. N., Hamilton, L., Ryan, G., Robyn, A., & Lockwood, J. R. (2006). Using structured
classroom vignettes to measure instructional practices in mathematics. Educational
evaluation and policy analysis, 28(2), 101-130. https://doi.org/Doi
10.3102/01623737028002101
Stevens, P. A. J., & Vermeersch, H. (2010). Streaming in Flemish secondary schools: exploring
teachers’ perceptions of and adaptations to students in different streams. Oxford Review of
Education, 36(3), 267-284. https://doi.org/10.1080/03054981003629862
Su, D., & Steiner, P. M. (2018). An Evaluation of Experimental Designs for Constructing Vignette Sets in
Factorial Surveys. Sociological Methods & Research, 49(2), 455-497.
https://doi.org/10.1177/0049124117746427
Tavernier, S. S., Totten, A. M., & Beck, S. L. (2011). Assessing content validity of the patient generated
index using cognitive interviews. Qual Health Res, 21(12), 1729-1738.
https://doi.org/10.1177/1049732311420169
Tomlinson, C. A., Brighton, C., Hertberg, H., Callahan, C. M., Moon, T. R., Brimijoin, K., Conover, L. A.,
& Reynolds, T. (2003). Differentiating instruction in response to student readiness, interest,
and learning profile in academically diverse classrooms: A review of literature. Journal for the
Education of the Gifted, 27(2-3), 119-145. https://doi.org/Doi 10.1177/016235320302700203
Treischl, E., & Wolbring, T. (2022). The Past, Present and Future of Factorial Survey Experiments: A
Review for the Social Sciences [factorial survey experiments, methodological advances and
pitfalls, predictive validity, realism of vignettes, vignette design]. 2022, 16(2).
https://doi.org/10.12758/mda.2021.07
Tremblay, D., Turcotte, A., Touati, N., Poder, T. G., Kilpatrick, K., Bilodeau, K., Roy, M., Richard, P. O.,
Lessard, S., & Giordano, E. (2022). Development and use of research vignettes to collect
qualitative data from healthcare professionals: a scoping review. BMJ Open, 12(1), e057095.
https://doi.org/10.1136/bmjopen-2021-057095
Valcke, M., & Standaert, R. (2020). Onderwijsbeleid in Vlaanderen (Tweede, herwerkte uitgave ed.).
Leuven : Acco. http://lib.ugent.be/catalog/rug01:002931598
Van Gasse, R., Goffin, E., Vanhoof, J., & Van Petegem, P. (2021). For squad-members only! Why some
teachers are more popular to interact with than others in data use. Studies in Educational
Evaluation, 69. https://doi.org/10.1016/j.stueduc.2020.100881
Van Gasse, R., & Mol, M. (2022). Student guidance decisions at team meetings: do teachers use data
for rational decision making? Studia paedagogica, 26(4), 99-117.
https://doi.org/10.5817/sp2021-4-5
Van Gasse, R., & Van Acker, G. (2023). Binnenklasdifferentiatie: een data-geïnformeerd proces?
Pedagogische Studiën, 100(1), 98-124. https://doi.org/10.59302/ps.v100i1.13992
Vanhoof, J., Buvens, R., Pelgrims, L., Aesaert, K., Dockx, J., & Van Petegem, P. (2023).
Kwaliteitsmonitoring in het Vlaamse onderwijs: Onderzoek naar het samenspel van het OKkader,
de doorlichting en gestandaardiseerde toetsen. Beleidssamenvatting OBPWO-project
21.01. https://data-onderwijs.vlaanderen.be/documenten/bestand.ashx?nr=21685
Wallander, L. (2009). 25 years of factorial surveys in sociology: A review. Social Science Research,
38(3), 505-520. https://doi.org/10.1016/j.ssresearch.2009.03.004
Willis, G. B. (2004). Cognitive interviewing: A tool for improving questionnaire design. sage
publications.
De kracht van context, de kunst van meten | 46
Ysenbaert, J., Van Avermaet, P., & Van Houtte, M. (2020). Evaluatie & diversiteit in het basis-en
secundair onderwijs: deelrapport: survey-onderzoek.
