Paarsgewijze vergelijking als evaluatietechniek voor wiskundig probleemoplossen
- KristofVermeiren
Het beoordelen van wiskundige probleemoplossingsvaardigheden: kan het ook anders?
De evaluatiemethodes voor wiskundig probleemoplossen die binnen ons onderwijssysteem gangbaar zijn, worden de laatste jaren alsmaar vaker bekritiseerd. Ze zouden oppervlakkig leergedrag uitlokken, wat op zijn beurt ervoor zorgt dat leerlingen in een verdere school- of werkloopbaan onvoldoende in staat zijn om wiskunde efficiënt toe te passen op nieuwe problemen. Kristof Vermeiren (Universiteit Antwerpen) concludeert in zijn masterscriptie dat er in de methode van ‘paarsgewijze vergelijking’ een waardig alternatief schuilgaat.
Kristof Vermeiren, student in de Opleidings- en Onderwijswetenschappen, liet de wiskundige probleemoplossingsvaardigheden van 58 leerlingen uit het secundair onderwijs beoordelen aan de hand van paarsgewijze vergelijking. Eigen aan deze beoordelingsmethode is dat prestaties van leerlingen onderling vergeleken worden door meerdere leerkrachten. Dit resulteert niet in puntenscores, maar in een rangorde die gaat van slechtste tot beste oplossing. Binnen zijn studie maakte Vermeiren een eerste verkenning omtrent de geschiktheid van paarsgewijze vergelijking door na te gaan in hoeverre bekomen rangordes betrouwbaar zijn en in welke mate beoordelaars hun keuzes baseren op zaken die verband houden met de wiskundige competentie ‘probleemoplossen’.
In zijn studie liet Vermeiren de leerlingen twee wiskundige problemen oplossen, die vervolgens paarsgewijs werden vergeleken. Hij ondervond dat rangordes met hoge betrouwbaarheid konden worden bereikt. Dit betekent dat de beoordelingsmethode een zeer betrouwbaar beeld oplevert van de probleemoplossingsvaardigheden van leerlingen. Daarnaast stelt Vermeiren dat leerkrachten tijdens hun paarsgewijs vergelijkingsproces voornamelijk oog hebben voor relevante zaken: “De argumenten, die de beoordelingswijze van beoordelaars verduidelijkten, bestonden voor respectievelijk 76% (probleem 1) en 83% (probleem 2) uit competentiegerelateerde zaken.” Hierbinnen merkt hij op dat, in vergelijking met wiskundige kennis en vaardigheden, veel meer belang wordt gehecht aan de metacognitieve vaardigheden van leerlingen. Ook deze bevinding spreekt in het voordeel van paarsgewijze vergelijking, aangezien metacognitieve vaardigheden centraal dienen te staan binnen de evaluatie van wiskundige probleemoplossingsvaardigheden.
“Wanneer we alles in rekening nemen, kunnen we besluiten dat paarsgewijze vergelijking als evaluatiemethode voor wiskundige probleemoplossingsvaardigheden zeker veelbelovend is.”, aldus Vermeiren. Wel waren er implicaties dat de mate waarin beoordelaars rekening houden met competentiegerelateerde zaken mogelijks vatbaar is voor de vraagstelling van de toetsvragen. Hiervoor is vervolgonderzoek onontbeerlijk.
Meer weten?
Kristof Vermeiren: kristof.vermeiren@gmail.com of 0494 14 40 39
Promotor prof. dr. Sven De Maeyer: sven.demaeyer@uantwerpen.be of 03 265 49 32
Bibliografie
ACT. (2006). Ready for College and Ready for Work: Same or Different? Iowa City: ACT Inc. Boyatzis, R.E. (1998). Transforming qualitative information: Thematic analysis and code development. London: SAGE Publications. Brown, A.L. & Cocking, R.R. (1999). How people learn: Brain, mind, experience, and school. Washington: National Academy Press. Chi, M.T.H., Glaser, R., & Farr, M.J. (Eds.). (1988). The Nature of Expertise. Hillsdale: Erlbaum. Cohen, L., Manion, L., & Morrison, K. (2011). Research Methods in Education (7e druk). Abingdon: Routledge. D’Arcy, J. (1997). Comparability studies between modular and non-modular syllabuses in GCE Advanced level biology, English literature and mathematics in the 1996summer examinations. Belfast: GCSE. Darling-Hammond, L., & Adamson, F. (2010). Beyond basic skills: The role of performance assessment in achieving 21st century standards of learning. Stanford: StanfordUniversity, Stanford Center for Opportunity Policy in Education. De Meyer, I., Warlop, N., & Van Camp, S. (2012). Probleemoplossend vermogen bij 15-jarigen: Vlaamse resultaten van PISA2012. Opgeroepen op september 14, 2014, van http://www.ond.vlaanderen.be/obpwo/links/pisa/Vlaams_rapport_problemsol…. (2011). Independent Evaluation of the Pilot of the Linked Pair of GCSEs in Mathematics - First Interim Report (No. DFE-RR181). London: Department for Education. Dochy, F., & Gijbels, D. (2009). Evaluatie. In S. Janssens (Eds.), Leren en Onderwijzen. Leuven: Acco. Donche, V. (2014). Inleiding in Methoden en Technieken. Antwerpen: Universiteit Antwerpen. Dossey, J.A., McCrone, S.A., & O’Sullivan, C. (2006). Problem Solving in the PISA and TIMSS 2003 Assessments. Washington: National Center Press. Dousma, T., Horsten, A., & Brants, J. (1995). Tentamineren. Groningen: Wolters-Noordhoff. English, L.D. (Eds.). (2002). Handbook of International Research in Mathematics Education. Mahwah: Lawrence Erlbaum. Ericsson, K.A., & Smith, J. (Eds.). (1991). Toward a General Theory of Expertise. Cambridge: Cambridge University Press. Firth, D. (2005). Bradley-Terry models in R. Journal of Statistical software, 12(1), 1-12. Flavell, J.H. (1979). Metacognitive and cognitive monitoring: A new area of cognitive developmental inquiry. American Psychologyst, 34, 906-911. Funke, J. (2010). Complex problem solving: a case for complex cognition? Cognitive processing, 11, 133-142. Hacker, D.J., & Dunlosky, J. (2003). Not all metacognition is created equal. New Directions For Teaching And Learning, 95, 73-79. Jones, I., & Alcock, L. (2013). Peer assessment without assessment criteria. Studies in Higher Education, 39(10), 1774-1787. Jones, I., Inglis, M., Gilmore, C., & Hodgen, J. (2013). Measuring Conceptual Understanding: The Case of Fractions. In A.M. Lindmeier & A. Heinze (Eds.), Proceedings of the37th Conference of the International Group for the Psychology of Mathematics Education. Kiel: PME. Jones, I., Swan, M., & Pollit, A. (2014). Assessing mathematical problem solving using comparative judgement. International Journal of Science and Mathematics Education,13, 151-177. Kimbell, R., Wheeler, T., Stables, K., Shepard, T., Martin, F., Davies, D., et al. (2009) E-scape portfolio assessment: phase 3 report. London: Technology Education ResearchUnit Goldsmiths College University of London. Mayer, R.E. (1985). Mathematical ability. In R.J. Sternberg (Eds.), Human Abilities: An Information Processing Approach. New York: Freeman. Mayer, R.E. (1992). Thinking, Problem Solving, Cognition: Second Edition. New York: Freeman. Mayer, R.E. (1998). Cognitive, Metacognitive and Motivational Aspects of Problem Solving. Instructional Science, 26, 49-63. Mayer, R.E. (2003). Mathematical problem solving. In J.M. Royer (Eds.), Mathematical Cognition. Greenwich: Infoage Publishing. Mayer, R.E., & Wittrock, M.C. (2006). Problem solving and transfer. In D. Berliner& R. Calfee (Eds.), Handbook of Educational Psychology. New York: Macmillan. Montague, M. (1992). The Effects of Cognitive and Metacognitive Strategy Instruction on the Mathematical Problem Solving of Middle School Students with LearningDisabilities. Journal of Learning Disabilities, 25, 230-248. Pellegrino, J.W., Chudowsky, N., & Glaser, R. (Eds.). (2001). Knowing What Students Know: The Science and Design of Educational Assessment. Washington: NationalAcademy Press. Pollitt, A. (2004). Let’s stop marking exams. Philadelphia: UCLES. Pollitt, A. (2012). The method of Adaptive Comparative Judgement. Policy & Practice, 19, 281-300. Pollitt, A., & Murray, N.J. (1993). What raters really pay attention to. Cambridge: Cambridge University Press. Polya, G. (1988). How To Solve It. New Jersey: Princeton University Press. Reitman, W.R. (1965). Cognition and thought. New York: Wiley. Royer, J.M., & Garofoli, L.M. (2005). Cognitive contribution to sex differences. In A.M. Gallagher & J.C. Kaufman (Eds.), Gender differences in mathematics: An integrativepsychological approach. Cambridge: Cambridge University Press. Rubin, D.L. (1996). A preface relating alternative assessment, test fairness, and assessment utility to communication. In S. Morreale & P. Backlund (Eds.), Large scaleassessment of oral communication (2nd edition). Annandale: Speech Communication Association. Sadler, D.R. (2009). Indeterminacy in the use of preset criteria for assessment and grading. Assessment and Evaluation in Higher Education, 34, 159-179. Schoenfeld, A.H. (1992). Learning to Think Mathematically: Problem Solving, Metacognition, and Sense Making in Mathematics. In D.A. Grouws (Eds.), Handbook ofResearch on Mathematics Teaching and Learning, 334–370. New York: Macmillan. Secundair onderwijs–Wiskunde–Uitgangspunten. (z.d.). Opgeroepen op augustus 4, 2014, van http://www.ond.vlaanderen.be/curriculum/secundair-onderwijs/eerste-graa…, M.U. (Eds.). (1991). Toward a Unified Theory of Problem Solving: Views from the Content Domains. Hillsdale: Erlbaum. Szetela, W., & Nicol, C. (1992). Evaluating Problem Solving in Mathematics. Educational Leadership, 49(8), 42-45. Thurstone, L.L. (1927). The method of paired comparisons for social values. Journal of Abnormal and Social Psychology, 21, 384-400. Verschaffel, L., Van Dooren, W., Elen, J., & Clarebout, G. (2009). Leren. In S. Janssens (Eds.), Leren en Onderwijzen. Leuven: Acco. Victor, A.M. (2004). The effects of metacognitive instruction on the planning and academic achievement of first and second grade children. Chicago: IIP. Whitehouse, C. (2012). Testing the validity of judgements about geography essays using the Adaptive Comparative Judgement method. Manchester: AQA Centre forEducation Research and Policy.
