Evalueren in een muisklik een droom?

Florian
Brokken

Het Grote Tijdsonderzoek van de Vlaamse Overheid toont aan dat voltijdse leerkrachten in het secundair gemiddeld 47 uren en 59 minuten per lesweek werken. Daarvan gaat 32% naar lesvoorbereiding en verbeterwerk. Vaardigheden evalueren is een tijdrovende zaak. Kan ICT het efficiënter maken, waardoor het minder tijd kost? Eén van de interessante invalshoeken van dit onderzoek. 

Miserie, miserie, miserie

Voor leerkrachten is evalueren dus een zware taak. Er gaat tijd naar het ontwerpen van de evaluatie, maar ook naar het afdrukken en zo snel mogelijk verbeteren. Dit is alleen nog maar het geval voor de gewone toetsen waar kennis mee getest wordt. Bij vaardigheidsevaluaties worden dan nog eens verschillende competenties samen beoordeeld. De leerkracht neemt de papieren na de evaluatieopdracht mee naar huis en moet vaak bij iedere leerling nog opmerkingen toevoegen en een definitieve score geven. Enkele dagen of zelfs weken later pas wordt de opdracht opnieuw uitgedeeld aan de leerlingen. Het zal maar net gebeuren dat de punten nog niet ingevuld zijn in het puntensysteem, terwijl je de papieren al hebt teruggegeven … Klinkt niet meteen als het meest efficiënte, snelle systeem hé?  

Wanneer u beoordeeld wordt, dan hebt u graag een beoordeling waar u wat mee kan. Als men een score geeft van 12/40 op uw prestaties tijdens de tennisles, dan weet u daar bitter weinig mee. U kan zich misschien voorstellen dat u niet meteen Roland Garros zal winnen, maar de score helpt u niet verder omdat alleen een cijfer niet voldoende is. Het vergt een degelijke vorm van feedback waar duidelijk mee wordt gemaakt wat uw sterke punten zijn en waar u nog flink in kan groeien. Zo is dat ook bij vaardigheidsevaluaties in het onderwijs het geval. De leerlingen moeten bij de evaluatiemomenten van hun vaardigheden een zeer gerichte evaluatie ontvangen waar ze mee verder kunnen werken. 

U kent het wel, de leerkracht die achteraan zit tijdens de spreekopdracht en met fingerspitzengefühl de verschillende aspecten van de spreekvaardigheid beoordeelt. 7 op 10 voor tempo, 8 op 10 voor inhoud, een 6 / 10 voor taalgebruik en een commentaar “let op je taalgebruik”. Erg onderbouwd en betrouwbaar kan dit niet genoemd worden. Iets consequenter zou fijner zijn. 

 

ICT to the rescue? 

Al wordt ICT al veel ingezet in het onderwijs, er is altijd ruimte voor “verbetering”. Leerkrachten staan nog iet of wat sceptisch ten opzichte van het ICT-gebruik bij evaluaties. Misschien denkt men dat de controle hiermee uit handen gegeven wordt? In dit onderzoek werd getest of de gratis online ICT-tool ForAllRubrics inderdaad een vaardigheidsevaluatie efficiënter, gerichter en/of betrouwbaarder kan maken. Zo wordt met de resultaten hopelijk door de ‘neutrale’ leerkrachten een standpunt ingenomen om juist wel of niet voor een tool als ForAllRubrics te kiezen, in plaats van het gewoon te negeren.

Testen maar! 

Voor dit onderzoek werden twee klassen van het tweede jaar A-stroom geselecteerd. Beide klassen kregen voor het vak Nederlands dezelfde opdracht om op zoek te gaan naar actuele artikels en er één interessant nieuwsitem uit te kiezen dat ze op een uitgebreide manier zouden voorstellen als nieuwslezer tijdens een spreekopdracht voor de klas.  

Er werden op iedere leerling tegelijkertijd twee evaluatiemethoden toegepast. De mentor gebruikte haar papieren evaluatiemethode waarbij ze voor alle criteria van de spreekopdracht (stemvolume, toonhoogte, tempo, articulatie, taalgebruik, lichaamshouding en mimiek, oogcontact en inhoud + creativiteit) een score tussen 1 en 10 omcirkelde en hiervan de som maakte. Bij ieder criterium stond telkens waarvoor een 1 stond (bijvoorbeeld zeer zwak) en een 10 (bijvoorbeeld zeer goed). Omdat de leraar niet zo snel alle scores kon geven en tegelijkertijd ook goede commentaar, hield ze de evaluatiepapieren zoals altijd nog bij om ze thuis af te werken en nadien terug te geven. 

De tweede beoordelingspersoon (onderzoeker) zat evenals de mentor achteraan en evalueerde met de tool ForAllRubrics. Dit evaluatieprogramma biedt de mogelijkheid om spreekopdrachten (of andere vaardigheidsoefeningen) te beoordelen met behulp van een rubric. Een rubric is een tabel waarvan de rijen beoordelingscriteria zijn zoals toonhoogte, volume, … en de kolommen het prestatieniveau (onvoldoende, zwak, goed, zeer goed). Zo wordt op voorhand voor iedere mogelijke combinatie een concrete formulering gemaakt. Dit werd gedaan met dezelfde criteria en niveaus als die van de mentor.  

image 23

Tijdens de evaluatie is het met de tool alleen nog maar een kwestie van aanklikken welke formuleringen (en dus welke niveaus) er van toepassing zijn op de leerling in kwestie. Achter ieder niveau zit een score die je op voorhand hebt meegegeven. De tool berekent ter plekke het totaal, aan de hand van de formuleringen die de onderzoeker bij de leerling heeft aangeduid. Dit werd gedaan voor iedere leerling van de klas met één en dezelfde rubric. Meteen na de evaluatie kon de ingevulde rubric al doorgemaild worden naar de leerlingen.  

Voor dit onderzoek werden de scores van de mentor met die van de onderzoeker gemeten, werd achteraf een enquête bij de leerlingen afgenomen en tot slot ook een gesprek met de mentor gehouden. 

 

Is het meegevallen?! 

Uit de vergelijking van de scores van de papieren evaluatie met die van de tool, blijkt dat de percentages zeer dicht bij elkaar in de buurt liggen. Er is een maximale afwijking van 6%. Voor de leraar in kwestie is het resultaat dus zeer betrouwbaar, de overstap naar de tool zou bijna geen gevolgen hebben op haar quoteringen van de leerlingen. 

image 24

Uit de enquêtes van de leerlingen kan afgeleid worden dat zij deze manier van evalueren verkiezen boven de papieren versie. Ze vinden het handiger om de evaluatie online te krijgen en geven zelf aan dat ze de rubric van ForAllRubrics een degelijk evaluatie-instrument vinden. Het feit dat ze het beter vinden, zorgt ook dat het sneller aanzet tot reflecteren. 

image 26

Uit het gesprek met de mentor blijkt dat de tool enthousiast ontvangen werd. De automatische scoreberekening, de mogelijkheid om per criterium commentaar te geven, het snelle doorsturen via e-mail zijn de voornaamst genoemde voordelen die de mentor aanhaalde. Een aandachtspunt zijn de nauwkeurige omschrijvingen die op voorhand in de rubric gestopt moet worden. Anders kan het bijvoorbeeld zijn dat er geen enkel niveau kan aanduiden dat van toepassing is op de leerling in kwestie.

 

Meerwaarde? 

We kunnen dus besluiten dat de tool zeker een meerwaarde kan bieden. Eenmaal de rubric zorgvuldig is aangemaakt in de tool, is het een kwestie van enkele muisklikken om een leerling te evalueren en deze meteen de resultaten door te mailen. Het is efficiënter, gerichter en minstens even betrouwbaar als de papieren evaluatie die de leerkracht daarvoor hanteerde. Misschien is Roland Garros toch niet zo ver weg als het lijkt?

Bibliografie

ForAllRubrics (2019). The Rubric and Badging Platform for Teaching and Learning. Geraadpleegd op 28 december 2018 via https://www.forallrubrics.com 

Glorieux, I., Minnen, J., & Verbeylen, J. (2018). Onderzoek Tijdsbesteding leraren basis- en secundair onderwijs. Geraadpleegd op 16 januari 2019 via https://onderwijs.vlaanderen.be/nl/onderzoek-tijdsbesteding-leraren-bas…;

Standaert, R., Troch, F., Peeters, I., & Stroobants, I. (2012). Didactiek leren en onderwijzen. (6e druk). Leuven: Acco 

van Strien, J.,  & Joosten-ten Brinke, D. (2016). Het beoordelen van de kwaliteit van rubrics. Geraadpleegd op 24 april 2019 via http://dspace.ou.nl/bitstream/1820/9036/1/Van_Strien_Joostenten_Brinke_…;

Straetmans, G. J.J. M. (2015). Gaan rubrics ons helpen om beter te beoordelen? Geraadpleegd op 24 april 2019 via https://www.professioneelbegeleiden.nl/het-beoordelen-van-de-kwaliteit-…  

Molkenboer, H. (2017). Gebruiken van beoordelingsvormen voor opdrachten: checklists en rubrics. Geraadpleegd op 24 april 2019 via https://www.toetsen-beoordelen.nl/gebruiken-van-beoordelingsvormen-voor…;

Fisser, P., & Voogt, J. Over TPACK. Geraadpleegd op 25 april 2019 via http://www.tpack.nl/over-tpack.html 

De Veld, D. (2019). Betrouwbaarheid. Geraadpleegd op 25 april 2019 via  https://www.nji.nl/nl/Databank/Databank-Instrumenten/Databank-Instrumen…;

Van Lokeren, S. (2018-2019). BASO informatica: onderdeel ICT-coördinatie (cursus 3e jaar), Odisee Campus SintNiklaas, Sint-Niklaas.