De ontwikkeling en validering van een beoordelingsinstrument voor dans in het Deeltijds Kunstonderwijs
Toolkit voor juryleden in het dansonderwijs
Jaarlijks volgen heel wat kinderen, jongeren en volwassenen dansles in het Deeltijds Kunstonderwijs. Ze doen dat na schooltijd, na het werk of in het weekend. Op het einde van elk jaar leggen ze een examen af om te mogen overgaan naar het volgende jaar of om een getuigschrift te behalen. Deze examens gebeuren klassikaal: de hele klasgroep voert gelijktijdig een reeks aangeleerde danspassen uit. Eén of meerdere juryleden zitten vooraan in het lokaal en beoordelen deze danspassen terwijl ze worden uitgevoerd. Na het examen bespreken de juryleden de prestaties van de leerlingen en nemen ze een beslissing over hun examenresultaten (meestal in de vorm van een punt).
Wat de onderwijsinspectie in Vlaanderen nu echter vaststelt, is dat de juryleden voor hun beoordeling meestal geen duidelijke evaluatiecriteria gebruiken. ‘De jury vond het een goed examen’, krijgen leerlingen bijvoorbeeld na het examen te horen, maar waarom hun examen goed of minder goed was, is niet duidelijk. Daarom ontwikkelt Kathleen Harre in het kader van haar masterproef aan de Universiteit Antwerpen (master opleidings- en onderwijswetenschappen) een beoordelingsinstrument. Hiermee kunnen juryleden de prestaties van leerlingen op een dansexamen meer objectief beoordelen.
Kathleen Harre stelt zich in haar onderzoek eerst de vraag welke evaluatiecriteria belangrijk zijn bij de beoordeling van artistieke en danstechnische vaardigheden. Hiervoor gaat ze op zoek naar reeds bestaande en geldige instrumenten waarmee juryleden deze vaardigheden kunnen beoordelen. Ze vergelijkt deze instrumenten met elkaar en haalt hier zeven essentiële evaluatiecriteria uit. Deze zijn: techniek, nauwkeurigheid van beweging, bewegingsdynamiek, performance vaardigheden, muzikaliteit, ruimtebewustzijn en algemene indruk.
Vervolgens zoekt ze op welke manier dansleerlingen het best beoordeeld kunnen worden. Met punten of met woorden? Ze besluit dat het zinvol is om dansleerlingen te beoordelen aan de hand van de volgende beoordelingsschaal: onvoldoende, zwak, goed en zeer goed.
De vraag is dan natuurlijk: Wanneer zijn de prestaties van dansers op de zeven evaluatiecriteria onvoldoende, zwak, goed of zeer goed? Om hier een antwoord op te vinden, neemt Kathleen Harre interviews af met acht ervaren juryleden. Tijdens de interviews krijgen de juryleden een aantal dansleerlingen uit het Deeltijds Kunstonderwijs te zien op video. De juryleden moeten de prestaties van deze dansers beoordelen op de zeven evaluatiecriteria afzonderlijk. Ze moeten daarbij mondeling uitleggen waarom ze de prestaties van de leerlingen onvoldoende, zwak, goed of zeer goed vinden. Op deze manier verzamelt Kathleen Harre voor alle evaluatiecriteria beschrijvingen over onvoldoende, zwakke, goede en zeer goede dansprestaties. Na de analyse van deze beschrijvingen kan ze, voor alle evaluatiecriteria samen, 31 onderliggende dimensies onderscheiden. Op basis hiervan ontwikkelt ze het ‘Beoordelingsinstrument voor dans in het Deeltijds Kunstonderwijs’.
In een laatste fase van haar onderzoek, gaat Kathleen Harre na of het ontwikkelde instrument betrouwbaar is. Ze zoekt hiervoor een antwoord op de volgende twee vragen: Komen verschillende juryleden tot dezelfde resultaten als ze het instrument gebruiken? En komen juryleden tot dezelfde resultaten als ze hun beoordeling een tijd later opnieuw uitvoeren met het instrument? Twee nieuwe juryleden krijgen de video met dansers te zien. Ze beoordelen de dansers aan de hand van het ontwikkelde instrument. Ze doen dat op twee verschillende tijdstippen. Hoewel de resultaten hiervan grotendeels positief zijn, moeten ze met enige voorzichtigheid worden geïnterpreteerd. Ze zijn immers gebaseerd op een beperkt onderzoek. Zo was het omwille van de beschikbare tijd niet haalbaar om meer dan twee juryleden in deze fase te betrekken. Ook wat het niet mogelijk om deze juryleden intensief te trainen in het gebruik van het beoordelingsinstrument. Kathleen Harre adviseert dan ook om de betrouwbaarheid van het ontwikkelde instrument in een vervolgonderzoek verder te onderzoeken.
Met haar volledige onderzoek draagt Kathleen Harre een steentje bij aan de verbetering van de kwaliteit van het dansonderwijs. Het ‘Beoordelingsinstrument voor dans in het Deeltijds Kunstonderwijs’ verheldert waar het bij de beoordeling van dansprestaties om gaat, of waarover het zou moeten gaan. In de toekomst kunnen juryleden dit instrument gebruiken bij de beoordeling van examens van leerlingen dans in het Deeltijds Kunstonderwijs. De kwaliteit van deze evaluaties kan hierdoor verbeteren. Daarnaast zijn de resultaten uit dit onderzoek ook van belang voor de danswetenschap. De 31 onderscheiden dimensies in het ontwikkelde instrument dragen bij aan de opbouw van kennis over de aspecten die belangrijk zijn bij de beoordeling van dansers in het dansonderwijs.
Bibliografie
Bibliografie Masterproef Kathleen Harre
Anderson, L. W. (2002). Curricular alignment: A re-examination. Theory into practice, 41(4), 255-260.
Angioi, M., Metsios, G. S., Twitchett, E., Koutedakis, Y., & Wyon, M. (2009). Association between selected physical fitness parameters and aesthetic competence in contemporary dancers. Journal of Dance Medicine & Science, 13(4), 115-123.
Arter, J. (2012). Creating and recognizing quality rubrics. A study guide. Portland, Oregon: Pearson Assessment Training Institute. Geraadpleegd van http://ati.pearson.com/downloads/car_studyguide_forprinting_final.pdf
Barr, S. (2009). Examining the technique class: re-examining feedback. Research in Dance Education, 10(1), 33-45. DOI: 10.1080/14647890802697189
Bonbright, J. M., & McGreevy-Nichols, S. (1999). NAEP and dance: On contextual data, process, and problems in dance assessments, and recommendations for the field. Arts Education Policy Review, 100(6), 27-32.
Chappuis, S., Chappuis, J., & Stiggins, R. (2009). The quest of quality. Educational Leadership, 67(3), 14-19.
Chatfield, S. J. (2009). A test for evaluating proficiency in dance. Journal of Dance Medicine & Science, 13(4), 108-114.
Cito (2002). Beoordelingsschalen in praktijktoetsen: hoe ontwikkel en gebruik je ze? Arnhem: Cito. Geraadpleegd van http://toetswijzer.kennisnet.nl/html/praktijktoetsen/praktijktoetsen3.p…
Clark, D. (2003). Developing observation strategies to enhance teaching effectiveness in the dance class. Journal of Physical Education, Recreation & Dance, 74(9), 33-36.
Clement, M., & Laga, L. (Eds.). (2005). Steekkaarten doceerpraktijk. Antwerpen: Garant.
Cohen, L., Manion, L., & Morisson, K. (2007). Research methods in Education. New York: Routledge.
Comandé, E. (2008). Contribution à la réflexion sur l'évaluation des productions d'élèves en danse [Elektronische versie]. Passeurs de Danse. Opgehaald op 8 juli 2012, van http://www.passeursdedanse.fr/pdf/Eval.pdf.
Cone, S., & Cone, T. P. (2011). Assessing dance in physical education. Strategies: A Journal for Physical and Sports Educators, 24(6), 28-32. DOI: 10.1080/08924562.2011.10590960
Cone, T. P. (2012). Complex challenges, meaningful measures. Journal of Dance Education, 12(3), 73-74. DOI: 10.1080/15290824.2012.701980
Dania, A., Koutsouba, M., Hatziharistos, D., & Tyrovola, V. K. (2009). Research regarding the development of dance performance measurement instruments: a review. Inquiries in Sport & Physical Education, 7(2), 179-202.
Dania, A., Koutsouba, M., Hatziharistos, D., & Tyrovola, V. K. (2010). Establishing observer reliability in the context of dance performance assessment. Opgehaald op 25 augustus 2012, van http://www.altorendimiento.com/es/congresos/danza/4261-establishing-observer- reliability-in-the-context-of-dance-performance-assessement.
Dijkstra, W., & Smit, J.W. (1999). Onderzoek met vragenlijsten. Een praktische handleiding. Amsterdam: VU.
Donche, V. (2009). Wetenschappelijke reflectie bij onderwijs- en opleidingsvraagstukken. Een open leerpakket. IOIW, Universiteit Antwerpen.
Frey, B. B., & Schmitt, V. L. (2007). Coming to terms with classroom assessment. Journal of Advanced Academics, 18(3), 402-423. DOI: 10.4219/jaa-2007-495
Giguere, M. (2012). Self-reflective journaling: a tool for assessment. Journal of Dance Education, 12(3), 99-103. DOI: 10.1080/15290824.2012.701168
Gibbs, G., & Simpson, C. (2004). Conditions under wich assessment supports students’ learning. Learning and Teaching in Higher Education, 1, 3-31.
Gwet, K. L. (2008). Interrater reliability. In: Wiley Encyclopedia of Clinical Trials. John Wiley & Sons, Inc. Geraadpleegd van http://www.agreestat.com/research_papers/wiley_encyclopedia2008_eoct631.pdf
Harding, M. (2012). Assessment in the high school technique class: creating thinking dancers. Journal of Dance Education, 12(3), 93-98. DOI: 10.1080/15290824.2012.701172
Hong, C. (2006). Unlocking dance and assessment for better learning. In P. Taylor (Ed.), Assessment in arts education (pp.3-27). Portsmouth: Heinemann.
Janssens, S., Verschaffel, L., De Corte, E., Elen, J., Lowyck, J., Struyf, E., Van Damme, J., & Vandenberghe, R. (2000). Didactiek in beweging. Deurne: Wolters-Plantyn.
Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2, 130-144. DOI:10.1016/j.edurev.2007.05.002
Kassing, G., & Jay, D. M. (2003). Dance teaching methods and curriculum design. Champaign, Illinois: Human Kinetics.
Koutedakis, Y. (2009). Analysis of dance performance. Journal of Dance Medicine & Science, 13(4), 99-100.
Krasnow, D., & Chatfield, S. J. (2009). Development of the “Performance Competence Evaluation Measure”: assessing qualitative aspects of dance performance. Journal of Dance Medicine & Science, 13(4), 101-107.
Meeus, W. (2012). Didactisch referentiekader. Handleiding bij de lesvoorbereiding. Leuven: Acco.
Morrow, J. R. , Jackson, A. W., Disch, J. G. & Mood D. P. (2011). Measurement and Evaluation in Human Performance. Fourth edition. Stanningley: Human Kinetics.
Mortelmans, D. (2011). Handboek kwalitatieve onderzoeksmethoden. Leuven/Den Haag: Acco.
National Assessment Governing Board. (2008). NAEP 2008 Arts education assessment framework. Washington, DC: U.S. Department of Education.
Oreck, B. (2007). To see and to share: evaluating the dance experience in education. In L. Bresler (Ed.), International handbook of research in arts education (pp. 341-356). Dordrecht: Springer.
O’Shei, T. (2006). Picture of progress. Dance Teacher, 28(6), 94-97.
Ross, J. (1994). The right moves: challenges of dance assessment. Arts Education Policy Review, 96(1), 11-17.
Schmid, D. W. (2003). Authentic assessment in the arts: empowering students and teachers. Journal of Dance Education, 3(2), 65-73. DOI: 10.1080/15290824.2003.10387231
Schmid, D. W. (2012). Data mining: a systems approach to formative assessment. Journal of Dance Education, 12(3), 75-81. DOI: 10.1080/15290824.2012.701982
Smet, P. (2011). Kunst verandert! Inhoudelijke vernieuwing deeltijds kunstonderwijs. Opgehaald van http://www.ond.vlaanderen.be/dko/rapporten/conceptnota-dko.pdf
Taylor, P. (2006). Introduction: assessment in arts education. In P. Taylor (Ed.), Assessment in arts education (pp.xiii-xxvii). Portsmouth: Heinemann.
Van Petegem, P., & Vanhoof, J. (2002). Evaluatie op de testbank: een handboek voor het ontwikkelen van alternatieve evaluatievormen. Mechelen: Wolters Plantyn.
Vlaams Ministerie van Onderwijs en Vorming (2O12a). Onderwijsspiegel 2012. Jaarlijks rapport van de onderwijsinspectie. Opgehaald van http://www.ond.vlaanderen.be/inspectie/organisatie/Documenten/spiegel/2012_bijlagen/Artike_Evaluatiepraktijk_in_doorlichtingsverslagen(OS2012).pdf
Vlaams Ministerie van Onderwijs en Vorming (2012b). Voorpublicatie statistisch jaarboek van het Vlaams onderwijs – schooljaar 2011-2012. Opgehaald op 28 december 2012 van http://www.ond.vlaanderen.be/onderwijsstatistieken/2011-2012/ voorpublicatiestatistischjaarboek2011-2012/voorpublicatiestatistischjaarboek2011- 2012.html.
Vlaamse Regering (1990). Besluit van de Vlaamse Regering houdende organisatie van het deeltijds kunstonderwijs, studierichtingen “Muziek”, “Woordkunst” en “Dans”. Opgehaald op 28 december 2012, via http://www.ond.vlaanderen.be/edulex/database/document/document.asp?docid=12679.
Warburton, E. C. (2002). From talent identification to multidimensional assessment: toward new models of evaluation in dance education. Research in Dance Education, 3(2), 103-121. DOI: 10.1080/146478902200005048 0
Warburton, E. C. (2006). Evolving modes of assessing dance: in search of transformative dance assessment. In P. Taylor (Ed.), Assessment in arts education (pp. 27-37). Portsmouth: Heinemann.
White, J. H. (2012). Motivating and evaluating growth in ballet technique. Journal of Dance Education, 12(3), 109-112. DOI: 10.1080/15290824.2012.701173
Wiggins, G. P. (1996). What is a rubric? A dialogue on design and use. In R.E. Blum & J.A. Arter (Eds.), Handbook for student performance assessment in an era of restructuring (pp. 1-13). Alexandria, Virginia: Association for Supervision and Curriculum.
Wiggins, G. P. (1998). Educative assessment. San Francisco: Jossey-Bass Publishers.
