Wie geeft meer punten: jij of ik? Evaluatie van de kwaliteit van een tolkprestatie: een vergelijking tussen de peerevaluatie en de zelfevaluatie
Je bent zeer trots op je prestatie en toch geven je medestudenten heel wat minder punten dan jij jezelf zou geven. Of, een pak leuker, je medestudenten zijn van mening dat je het er beter van hebt afgebracht dan je zelf in eerste instantie had gedacht. Klinkt het bekend in de oren? Of je nu het eerste type student bent of het tweede, in beide gevallen kan je leren uit de resultaten. Plotseling zal je als beginnende tolkstudent beseffen dat die regionale uitspraak die jij als ‘een unieke eigenschap’ beschouwde als storend ervaren wordt door je collega’s. En, toegegeven, misschien was die laatste ‘euh’ er toch wel te veel aan. Zowel zelf- als peerevaluatie (of, makkelijker verwoord: de evaluatie door een medestudent of collega, de zogenaamde peer) blijft met andere woorden essentieel voor de ontwikkeling van de eigen capaciteiten. Dit geldt ook binnen de tolkenwereld, waarbij de tolk als taak heeft een efficiënte en duidelijke communicatie tot stand te brengen tussen twee anderstalige gesprekspartners/partijen. Maar wie treedt in die wereld het strengst op: de tolk of zijn luisterende medestudent?
Kwaliteit
Net als bij vele andere diensten, hoort een tolkprestatie te voldoen aan de verwachtingen van de klant en moet ze kwalitatief aanvaardbaar zijn. Maar wat betekent kwaliteit? En wie mag zich uitspreken over deze kwaliteit? Wanneer mag een klant tevreden zijn met een vertolking? Deze vragen blijven tot op heden een moeilijke kwestie, om niet te zeggen: onbeantwoord. Onder meer de docent, de werkgever van de tolk, de spreker, de toehoorder, de ervaren collega-tolk of de tolk zelf worden als mogelijke beoordelaars naar voren geschoven om te oordelen over de kwaliteit van een vertolking. Wie zich ook inspant om die taak te vervullen, elk van deze beoordelaars moet in het achterhoofd houden dat een vertolking (en ook kwaliteit) een subjectief karakter heeft. Heeft de tolk op voorhand voldoende documenten gekregen ter voorbereiding? Heeft de tolk een onvoorstelbaar aantal werkuren voor de boeg? Gebruikt de spreker een verstaanbare taalvariant en spreektempo? En hoe zit het met de geluidskwaliteit? Ondanks al deze relatieve, beïnvloedende kenmerken, is het volgens onderzoekers wel degelijk mogelijk een evaluatie van een vertolking voor te leggen door gebruik te maken van welbepaalde kwaliteitscriteria (vb. in welke mate komt de inhoud van de oorspronkelijke toespraak overeen met die van de vertolking, wordt de juiste terminologie toegepast, heeft de tolk een sterk gekleurde uitspraak, komt er veel intonatie in de vertolking voor?).
Evaluatie
Uit alle mogelijke kandidaten, kiezen we de tolk (zelfevaluatie) en de medestudent (peerevaluatie) als volwaardige beoordelaars. In tegenstelling tot in vele andere richtingen wordt zelfevaluatie slechts sporadisch toegepast in de tolkenopleiding, iets waar eigenlijk verandering in zou moeten komen als de studenten zich verder willen blijven ontwikkelen. Bij het onderzoek werden acht studenten van de master in het tolken en acht studenten van het postgraduaat Conferentietolken betrokken (d.i. een extra jaar na de master om zich verder te specialiseren en zo te kunnen tolken tijdens conferenties, in Europese instellingen, enz.). De masterstudenten werden gevraagd om een toespraak te vertolken en zichzelf te evalueren op basis van een evaluatieformulier met verschillende kwaliteitscriteria en een cijferschaal van één tot vijf. Nadien moesten hun medestudenten en de postgraduaatstudenten diezelfde vertolkingen beoordelen. Bij aanvang van het experiment werd verwacht dat de masterstudenten zichzelf strenger zouden evalueren, maar wat blijkt? Een eerste vergelijking moest duidelijk maken voor hoeveel criteria de masterstudenten zich strenger zouden evalueren dan hun beoordelaars. Slechts voor zeven van de achttien kwaliteitscriteria gaven zij zichzelf een lagere beoordeling dan de mede- en postgraduaatstudenten. Bij een tweede vergelijking werden de gemiddelde scores van de zelfevaluaties naast de gemiddeldes van de peerevaluaties geplaatst. Deze keer werd de hypothese bevestigd: de masterstudenten kenden zichzelf voor maar liefst dertien criteria een lagere score toe. Voornamelijk de criteria zelfverbeteringen (d.i. wanneer de tolk zichzelf verbetert terwijl hij al een (deel van een) woord of een zin gedeeltelijk heeft uitgesproken), pauzes, aangename stem en levendige intonatie scoorden bij de zelfevaluaties het laagst. Een verklaring voor deze tegenstrijdige resultaten is de zéér strenge houding van enkele uitzonderingen die alle gemiddelde scores naar beneden haalt. Het lijkt nog steeds uitzonderlijk moeilijk om de juiste kwaliteitscriteria te definiëren om een vertolking correct te kunnen beoordelen. Zo bestaat er (nog steeds!) verwarring over de betekenis van de criteria (wanneer spreekt men van ‘een aangename stem’ of van ‘een regionaal accent’?) en de correcte manier om zichzelf of een medestudent/collega te beoordelen. Verder onderzoek en begeleiding van docenten blijft daarom noodzakelijk om studenten (de hopelijk latere professionele tolken!) verder op weg te helpen.
Aan alle toekomstige tolken dus het volgende: heeft je behulpzame medestudent je een lagere score gegeven dan jijzelf? Let dan nog eens goed op je werkpunten, wie weet kan er toch nog wat gesleuteld worden aan die tolkprestatie. Staat er een hoger cijfer op je papier dan jij jezelf toegekend hebt? Heb dan wat meer zelfvertrouwen, misschien mag je toch wat minder streng zijn voor jezelf.
Bibliografie
Admissions Committee. (2000). A practical guide for applicants. Geraadpleegd op http://aiic.net/p/199
Ahrens, B. (2005). Analysing prosody in simultaneous interpreting: Difficulties and possible solutions. The Interpreters' Newsletter, 13, 1-14.
Aitchison, J. (2010). Aitchison’s linguistics: Teach yourself. Londen: Hodder Headline.
Amini, M., Ibrahim-González, N., Ayob, L., & Amini, D. (2015). Users’ quality expectations in conference interpreting. International Journal of Multicultural and Multireligious Understanding, 2(5), 1-17. doi:10.18415/ijmmu.v2i5.26
Barik, H. C. (1994). A description of various types of omissions, additions and errors of translation encountered in simultaneous interpretation. In S. Lambert & B. Moser- Mercer (Red.), Bridging the gap: Empirical research in simultaneous interpretation (pp. 121-138). Amsterdam: John Benjamins.
Bartłomiejczyk, M. (2007). Interpreting quality as perceived by trainee interpreters: Self evaluation. The Interpreter and Translator Trainer (ITT), 1(2), 247-267. doi:10.1080/1750399x.2007.10798760
Binkley, M., Erstad, O., Herman, J., Raizen, S., Ripley, M., Miller-Ricci, M., & Rumble, M. (2012). Defining twenty-first century skills. In P. Griffin, B. McGaw, & E. Care (Red.), Assessment and Teaching of 21st Century Skills (pp. 17-66). Dordrecht: Springer.
Bühler, H. (1986). Linguistic (semantic) and extra-linguistic (pragmatic) criteria for the evaluation of conference interpretation and interpreters. Multilingua, 5(4), 231-235.
Chiaro, D. & Nocella, G. (2004). Interpreter’s perception of linguistic and non-linguistic criteria affecting quality: A survey through the world wide web. Meta, 49(2), 278-293. doi:10.7202/009351ar
Christensen, T. P. (2011). User expectations and evaluation: A case study of a court interpreting event. Perspectives: Studies in Translatology, 19(1), 1-24. doi:10.1080/09076761003728554
Chun, D. M. (2002). Discourse intonation in L2: From theory and research to practice. Amsterdam: John Benjamins.
Csapó, B., Ainley, J., Bennett, R. E., Latour, T., & Law, N. (2012). Technical issues for computer-based assessment. In P. Griffin, B. McGaw, & E. Care (Red.), Assessment and Teaching of 21st Century Skills (pp. 143-230). Dordrecht: Springer.
Cutler A. (1983). Speakers’ conception of the function of prosody. In A. Cutler & D. R. Ladd (Red.), Prosody: Models and measurements (pp. 79-91). Berlijn: Springer.
Davies, P. (2000). Computerized Peer Assessment. Innovations in Education & Training International, 37(4), 346-355. doi:10.1080/135580000750052955
Debilde, N. (2016). De verschillende ‘kwaliteiten’ van een tolkprestatie: een vergelijking tussen de evaluatie van de pure customer en de collega-tolk (masterthesis KU Leuven Campus Brussel). Opgevraagd van http://depot.lias.be.kuleuven.ezproxy.kuleuven.be/delivery/DeliveryMana…
Déjean le Féal, K. (1990). Some thoughts on the evaluation of simultaneous interpretation. In D. Bowen & M. Bowen (Red.), Interpreting: yesterday, today, and tomorrow (pp. 154-160). Binghamton: State University of New York at Binghamton (SUNY).
Europese Commissie. (z.d.) Speech Repository. Opgevraagd op 19 oktober 2016 van https://webgate.ec.europa.eu/sr/
Garzone, G. (2002). Quality and norms in interpretation. In G. Garzone, & M. Viezzi (Red.), Interpreting in the 21st century (pp. 107-119). Amsterdam: John Benjamins.
Garzone, G. (2003). Reliability of quality criteria evaluation in survey research. In A. Collados Ais, M. M. Fernandez Sanchez, & D. Gile (Red.), La evaluación de la calidad en interpretación: Investigación (pp. 23-30). Granada: Comares.
Gerver, D. (1975). A psychological approach to simultaneous interpretation. Meta : journal des traducteurs / Meta: Translators’ Journal, 20(2), 119-128. doi:10.7202/002885ar
Gile, D. (1983). Aspects méthodologiques de l’évaluation de la qualité du travail en interprétation simultanée. Meta : journal des traducteurs / Meta: Translators' Journal, 28(3), 236-243. doi:10.7202/002899ar
Gile, D. (1990). L’évaluation de la qualité de l’interprétation par les délégués : Une étude de cas. The Interpreters’ Newsletter, 3, 66-71.
Gile, D. (1991a). A communication-oriented analysis of quality in non-literary translation and interpretation. In L. M. Larson (Red.), Translation: theory and practice. tension and interdependence (pp. 188-200). Binghamton: State university of New York at Binghamton.
Gile, D. (1991b). Methodological aspects of interpretation (and translation) research. Target, 3(2), 153-174. doi:10.1075/target.3.2.03gil
Gile, D. (1995a). Fidelity assessment in consecutive interpretation: An experiment. Target, 7(1), 151-164. doi:10.1075/target.7.1.12gil
Gile, D. (1995b). Regards sur la recherche en interprétation de conférence. Lille: Presses Universitaires de Lille.
Gile, D. (1998) Observational studies and experimental studies in the investigation of conference interpreting. Target: International Journal of Translation Studies, 10(1), 69-93. doi:10.1075/target.l0.1.04gil
Gile, D. (2001). Consecutive vs. simultaneous: Which is more accurate? Interpretation Studies, 1, 8-20.
Gile, D. (2003). Quality assessment in conference interpreting : Methodological issues. In A. Collados Ais, M. M. Fernandez Sanchez, & D. Gile (Red.), La evaluación de la calidad en interpretación: Investigación (pp. 109-123). Granada: Comares.
Gillies, A. (2004). Conference interpreting. A new students’ companion. Kraków: Tertium.
Grbíc, N. (2008). Constructing interpreting quality. Interpreting, 10(2), 232-257. doi:10.1075/intp.10.2.04grb
Hale, S. & Napier, J. (2013). Research methods in interpreting: A practical resource. Bloomsbury: London.
Holub, E. (2010). Does intonation matter? The impact of monotony on listener comprehension. The Interpreter’s Newsletter, 10, 117-126.
Iaroslavschi, M. (2011). Becoming an interpreter: Assessment and self-assessment in untutored practice sessions. Cognitie, Creier, Comportament / Cognition, Brain, Behavior, 15(2), 229-249.
Iglesias Fernández, E. (2013). Understanding variability in interpreting quality assessment: User’s sex and judgments for pleasant voice. In C. Way, S. Vandepitte, R. Meylaerts, & M. Bartłomiejczyk (Red.), Tracks and treks in translation studies: Selected papers from the EST Congress, Leuven 2010 (pp. 103-125). Amsterdam: John Benjamins.
Jones, R. (2002). Conference interpreting explained. Manchester: St. Jerome Publishing.
Kahane, E. (2000). Thoughts on the quality of interpretation. Geraadpleegd op http://aiic.net/p/197
Kalina, S. (2002). Quality in interpreting and its prerequisites: A framework for a comprehensive view. In G. Garzone, & M. Viezzi (Red.), Interpreting in the 21st century (pp. 121-130). Amsterdam: John Benjamins.
Kalina, S. (2005). Quality assurance for interpreting processes. Meta : journal des traducteurs / Meta: Translators' Journal, 50(2), 768-784. doi:10.7202/011017ar
Kopczyński, A. (1994). Quality in conference interpreting: Some pragmatic problems. In S. Lambert & B. Moser-Mercer (Red.), Bridging the gap: Empirical research in simultaneous interpretation (pp. 87-100). Amsterdam: John Benjamins.
Korpal, P. (2012). Omission in simultaneous interpreting as a deliberate act. In A. Pym & Orrego-D. Carmona (Red.), Translation Research Projects 4 (pp. 103-111). Tarragona: Intercultural Studies Group.
Kurz, I. (1993). Conference interpretation: expectations of different user groups. The Interpreters’ Newsletter, 5, 13-21.
Kurz, I. (2003). Quality from the user perspective. In A. Collados Ais, M. M. Fernandez Sanchez, & D. Gile (Red.), La evaluación de la calidad en interpretación: Investigación (pp. 3-22). Granada: Comares.
Ladd, D. R. & Cutler, A. (1983). Models and measurements in the study of prosody. In A. Cutler & D. R. Ladd (Red.), Prosody: Models and measurements (pp. 1-10). Berlijn: Springer-Verlag Berlin Heidelberg.
Lee, S-B. (2016). University students’ experience of ‘scale-referenced’ peer assessment for a consecutive interpreting examination. Assessment & Evaluation in Higher Education, 1-15. doi:10.1080/02602938.2016.1223269
Marrone, S. (1993). Quality: A Shared Objective. The Interpreters’ Newsletter, 5, 35-41.
Mesa-Lao, B. (2011). Explicitation in translation memory-mediated environments: Methodological conclusions from a pilot study. Translation & Interpreting, 3(1), 44-57.
Molina, L. & Hurtado Albir, A. (2002). Translation techniques revisited: A dynamic and functionalist approach. Meta, 47(4), 498-512. doi:10.7202/008033ar
Moser, P. (1995). Survey on expectations of users of conference groups. Geraadpleegd op http://aiic.net/p/736
Moser-Mercer, B. (1996). Quality in interpreting: Some methodological issues. The Interpreter’s Newsletters, 7, 43-55.
Moser-Mercer, B. (2008). Construct-ing quality. In G. Hansen, A. Chesterman, & H. Gerzymisch-Arbogast (Red.), Efforts and models in interpreting and translation research (pp. 144-156). Amsterdam: John Benjamins.
Napier, J. (2004). Interpreting omissions: A new perspective. Interpreting, 6(2), 117-142.
Piccaluga, M., Nespoulous, J.-L., & Harmegnies, B. (2007). Disfluency surface markers and cognitive processing: The case of simultaneous interpreting. Proceedings of the 16th International Congress of Phonetic Sciences, 16, 1317-1320.
Pöchhacker, F. (1994). Quality assurance in simultaneous interpreting. In C. Dollerup & A. Lindegaard (Red.), Teaching Translation and Interpreting (pp. 233-242). Amsterdam/Philadelphia: John Benjamins.
Pöchhacker, F. (2000). The community interpreter’s task: Self-perception and provider views. In R. P. Roberts, S. E. Carr, D. Abraham, & A. Dufour (Red.), The Critical Link 2: Interpreters in the community (pp. 49-66). Amsterdam/Philadelphia: John Benjamins.
Pöchhacker, F. (2001). Quality assessment in conference and community interpreting. Meta, 46(2), 410-425. doi:10.7202/003847ar
Pöchhacker, F. (2005). Quality research revisited. The Interpreters' Newsletter, 13, 143-166.
Pöchhacker, F. (2016). Introducing Interpreting Studies (2e druk). Londen/New York: Routledge.
Pöchhacker, F. & Zwischenberger, C. (2010). Survey on quality and role: Conference interpreters’ expectations and self-perceptions. Geraadpleegd op http://aiic.net/p/3405
Postigo Pinazo, E. (2008). Self-assessment in teaching interpreting. TTR: traduction, terminologie, rédaction, 21(1), 173-209. doi:10.7202/029690ar
Riccardi, A. (2002). Evaluation in interpretation: Macrocriteria and microcriteria. In E. Hung (Red.) Teaching Translation and Interpreting 4: Building Bridges (pp. 115-126). Amsterdam/Philadelphia: John Benjamins.
Riccardi, A. (2003). The relevance of interpreting strategies for defining quality in simultaneous interpreting. In A. Collados Aís, M. M. Fernández Sánchez, & D. Gile (Red.), La evalucaión de la calidad en interpretación : Investigación (pp. 257-265). Granada: Comares.
Rosink, S., van Heeswijk, L., Kroon, M., & Schüppert, A. (2014). De verstaanbaarheid van natuurlijk snelle versus kunstmatig versnelde spraak in het Nederlands. Dutch Journal of Applied Linguistics, 3(2), 197-210. doi:10.1075/dujal.3.2.06ros
Ross, J. A. (2006). The reliability, validity, and utility of self-assessment. Practical Assessment, Research and Evaluation, 11(10), 1-13.
Ross, J. A., Rolheiser, C., & Hogaboam-Gray, A. (1998). Skills training versus action research in-service: Impact on student attitudes to self-evaluation. Teaching and Teacher Education, 14(5), 463-477. doi:10.1016/S0742-051X(97)00054-1
Russell, D. (2005). Consecutive and simultaneous interpreting. In T. Janzen (Red.), Topics in signed language interpreting (pp. 135- 164). Amsterdam/Philadelphia: John Benjamins.
Russo, M. (1995). Self-evaluation: The awareness of one’s own difficulties as a training tool for simultaneous interpretation. The Interpreters' Newsletter, 6, 75-85.
Sadeghi, B., Hassani, M. T., & Mohammadloo, M. B. (2015). The comparative effect of teacher- and peer-assessment on EFL learners’ self-confidence. Journal of Language Teaching and Research, 6(5), 1010-1019. doi:10.17507/jltr.0605.13
Sadler, P. M., & Good, E. (2006). The impact of self- and peer-grading on student learning, Educational Assessment, 11(1), 1-31. doi:10.1207/s15326977ea1101_1
Seleskovitch, D. (1986). Comment: Who should assess an interpreter’s performance? Multilingua, 5(4), 236.
Shlesinger, M. (1994). Intonation in the production and perception of simultaneous interpretation. In S. Lambert & B. Moser-Mercer (Red.), Bridging the gap: Empirical research in simultaneous interpretation (pp. 225- 236). Amsterdam: John Benjamins.
Shlesinger, M. (1997). Quality in simultaneous interpreting. In Y. Gambier, D. Gile, & C. Taylor (Red.), Conference interpreting: Current trends in research (pp. 123-131). Amsterdam: John Benjamins.
Shlesinger, M. (2003). Effects of presentation rate on working memory in simultaneous interpreting. The Interpreters’ Newsletter, 12, 37-49.
Sluijsmans, D. M. A., Moerkerke, G., van Merriënboer, J. J. G., & Dochy, F. J. R. (2001). Peer assessment in problem based learning. Studies in Educational Evaluation, 27(2), 153-173. doi:10.1016/S0191-491X(01)00019-0
Topping, K. J. (2005). Trends in peer learning. Educational Psychology, 25(6), 631-645. doi:10.1080/01443410500345172
Topping, K.J. (2009). Peer assessment. Theory into Practice, 48, 20-27. doi:10.1080/00405840802577569
Toury, G. (1980). In search of a theory translation. Tel Aviv: The Porter Institute for Poetics and Semiotics.
Vančura, A. (2013). The story of the tortoise and the hare: Speech rate in simultaneous interpretation and its influence on the quality of trainee-interpreters performance. Jezikoslovlje, 14(1), 85-99.
Vinay, J.-P. & Darbelnet, J. (1995). Comparative stylistics of French and English: A methodology for translation. (vert. J. C. Sager & M.-J. Hamel). Amsterdam: John Benjamins (Oorspr. Stylistique comparée du français et de l'anglais: Méthode de traduction. Paris: Didier).
