SPEEDASSESSMENT ALS FLEXIBEL SELECTIE- INSTRUMENT? Een analyse van validiteit en reacties van kandidaten.

Astrid

De Clercq

Iedereen kent ondertussen speeddaten, maar wat zegt speedasssessment u?

Iedereen die ooit al heeft gesolliciteerd weet hoe langdradig en stroef sommige selectieprocedures verlopen. Speedassessment wil hierop een antwoord bieden.

Bij speedassessment proberen we aan de hand van 3 minuut durende rollenspelen een voorspelling te maken van hoe een toekomstige werknemer zal presteren op de werkvloer.

Deze procedure zorgt ervoor dat we op een korte tijd en op een correcte manier kunnen oordelen over de competenties van potentiële werknemers. Het speedassessment levert de werkgever een besparing in tijd en kosten in het selectieproces. Voor de kandidaat werknemers wordt op een leuke en interactieve manier gepeild naar hun competenties.

Wat is speedassessment?

Uit hedendaags onderzoek in de sociale psychologie blijkt tijd minder belangrijk om personen te beoordelen en lijkt intuïtie een grote rol te spelen. Onderzoek toonde reeds aan dat beoordelaars in een korte tijdspanne (5 minuten) een goed oordeel kunnen vellen over hoe extravert personen zijn. Daaropvolgend kunnen beoordelaars uit de score op extraversie afleiden welk gedrag mensen zullen stellen (bv. mensen met een hoge score op extraversie zullen meer lachen en meer praten). In een andere studie blijkt dat 50 milliseconden al voldoende zou zijn voor een beoordelaar om van een foto accuraat af te leiden hoe extravert iemand is.

Het speedassessment maakt van dezelfde theorie gebruik om sollicitanten te selecteren aan de hand van een aantal kort durende (drie minuten) rollenspelen. In deze rollenspelen wordt gepeild naar vaardigheden en competenties van de sollicitant. Elke werkgever kan zelf kiezen welke competenties en vaardigheden worden getest. Men probeert op deze manier een rollenspel te creëren dat zo dicht mogelijk bij de werkelijke werksituatie ligt. Ook voor de kandidaten kan dit zeer interessant zijn. Op deze manier zien zij onmiddellijk wat de job inhoudt en of dit al dan niet de job is die ze zoeken.

Tijdens de rollenspelen worden de kandidaten beoordeelt door getrainde rollenspelers. De rollenspelers doorlopen een scenario waarbij ze de competenties van sollicitanten meten door bepaalde reacties uit te lokken. Deze reacties worden uitgelokt door vooraf bepaalde triggers. Deze triggers bepalen welke competentie getest wordt. Bijvoorbeeld: een rollenspeler duidelijk maken dat hij het niet eens is met jouw mening. Wat doe je dan in zo een situatie?

Speedassessment geeft voordelen voor zowel de werkgever als de sollicitant.

De korte rollenspelen zijn een eerste voordeel van het speedassessment. De procedure zorgt ervoor dat kandidaten op een efficiëntere en snellere manier getest worden dan in klassieke assessment centers. Op die manier kunnen kosten en tijd voor de werkgever geminimaliseerd worden.

Speedassessment heeft als tweede voordeel flexibiliteit. Het instrument kan makkelijk aangepast worden van organisatie tot organisatie of van vacature tot vacature. De werkgever kan dus zelf kiezen welke competenties er worden getest. Op die manier kan een realistisch beeld van de openstaande functie geschetst worden.

Een derde voordeel van het speedassessment is belangrijk voor de sollicitant zelf. Doordat er meerdere korte rollenspelen doorlopen worden onafhankelijk van elkaar. Zo zal een fout in een rollenspel geen invloed hebben op het volgende rollenspel. Bij speedassessment blijf je slechts drie minuten tegenover dezelfde tegenspeler zitten. Na die drie minuten ga je naar een andere tegenspeler en een nieuwe situatie. Tijdens het nieuwe rollenspel kan men dus met een schone lei starten. Zo kan je in een volgend rollenspel wel perfect de vaardigheid naar voor brengen waar het in een van de voorgaande niet lukte. Je kan een fout dus compenseren door een betere prestatie op andere rollenspelen.

Tot slot wordt bij speedassessment een competentie getest over verschillende situaties heen. Zo hebben we een breed beeld over hoe een bepaalde competentie zich manifesteert in verschillende contexten en hebben sollicitanten het gevoel dat ze zich volledig kunnen bewijzen.

Daarnaast werd gekeken naar de reacties van de kandidaten op het selectieproces. Kandidaten toonden tevredenheid met het proces en vonden het mogelijk om hun vaardigheden te tonen. Dit toont aan dat ook op een korte tijd kandidaten zich in staat voelen te presteren. Kandidaten beschouwen de procedure als eerlijke. Hiermee laat je als bedrijf dan ook een zeer goede indruk na.

Kunnen we mensen op zo een korte tijd goed beoordelen?

Vele mensen denken dat het zeer moeilijk is om op zo een korte tijd personen te beoordelen. Ons onderzoek toonde aan dat dit weldegelijk mogelijk is.

De beoordelingen van het speedassessment hangen positief samen met de evaluatie van collega’s 6 maand later. Dit wil zeggen dat de kandidaten van het speedassessment op een korte tijd van 3 minuten een gelijkende beoordeling krijgt van de beoordelaars als door hun collega’s die met hen al enkele maanden samen werken.

Het testen van sollicitanten voor een job kan dus op een efficiënte en leuke manier die zowel voor sollicitant als werkgever voordelen inhoudt.

Bibliografie

Ames, D.R., & Bianchi, E.C. (2008). The Agreeableness Asymmetry in First Impressions: Perceivers' Impulse to (Mis)judge Agreeableness and How It Is Moderated by Power. Physiological Research, 34(12), 1719 -1736.

doi: 10.1177/0146167208323932

Arthur, W.,Jr, Day, E. A., McNelly, T. L., & Edens, P. S. (2003). A meta-analysis of the criterion-related validity of assessment center dimensions. Personnel Psychology, 56, 125-154.
doi: 10.1111/j.1744-6570.2003.tb00146.x

Arthur, J. W., Woehr, D. J., & Maldegen, R. (2000). Convergent and Discriminant Validity of Assessment Center Dimensions: A Conceptual and Empirical Re-examination of the Assessment Center Construct-Related Validity Paradox. Journal Of Management, 26(4), 813-835.

doi: 10.1016/S0149-2063(00)00057-X

Anderson, N. and Goltsi, V. (2006), Negative Psychological Effects of Selection Methods: Construct Formulation and an Empirical Investigation into an Assessment Center. International Journal of Selection and Assessment, 14, 236–255. doi:10.1111/j.1468-2389.2006.00344.x

Arvey, R. D., Strickland, W., Drauden, G., & Martin, C. (1990). Motivational components of test taking. Personnel Psychology, 43(4), 695-715.

doi: 10.1111/j.1744-6570.1990.tb00679.x

Baig, L. A., & Violato, C. (2012). Temporal stability of objective structured clinical exams: a longitudinal study employing item response theory. BMC Medical Education, 12, 121. doi:10.1186/1472-6920-12-121

Barrick, M. R., Dustin, S. L., Giluk, T. L., Stewart, G. L., Shaffer, J. a., & Swider, B. W. (2012). Candidate characteristics driving initial impressions during rapport building: Implications for employment interview validity. Journal of Occupational and Organizational Psychology, 85(2), 330–352.
doi:10.1111/j.2044-8325.2011.02036.x

Barrick,M.R. & Mount, M.K. (2005) Yes, personality matters: Moving on to more important matters. Human Performance, 18(4), 359-327.

doi: 10.1207/s15327043hup1804_3

Barrick, M. R., Mount, M. K. & Judge, T. A. (2001), Personality and Performance at the Beginning of the New Millennium: What Do We Know and Where Do We Go Next?. International Journal of Selection and Assessment, 9, 9–30. doi:10.1111/1468-2389.00160

Bauer, T. N., Maertz, C. P., Dolen, M. R. & Campion, M. A. (1998). Longitudinal Assessment of Applicant Reactions to Employment Testing and Test Outcome Feedback. Journal of applied psychology, 83(6), 892–903. doi: 10.1037//0021-9010.83.6.892

Bauer, T.N., Truxillo, D.M., Sanchez, R. J., Craig, J.M., Ferrara, P., & Campion, M.A. (2001). Applicant Reactions to Selection: Development of the Selection procedural Justice Scale (SPJS). Personnel Psychology, 54(2), 387–419. doi: 10.1111/j.1744-6570.2001.tb00097.x

Bobko, P., & Roth, P. L. (2013). Reviewing, Categorizing, and Analyzing the Literature on Black-White Mean Differences for Predictors of Job Performance: Verifying Some perceptions and Updating/Correcting Others. Personnel Psychology, 66, 91–126. doi:10.1111/peps.12007

Borkenau, P., Brecke, S., Möttig, C., & Paelecke, M. (2009). Extraversion is accurately perceived after a 50-ms exposure to a face. Journal of Research in Personality, 43(4), 703–706. doi:10.1016/j.jrp.2009.03.007

Borkenau, P., Mauer, N., Riemann, R., Spinath, F. M., & Angleitner, A. (2004). Thin slices of behavior as cues of personality and intelligence. Journal of Personality and Social Psychology, 86(4), 599–614.
doi:10.1037/0022-3514.86.4.599

Campbell, D.T., & Fiske, D.W. (1959). Convergent and discriminant validition by multitrait-multimethod matrix. Psychological bulletin, 56(2), 81-105.
doi:10.1037/h0046016

Chan, D., & Schmitt, N. (1997). Video-based versus paper-and-pencil method of assessment in situational judgment tests: subgroup differences in test performance and face validity perceptions. The Journal of Applied Psychology, 82, 143–59. doi:10.1037/0021-9010.82.1.143

Collins, J.M., Schmidt, F.L., Sanchez-Ku, M., Thomas, L., McDaniel, M. A. & Le, H. (2003). Can basic individual differences shed light on the construct meaning of assessment center evaluations?. International journal of selection and assessment, 11, 17-29. doi: 10.1111/1468-2389.00223

Conway, J. M., Jako, R. A., & Goodman, D. F. (1995). A meta-analysis of interrater and internal consistency reliability of selection interviews. Journal of Applied Psychology, 80(5), 565–579.
doi:10.1037//0021-9010.80.5.565

Cortina, J. M., Goldstein, N. B., Payne, S. C., Davison, H.K. & Gilliland, S. W. (2000), The incremental validity of interview scores over and above cognitive ability and conscentientiousness scores. Personnel Psychology, 53, 325–351. doi: 10.1111/j.1744-6570.2000.tb00204.x

Costa, P. T., McCrae, P. R. (1992). Four ways five factors are basic. Personality and Individual Differences, 13, 653–665.
doi:10.1016/0191-8869(92)90236-I

Dayan, K., Fox, S., & Kasten, R. (2008). The Preliminary Employment Interview as a Predictor of Assessment Center Outcomes. International Journal of Selection and Assessment, 16(2), 102–111.
doi:10.1111/j.1468-2389.2008.00415.x

Dayan, K., Kasten, R., & Fox, S. (2002). Entry-Level Police Candidate Assessment Center: an Efficient Tool or a Hammer To Kill a Fly?. Personnel Psychology, 55(4), 827–849. doi:10.1111/j.1744-6570.2002.tb00131.x

Dilchert, S., & Ones, D. S. (2009). Assessment Center Dimensions: Individual differences correlates and meta-analytic incremental validity. International Journal of Selection and Assessment, 17(3), 254–270.
doi:10.1111/j.1468-2389.2009.00468.x

Endler, N. S., & Magnusson, D. (1976). Toward an interactional psychology of personality. Psychological Bulletin, 83(5), 956–74.
doi:10.1037//0033-2909.83.5.956

Fleeson, W. (2001). Toward a structure- end process-integrated view of personality: traits as density distribution of states. Journal of personality and social psychology, 80 (6), 1011-27. doi:10.1037/0022-3514.80.6.1011

Funder, D. C., & Colvin, C. R. (1988). Friends and Strangers : Acquaintanceship , Agreement , and the Accuracy of Personality Judgment. Journal of Personality and Social Psychology 55, 149–158. doi:10.1037/0022-3514.55.1.149

Guenole, N., Chernyshenko, O. S., Stark, S., Cockerill, T., & Drasgow, F. (2013). More than a mirage: A large-scale assessment center with more dimension variance than exercise variance. Journal of Occupational and Organizational Psychology, 86, 5–21.

doi:10.1111/j.2044-8325.2012.02063.x

Harvey, P., & Radomski, N. (2011). Performance pressure: simulated patients and high-stakes examinations in a regional clinical school. The Australian Journal of Rural Health, 19(6), 284–9.

doi:10.1111/j.1440-1584.2011.01231.x

Hausknecht, J. P., Day, D. V. and Thomas, S. C. (2004), Applicant Reactions to Selection Procedures: An Updated Model and Meta-Analysis. Personnel Psychology, 57, 639–683. doi: 10.1111/j.1744-6570.2004.00003.x

Hawker, J., & Walker, K. (2010). An Objective Structured Clinical Examination to assess preclinical skills. Nutrition & Dietetics, 67(2), 102–105.
doi:10.1111/j.1747-0080.2010.01427.x

Hough, L. M., & Oswald, F. L. (2000). Personnel selection: looking toward the future--remembering the past. Annual Review of Psychology, 51, 631–664. doi: 10.1146/annurev.psych.51.1.631

Jansen, P.G.W. & Jongh, F.(1993). Assessment Centers: Een open boek. Utrecht: Het Spectrum:Marka.

Kenny, D. A. (2004). PERSON: A General Model of Interpersonal Perception. Personality & Social Psychology Review, 8(3), 265-280. doi:10.1207/s15327957pspr0803_3

Kim, T.-Y., & Leung, K. (2007). Forming and reacting to overall fairness: A cross-cultural comparison. Organizational Behavior and Human Decision Processes, 104, 83–95. doi:10.1016/j.obhdp.2007.01.004

Krause, D. E., & Thornton, G. C. (2009), A Cross-Cultural Look at Assessment Center Practices: Survey Results from Western Europe and North America. Applied Psychology, 58, 557–585. doi:10.1111/j.1464-0597.2008.00371.x

Lance, C. E. (2008). Why Assessment Centers Do Not Work the Way They Are Supposed To. Industrial and Organizational Psychology, 40(2), 84–97. doi:10.1111/j.1754-9434.2007.00017.x

Leary, M.R (2008). The Measurement of Behavior. Introduction to Behavioral Research Methods (5th ed.), 55-78, United States of America: Pearson Education

Letzring, T. D., Wells, S. M., & Funder, D. C. (2006). Information quantity and quality affect the realistic accuracy of personality judgment. Journal of Personality and Social Psychology, 91, 111–23.

doi:10.1037/0022-3514.91.1.111

Levesque, M. J., & Kenny, D. A. (1993). Accuracy of Behavioral Predictions at Zero Acquaintance- A Social-Relations Analysis. Journal of Personality & Social Psychology. 65(6),1178-1187.

doi: 10.1037//0022-3514.65.6.1178

Lievens, F. (1998), Factors which Improve the Construct Validity of Assessment Centers: A Review. International Journal of Selection and Assessment, 6(3), 141–152. doi: 10.1111/1468-2389.00085

Lievens, F. (2002). An examination of the accuracy of slogans related to assessment centres. Personnel Review, 31(1-2), 86–102. doi:10.1108/00483480210412436

Lievens, F. (2009). Assessment centres: A tale about dimensions, exercises, and dancing bears. European Journal of Work and Organizational Psychology, 18, 102–121. doi:10.1080/13594320802058997

Lievens, F. (2012). Selectie en Assessment. Human Rescource Management: Back To Basics (8th ed.), 145-203, Leuven: LannooCampus

Lievens, F., Chasteen, C. S., Day, E. A., & Christiansen, N. D. (2006). Large-Scale Investigation of the Role of Trait Activation Theory for Understanding Assessment Center Convergent and Discriminant Validity. Journal Of Applied Psychology, 91(2), 247-258. Doi: 10.1037/0021-9010.91.2.247

Lievens, F., & Conway, J. M. (2001). Dimension and Exercise Variance in an Assessment Center Scores: A Large-Scale Evaluation of Multitrait-Multimethod Studies. Journal Of Applied Psychology, 86(6), 1202-1222.

doi: 10.1037//0021-9010.86.6.1202

Lievens, F., & Patterson, F. (2011). The validity and incremental validity of knowledge tests, low-fidelity simulations, and high-fidelity simulations for predicting job performance in advanced-level high-stakes selection. The Journal of Applied Psychology, 96(5), 927–40. doi:10.1037/a0023496

Macan, T., Avedon, M. J., Pease, M., & Smith, D.E. (1994). The effects of applicants' reactions to cognitive ability tests and an assessment center. Personnel Psychology, 47(4), 715-738. doi:10.1111/j.1744-6570.1994.tb01573.x

Martin, I. G., & Jolly, B. (2002). Predictive validity and estimated cut score of an objective structured clinical examination (OSCE) used as an assessment of clinical skills at the end of the first clinical year. Medical Education, 36(5), 41825. doi:10.1046/j.1365-2923.2002.01207.x

McCarthy, J. and Goffin, R. (2004), Measuring Job Interview Anxiety: Beyond Weak Knees and Sweaty Palms. Personnel Psychology, 57(3), 607–637.

doi: 10.1111/j.1744-6570.2004.00002.x

Meriac, J. P., Hoffman, B. J., Woehr, D. J., & Fleisher, M. S. (2008). Further evidence for the validity of assessment center dimensions: a meta-analysis of the incremental criterion-related validity of dimension ratings. The Journal of Applied Psychology, 93(5), 1042–52.
doi:10.1037/0021-9010.93.5.1042

Monahan, E. L., Hoffman, B. J., Lance, C. E., Jackson, D. J. R., & Foster, M. R. (2013). Now You See Them, Now You Do Not: The Influence of Indicator-Factor Ratio on Support for Assessment Center Dimensions. Personnel Psychology, 66(4), 1009–1047. doi:10.1111/peps.12049

Norman, W. T., & Goldberg, L. R. (1966). Raters, Ratees, and Randomness in Personality Structure. Journal of Personality and Social Psychology 4(6), 681–691. doi: 10.1037/h0024002

Nunnally, J.R. (1978). Psychometric theory (2nd ed.). New York: McGraw-Hill.

Oranye, N. O., Ahmad, C., Ahmad, N., & Abu Bakar, R. (2012). Assessing nursing clinical skills competence through objective structured clinical examination (OSCE) for open distance learning students in open university malaysia. Contemporary Nurse : A Journal for the Australian Nursing Profession, 41(2), 233-41. Retrieved from http://search.proquest.com/docview/1040777020?accountid=11077

O’Sullivan, P., Chao, S., Russell, M., Levine, S., & Fabiny, A. (2008). Development and implementation of an objective structured clinical examination to provide formative feedback on communication and interpersonal skills in geriatric training. Journal of the American Geriatrics Society, 56(9), 1730–5. doi:10.1111/j.1532-5415.2008.01860.x

Ployhart, R. E. (2006). Staffing in the 21st Century: New Challenges and Strategic Opportunities. Journal of Management, 32(6), 868–897. doi:10.1177/0149206306293625

Ployhart, R. E., & Holtz, B. C. (2008), The diversity-validity dilemma: Strategies for reducing race-ethnic and sex subgroup differences and adverse impact in selection. Personnel Psychology, 61: 153–172. doi: 10.1111/j.1744-6570.2008.00109.x

Povah, N., & Thornton, G. (2011). Assessment centres and global talent management. London: Gower

Pretsch, J., Flunger, B., Heckmann, N., & Schmitt, M. (2013). Done in 60 s? Inferring teachers’ subjective well-being from thin slices of nonverbal behavior. Social Psychology of Education, 16(3), 421–434. doi:10.1007/s11218-013-9223-9

Putka, D. J., & Hoffman, B. J. (2013). Clarifying the contribution of assessee-, dimension-, exercise-, and assessor-related effects to reliable and unreliable variance in assessment center ratings. The Journal of Applied Psychology, 98, 114–33. doi:10.1037/a0030887

Richman-Hirsch, W. L., Olson-Buchanan, J. B., & Drasgow, F. (2000). Examining the impact of administration medium on examinee perceptions and attitudes. Journal of Applied Psychology, 85(6), 880–887.

doi:10.1037//0021-9010.85.6.880

Rothbart, M.K., Ahadi, S.A., & Evans, D.E. (2000). Temperament and

personality: Origins and outcomes. Journal of personality and social psychology, 78,122-135. doi: 10.1037//0022-3514.78.1.122

Ryan, A. M., & Ployhart, R. E. (2014). A century of selection. Annual Review of Psychology, 65, 693–717. doi:10.1146/annurev-psych-010213-115134

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274.
doi:10.1037//0033-2909.124.2.262

Schollaert, E. (2011). Trait activation theory and the construct validity of assessment centers: The effect of standardized prompts of role-players (Unpublished Doctoral dissertation) University Ghent, Ghent

Schollaert, E., & Lievens, F. (2011). The Use of Role-Player Prompts in Assessment Center Exercises. International Journal of Selection and Assessment, 19(2), 190–197. doi:10.1111/j.1468-2389.2011.00546.x

Schollaert, E., & Lievens, F. (2012). Building Situational Stimuli in Assessment Center Exercises: Do Specific Exercise Instructions and Role-Player Prompts Increase the Observability of Behavior?. Human Performance, 25(3), 255–271. doi:10.1080/08959285.2012.683907

Schoonheim-Klein, M., Muijtjens, A., Habets, L., Manogue, M., Van der Vleuten, C.,Hoogstraeten J. & Van Der Velde,U. (2008). On the reliability of a dental OSCE, using SEM: effect of different days. European Journal of Dental Education, 12(3), 131–7. doi:10.1111/j.1600-0579.2008.00507.x

Taguchi, N., & Ogawa, T. (2010). OSCEs in Japanese postgraduate clinical training Hiroshima experience 2000-2009. European Journal of Dental Education, 14(4), 203–9. doi:10.1111/j.1600-0579.2009.00610.x

Tett, P.R., & Burnett, D.D. (2003). A personality trait based interactionist model of job performance. Journal of applied psychology, 88, 500-517. doi:10.1037/0021.9010.88.3.500

Tett, R.P., & Guterman, H.A. Situation trait relevance, trait expression, and cross-situational consistency: Testing a principle of trait activation. Journal of research in personality,34(4), 397-423.

doi: 10.1006/jrpe.2000.2292

Thornton, G. C., & Gibbons, A. M. (2009). Validity of assessment centers for personnel selection. Human Resource Management Review, 19(3), 169–187. doi:10.1016/j.hrmr.2009.02.002

Todorov, A., Pakrashi, M., & Oosterhof, N. N. (2009). Evaluating Faces on Trustworthiness after Minimal Time Exposure. Social Cognition, 27(6), 813-833. doi: 10.1521/soco.2009.27.6.813

Turner, J. L., & Dankoski, M. E. (2008). Objective Structured Clinical Exams: A Critical Review. Family medicine, 40(8), 574–578. Retrieved from www.stfm.org/fmhub/fm2008/september/john574.pdf

Vazire, S. & Gosling, S.D. (2004). e-Perceptions: Personality impressions based on personal websites. Journal of personality and social psychology, 87, 123-132. doi: 10.1037/0022-3514.87.1.123

Watson, D., Hubbard, B., & Wiese, D. (2000). Self-other agreement in personality and affectivity: The role of acquaintanceship, trait visibility, and assumed similarity. Journal of Personality and Social Psychology, 78(3), 546–558.
doi:10.1037//0022-3514.78.3.546

Whetzel, D. L., Rotenberry, P. F. and McDaniel, M. A. (2014), In-basket Validity: A systematic review. International Journal of Selection and Assessment, 22, 62–79. doi: 10.1111/ijsa.12057

Willis, J., & Todorov, A. (2006). First impressions: making up your mind after a 100-ms exposure to a face. Psychological Science, 17(7), 592–8.
doi:10.1111/j.1467-9280.2006.01750.x

Woehr, D. J., & Arthur, W. (2003). The Construct-Related Validity of Assessment Center Ratings: A Review and Meta-Analysis of the Role of Methodological Factors. Journal of Management, 29(2), 231–258. doi:10.1177/014920630302900206

Yang, Y.-Y., Lee, F.-Y., Hsu, H.-C., Huang, C.-C., Chen, J.-W., Cheng, H.-M., Lee,W.-S.,Chuang, C.,-L.,Chang, C.,-C. & Huang, C.-C. (2011). Assessment of first-year post-graduate residents: usefulness of multiple tools. Journal of the Chinese Medical Association : JCMA, 74(12), 531–8. doi:10.1016/j.jcma.2011.10.002