Psychosocial interventions for reducing vocal challenging behaviour in persons with autistic disorder: A multilevel meta-analysis of single-case experiments.
Optimistisch over effectiviteit van psychosociale interventies voor vocaal probleemgedrag bij personen met een autistische stoornis
Het masterproefonderzoek van Lien Vanderkerken, een meta-analyse van 52 geïndividualiseerde experimenten over psychosociale interventies voor vocaal probleemgedrag bij personen met een autistische stoornis, brengt optimistische conclusies. De toegepaste interventies bleken over het algemeen zeer effectief, en dit los van het geslacht en de leeftijd van de persoon in kwestie en van de locatie waar de interventie plaatsvond. De soort van vocaal probleemgedrag en het interventietype bleken wel beduidend bepalend voor de interventie-effectiviteit.
Vocaal probleemgedrag
Mede door hun beperkingen op het vlak van sociale vaardigheden, taal en communicatie en de rigide gedragingen die ze stellen, zijn mensen met een autistische stoornis kwetsbaar voor het ontwikkelen van probleemgedrag. Een vaak voorkomende vorm van probleemgedrag bij deze personen is vocaal probleemgedrag. Hieronder verstaan we onder meer verbale agressie, ongepast taalgebruik, en vocale tics. Vocaal probleemgedrag kan storend zijn voor de persoon zelf, voor medeleerlingen en -bewoners, voor ouders, leerkrachten en andere begeleiders en kan stigmatiserend en uitsluitend werken. Het is dan ook erg belangrijk te weten hoe we dit gedrag kunnen reduceren.
Psychosociale interventies
Inmiddels werden er al heel wat psychosociale interventies voor vocaal probleemgedrag bij deze populatie ontwikkeld en toegepast. Psychosociale interventies zijn gericht op psychologische processen bij de persoon in kwestie, op zijn of haar omgeving, en/of op de interactie tussen beide. Zo gebruikt men bijvoorbeeld beloningssystemen, leert men personen ander gedrag aan, en vermijdt men situaties die aanleiding geven tot vocaal probleemgedrag. De hamvraag is echter óf deze interventies werken en wélke factoren hun effectiviteit beïnvloeden.
Van geïndividualiseerde experimenten tot meta-analyse van geïndividualiseerde experimenten
Psychosociale interventies voor vocaal probleemgedrag bij personen met een autistische stoornis worden veelvuldig geëvalueerd. Hiervoor maakt men hoofdzakelijk gebruik van geïndividualiseerd experimenteel onderzoek. In geïndividualiseerd experimenteel onderzoek wordt één individu, of een klein aantal individuen, apart en in detail opgevolgd. Voor, tijdens, en na een interventie voert men herhaalde metingen uit. Geïndividualiseerd experimenteel onderzoek biedt een relatief goedkoop en eenvoudig alternatief voor het duurdere en complexere groepsvergelijkend experimenteel onderzoek. Bovendien heeft men slechts één of enkele participanten nodig voor een geïndividualiseerd experiment (wat handig is wanneer men personen met een zeer specifieke problematiek wil onderzoeken) en biedt deze vorm van onderzoek de kans om het gedrag van één persoon en de evolutie van zijn/haar gedrag uiterst grondig te bestuderen. Daarenboven kunnen onderzoeksresultaten van geïndividualiseerd onderzoek veel makkelijker vertaald worden naar persoonsspecifieke handvaten voor de dagdagelijkse praktijk. Desalniettemin kan je de onderzoeksresultaten met betrekking tot één persoon niet gebruiken om meer algemeen geldende uitspraken te doen. De onderzoeksresultaten van meerdere geïndividualiseerde experimenten statistisch combineren, we spreken van een meta-analyse van geïndividualiseerde experimenten, kan hiervoor een geschikte oplossing bieden.
Met een multiniveau meta-analyse van geïndividualiseerde experimenten over psychosociale interventies voor vocaal probleemgedrag bij personen met een autistische stoornis past dit masterproefonderzoek in een ruimere traditie. Verschillende onderzoekers voerden reeds meta-analyses uit van geïndividualiseerde experimenten over diverse interventies voor verschillende soorten van probleemgedrag bij personen met ontwikkelingsstoornissen. Het gebruik van multiniveaumodellen (i.e., statistische modellen die rekening houden met de gelaagdheid in de data) is echter eerder zeldzaam in deze traditie en is kenmerkend voor de meeste meta-analyses van geïndividualiseerde experimenten uitgevoerd aan de Faculteit Psychologie en Pedagogische Wetenschappen van de KU Leuven, waar multiniveaumodellen voor soortgelijke meta-analyses werden ontwikkeld en nog steeds worden verfijnd.
Leeftijd, geslacht, en andere mogelijks beïnvloedende factoren
Gebaseerd op eerder uitgevoerde meta-analyses van geïndividualiseerde experimenten over interventies voor probleemgedrag bij mensen met autisme en/of andere ontwikkelingsstoornissen werd een lijst met factoren opgesteld die de interventie-effectiviteit mogelijks beïnvloeden. Deze factoren betreffen de persoon zelf (bijv. leeftijd, geslacht, soort van vocaal probleemgedrag), de interventie en de interventiecontext (bijv. interventietype, locatie, voorafgaand onderzoek naar de functie van het vocaal probleemgedrag), en de studie (publicatiejaar, studiekwaliteit).
52 experimenten, 74 participanten, en legio meetresultaten
Een systematische zoektocht doorheen vier elektronische databanken en 23 relevante wetenschappelijke tijdschriften resulteerde in een verzameling van 52 geïndividualiseerde experimenten, met in totaal 74 participanten. De participanten waren hoofdzakelijk kinderen en jongeren. De meetresultaten van elke deelnemer werden overgenomen uit zijn/haar studierapport en gelijk geschaald met deze van de andere deelnemers. Verder werd voor elke participant en voor elke studie informatie verzameld met betrekking tot de mogelijks beïnvloedende factoren (zie boven).
Of deze interventies werken…
Een eerste statistische analyse wees uit dat het vocaal probleemgedrag sterk afnam tijdens interventiemomenten, vergeleken met momenten zonder interventie. Het interventie-effect was echter niet voor iedere studie, noch voor elke deelnemer even groot. Via diverse complexere analyses en de bouw van verschillende statistische modellen werd nagegaan welke factoren de verschillen in interventie-effectiviteit tussen studies en tussen participanten het best konden verklaren.
…en welke factoren hun effectiviteit beïnvloeden
Na het uitvoeren van verschillende statistische analyses kon men besluiten dat het geslacht van de persoon, zijn/haar leeftijd, en de locatie waar de interventie plaatsvond de grootte van het interventie-effect niet beduidend beïnvloedden. Dit gold eveneens voor het publicatiejaar en de studiekwaliteit. De soort van vocaal probleemgedrag en het interventietype waren wel sterk van belang. De sterkste verminderingen in vocaal probleemgedrag werden gevonden voor vocaal probleemgedrag dat vocale stereotypie bevatte. Daarenboven bleken interventies die zowel acties los van of voorafgaand aan het vocaal probleemgedrag als reacties op het vocaal probleemgedrag bevatten, effectiever dan enkel aan het vocaal probleemgedrag voorafgaande of zuiver reagerende interventies. Anders dan verwacht kon deze studie niet bevestigen dat een aan de interventie voorafgaand onderzoek naar de functie van het vocaal probleemgedrag (bijv. om aandacht te krijgen) betere interventieresultaten oplevert.
Hoop en advies voor practici
Op basis van deze meta-analyse van geïndividualiseerde experimenten kunnen we leerkrachten en begeleiders allereerst hoop aanreiken en hen motiveren om psychosociale interventies te blijven toepassen voor vocaal probleemgedrag bij personen met een autistische stoornis. Verder kunnen we hen aanraden om acties los van of voorafgaand aan vocaal probleemgedrag (bijv. voorbeeldgedrag stellen, snoezelmomenten organiseren) te combineren met reacties op vocaal probleemgedrag (bijv. beloningssystemen of time-out toepassen), vermits gecombineerde interventies het meest effectief bleken. Zoals eerder gezegd had één geïndividualiseerd experiment deze adviezen niet kunnen opleveren. Of: hoe vele kleintjes één groot maken.
Deze masterproef werd ingestuurd naar Research in Developmental Disabilities. Na een beperkte revisie werd de masterproef aanvaard voor publicatie in Research in Developmental Disabilities.
Bibliografie
Bibliografie
American Psychiatric Association. (2000). Diagnostic and statistical manual of mental disorders (4th ed., text revision). Washington, DC: Author.
Athens, E. S., Vollmer, T. R., Sloman, K. N., & Pipkin, C. St. P. (2008). An analysis of vocal stereotypy and therapist fading. Journal of Applied Behavior Analysis, 41, 291–297. doi:10.1901/jaba.2008.41-291
Barlow, D. H., Nock, M. K., & Hersen, M. (2009). Single case experimental designs: Strategies for studying behavior change (3rd ed.). Boston, MA: Allyn & Bacon.
Buschbacher, P. W., & Fox, L. (2003). Understanding and intervening with the challenging behavior of young children with autism spectrum disorder. Language, Speech, and Hearing Services in Schools, 34, 217–227. doi:10.1044/0161-1461(2003/018)
Campbell, J. M. (2003). Efficacy of behavioral interventions for reducing problem behavior in persons with autism: A quantitative synthesis of single-subject research. Research in Developmental Disabilities, 24, 120–138. doi:10.1016/S0891-4222(03)00014-3
Campbell, J. M. (2004). Statistical comparison of four effect sizes for single-subject designs. Behavior Modification, 28, 234–246. doi:10.1177/0145445503259264
Chowdhury, M., & Benson, B. A. (2011). Use of differential reinforcement to reduce behavior problems in adults with intellectual disabilities: A methodological review. Research in Developmental Disabilities, 32, 383–394. doi:10.1016/j.ridd.2010.11.015
Cohen, I. L., Yoo, H. J., Goodwin, M. S., & Moskowitz, L. (2011). Assessing challenging behaviors in autism spectrum disorders: Prevalence, rating scales, and autonomic indicators. In J. L. Matson & P. Sturmey (Vol. Eds.), International handbook of autism and pervasive developmental disorders (pp. 247–270). New York, NY: Springer.
Cooper, H. (2010). Research synthesis and meta-analysis: A step-by-step approach (4th ed.). Thousand Oaks, CA: Sage.
Cunningham, A. B., & Schreibman, L. (2008). Stereotypy in autism: The importance of function. Research in Autism Spectrum Disorders, 2, 469–479. doi:10.1016/j.rasd.2007.09.006
Denis, J., Van den Noortgate, W., & Maes, B. (2011). Self-injurious behavior in people with profound intellectual disabilities: A meta-analysis of single-case studies. Research in Developmental Disabilities, 32, 911–923. doi:10.1016/j.ridd.2011.01.014
DerSimonian, R., & Laird, N. (1986). Meta-analysis in clinical trials. Controlled Clinical Trials, 7, 177–188.
Didden, R., Korzilius, H., van Oorsouw, W., & Sturmey, P. (2006). Behavioral treatment of challenging behaviors in individuals with mild mental retardation: Meta-analysis of single-subject research. American Journal on Mental Retardation, 111, 290–298. doi:10.1352/0895-8017(2006)111[290:BTOCBI]2.0.CO;2
Došen, A., Gardner, W. I., Griffiths, D. M., King, R., & Lapointe, A. (2007). Practice guidelines and principles: Assessment, diagnosis, treatment, and related support services for persons with intellectual disabilities and problem behaviour. Centre of Consultation and Expertise, Gouda, The Netherlands.
Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. British Medical Journal, 315, 629–634.
Egger, M., Zellweger-Zähner, T., Schneider, M., Junker, C., Lengeler, C., & Antes, G. (1997). Language bias in randomised controlled trials published in English and German. Lancet, 350, 326–329. doi:10.1016/S0140-6736(97)02419-7
Emerson, E. (2001). Challenging behaviour: Analysis and intervention in people with severe intellectual disabilities (2nd ed.). Cambridge: Cambridge University Press.
Ferron, J., Hess, M. R., Hogarty, K. Y., Dedrick, R. F., Kromrey, J. D., Lang, T. R., & Niles, J. (2004, April). Hierarchical linear modeling: A review of methodological issues and applications. Paper presented at the Annual Meeting of the American Educational Research Association (AERA), San Diego, CA.
Franco, J. H., Lang, R. L., O'Reilly, M. F., Chan, J. M., Sigafoos, J., & Rispoli, M. (2009). Functional analysis and treatment of inappropriate vocalizations using a speech-generating device for a child with autism. Focus on Autism and Other Developmental Disabilities, 24, 146–155. doi:10.1177/1088357609338380
Gabriels, R. L., Agnew, J. A., Holt, K. D., Shoffner, A., Zhaoxing, P., Ruzzano, S., ... Mesibov, G. (2012). Pilot study measuring the effects of therapeutic horseback riding on school-age children and adolescents with autism spectrum disorders. Research in Autism Spectrum Disorders, 6, 578–588. doi:10.1016/j.rasd.2011.09.007
Galiatsatos, G. T., & Graff, R. B. (2003). Combining descriptive and functional analyses to assess and treat screaming. Behavioral Interventions, 18, 123–138. doi:10.1002/bin.133
Ganz, J. B., Earles-Vollrath, T. L., Heath, A. K., Parker, R. I., Rispoli, M. J., & Duran, J. B. (2012). A meta-analysis of single case research studies on aided augmentative and alternative communication systems with individuals with autism spectrum disorders. Journal of Autism and Developmental Disorders, 42, 60–74, doi:10.1007/s10803-011-1212-2
Glass, G. V. (1976). Primary, secondary, and meta-analysis of research. Educational Researcher, 5, 3–8. doi:10.3102/0013189X005010003
Green, B. N., Johnson, C. D., & Adams, A. (2006). Writing narrative literature reviews for peer-reviewed journals: Secrets of the trade. Journal of Chiropractic Medicine, 5, 101–117. doi:10.1016/S0899-3467(07)60142-6
Grossman, J., & Mackenzie, F. J. (2005). The randomized controlled trail: Gold standard, or merely standard? Perspectives in biology and medicine, 48, 516–534. doi:10.1353/pbm.2005.0092
Haahr, M. (1998). RANDOM.ORG. Retrieved from http://www.random.org/
Harvey, S. T., Boer, D., Meyer, L. H., & Evans, I. M. (2009). Updating a meta-analysis of intervention research with challenging behaviour: Treatment validity and standards of practice. Journal of Intellectual and Developmental Disability, 34, 67–80. doi:10.1080.13668250802690922
Hastings, R. P. (2002). Parental stress and behaviour problems of children with developmental disability. Journal of Intellectual and Developmental Disability, 27, 149–160. doi:10.1080/1366825021000008657
Hastings, R. P. (2005). Staff in special education settings and behaviour problems: Towards a framework for research and practice. Educational Psychology, 25, 207–221. doi:10.1080/0144341042000301166
Healy, O., & Leader, G. (2011). Assessment of rituals and stereotypy. In J. L. Matson & P. Sturmey (Vol. Eds.), International handbook of autism and pervasive developmental disorders (pp. 233–246). New York, NY: Springer.
Helverschou, S. B., Bakken, T. L., & Martinsen, H. (2011). Psychiatric disorders in people with autism spectrum disorders: Phenomenology and recognition. In J. L. Matson & P. Sturmey (Vol. Eds.), International handbook of autism and pervasive developmental disorders (pp. 53–74). New York, NY: Springer.
Hetzroni, O. E., & Tannous, J. (2004). Effects of a computer-based intervention program on the communicative functions of children with autism. Journal of Autism and Developmental Disorders, 34, 95–113. doi:10.1023/B:JADD.0000022602.40506.bf
Heyvaert, M., Maes, B., Van den Noortgate, W., Kuppens, S., & Onghena, P. (2012). A multilevel meta-analysis of single-case and small-n research on interventions for reducing challenging behavior in persons with intellectual disabilities. Research in Developmental Disabilities, 33, 766–780. doi:10.1016/j.ridd.2011.10.010
Heyvaert, M., Saenen, L., Maes, B., & Onghena, P. (submitted). Systematic review of restraint interventions for challenging behaviour among persons with intellectual disabilities: Focus on effectiveness in single-case experiments. Manuscript submitted to the Journal of Applied Research in Intellectual Disabilities.
Higgins, J. P. T., & Green, S. (Eds.). (2011). Cochrane handbook for systematic reviews of interventions (Version 5.1.0) [updated March 2011, Electronic Version]. Retrieved from www.cochrane-handbook.org
Hodgetts, S., Magill-Evans, J., & Misiaszek, J. E. (2011). Weighted vests, stereotyped behaviors and arousal in children with autism. Journal of Autism and Developmental Disorders, 41, 805–814. doi:10.1007/s10803-010-1104-x
Holden, B., & Gitlesen, J. P. (2009). The overlap between psychiatric symptoms and challenging behaviour: A preliminary study. Research in Developmental Disabilities, 30, 210–218. doi:10.1016/j.ridd.2008.03.003
Horner, R. H., Carr, E. G., Halle, J., McGee, G., Odom, S., & Wolery, M. (2005). The use of single-subject research to identify evidence-based practice in special education. Exceptional Children, 71, 165–179.
Howlin, P. (1998). Practitioner review: Psychological and educational treatments for autism. Journal of Child Psychology and Psychiatry, 39, 307–322. doi:10.1111/1469-7610.00327
Hutchins, T. L., & Prelock, P. A. (n.d.). Using communication to reduce challenging behaviors in individuals with autism spectrum disorders. Retrieved from http://www.vermontfamilynetwork.org/wp-content/uploads/2013/04/psychiat…
Iwakabe, S., & Gazzola, N. (2009). From single-case studies to practice-based knowledge: Aggregating and synthesizing case studies. Psychotherapy Research, 19, 601–611. doi:10.1080/10503300802688494
Kazdin, A. E. (2011). Single-case research designs: Methods for clinical and applied settings (2nd ed.). New York, NY: Oxford University Press.
Keeling, K., Smith Myles, B., Gagnon, E., & Simpson, R. L. (2003). Using the power card strategy to teach sportsmanship skills to a child with autism. Focus on Autism and Other Developmental Disabilities, 18, 105–111. doi:10.1177/108835760301800204
Kokina, A., & Kern, L. (2010). Social Story™ interventions for students with autism spectrum disorders: A meta-analysis. Journal of Autism and Developmental Disorders, 40, 812–826. doi:10.1007/s10803-009-0931-0
Langen, M., Durston S., Kas, M. J., van Engeland, H., & Staal W. G. (2011). The neurobiology of repetitive behavior: … and men. Neuroscience and Biobehavioral Reviews. 35, 356–365. doi:10.1016/j.neubiorev.2010.02.005
Lanovaz, M. J., & Sladeczek, I. E. (2012). Vocal stereotypy in individuals with autism spectrum disorders: A review of behavioral interventions. Behavior Modification, 36, 146–164. doi:10.1177/0145445511427192
Lequia, J., Machalicek, W., & Rispoli, M. J. (2012). Effects of activity schedules on challenging behavior exhibited in children with autism spectrum disorders: A systematic review. Research in Autism Spectrum Disorders, 6, 480–492. doi:10.1016/j.rasd.2011.07.008
Lipsey, M. W. (2003). Those confounded moderators in meta-analysis: Good, bad, and ugly. The Annals of the American Academy of Political and Social Science, 587, 69–81. doi:10.1177/0002716202250791
Littell, R. C., Milliken, G. A., Stroup, W. W., Wolfinger, R. D., & Schabenberger, O. (2006). SAS® for mixed models (2nd ed.). Cary, NC: SAS Institute Inc.
Liu-Gitz, L., & Banda, D. R. (2010). A replication of the RIRD strategy to decrease vocal stereotypy in a student with autism. Behavioral Interventions, 25, 77–87. doi:10.1002/bin.297
Ma, H.-H. (2009). The effectiveness of intervention on the behavior of individuals with autism: A meta-analysis using percentage of data points exceeding the median of baseline phase (PEM). Behavior Modification, 33, 339–359. doi:10.1177/0145445509333173
MacDonald, R., Green, G., Mansfield, R., Geckeler, A., Gardenier, N., Anderson, J., … Sanchez, J. (2007). Stereotypy in young children with autism and typically developing children. Research in Developmental Disabilities, 28, 266–277. doi:10.1016/j.ridd.2006.01.004
Machalicek, W., O’Reilly, M. F., Beretvas, N., Sigafoos, J., & Lancioni, G. E. (2007). A review of interventions to reduce challenging behavior in school settings for students with autism spectrum disorders. Research in Autism Spectrum Disorders, 1, 229–246. doi:10.1016/j.rasd.2006.10.005
Mancil, R. C. (2006). Functional communication training: A review of the literature related to children with autism. Education and Training in Developmental Disabilities, 41, 213–224.
Matson, J. L., & Shoemaker, M. (2009). Intellectual disability and its relationship to autism spectrum disorders. Research in Developmental Disabilities, 30, 1107–1114. doi:10.1016/j.ridd.2009.06.003
Matson, J. L., Turygin, N. C., Beighley, J., & Matson, M. L. (2012). Status of single-case research designs for evidence-based practice. Research in Autism Spectrum Disorders 6, 931–938. doi:10.1016/j.rasd.2011.12.008
Miguel, C. F., Clark, K., Tereshko, L., & Ahearn, W. H. (2009). The effects of response interruption and redirection and sertraline on vocal stereotypy. Journal of Applied Behavior Analysis, 42, 883–888. doi:10.1901/jaba.2009.42-883
Norris, C., & Dattilo, J. (1999). Evaluating effects of a social story intervention on a young girl with autism. Focus on Autism and Other Developmental Disabilities, 14, 180–186. doi:10.1177/108835769901400307
Parker, R. I., Vannest, K. J., & Brown, L. (2009). The improvement rate difference for single-case research. Exceptional Children, 75, 135–150.
Rapp, J. T. (2007). Further evaluation of methods to identify matched stimulation. Journal of Applied Behavior Analysis, 40, 73–88. doi:10.1901/jaba.2007.142-05
Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (2nd ed.). Thousand Oaks, CA: Sage.
Rosenthal, R. (1991). Meta-analytic procedures for social research (Rev. ed.). Newbury Park, CA: Sage.
Rothstein, H. R., Sutton, A. J., & Borenstein, M. (Eds.). (2005). Publication bias in meta-analysis. Prevention, assessment, and adjustments. Chichester: John Wiley & Sons.
SAS Institute. (2011). SAS/STAT user’s guide (Version 9.3) [Electronic Version]. Retrieved from http://support.sas.com/documentation/cdl/en/statug/63962/HTML/default/v…
Schalock, R. L. (2004). The concept of quality of life: What we know and do not know. Journal of Intellectual Disability Research, 48, 203–216. doi:10.1111/j.1365-2788.2003.00558.x
Shadish, W. R., Brasil, I. C. C., Illingworth, D. A. I., White, K. D., Galindo, R., Nagler, E. D., & Rindskopf, D. M. (2009). Using UnGraph to extract data from image files: Verification of reliability and validity. Behavior Research Methods, 41, 177–183. doi:10.3758/BRM.41.1.177
Shogren, K. A., Faggella-Luby, M. N., Bae, S. J., & Wehmeyer, M. L. (2004). The effect of choice-making as an intervention for problem-behavior: A meta-analysis. Journal of Positive Behavior Interventions, 6, 228–237. doi:10.1177/10983007040060040401
Snijders, T. A. B., & Bosker, R. J. (2012). Multilevel analysis. An introduction to basic and advanced multilevel modeling (2nd ed.). Thousand Oaks, CA: Sage.
Sterne, J. A. C., & Egger, M. (2001). Funnel plots for detecting bias in meta-analysis: Guidelines on choice of axis. Journal of Clinical Epidemiology, 54, 1046–1055. doi:10.1016/S0895-4356(01)00377-8
Sterne, J. A. C., Sutton, A. J., Ioannidis, J. P. A., Terrin, N., Jones, D. R., Lau, J., … Higgins, J. P. T. (2011). Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. British Medical Journal, 342. doi:10.1136/bmj.d4002
Tarbox, J., Wilke, A. E., Najdowski, A. C., Findel-Pyles, R. S., Balasanyan, S., Caveney, A. C., … Tia, B. (2009). Comparing indirect, descriptive, and experimental functional assessments of challenging behavior in children with autism. Journal of Developmental and Physical Disabilities, 21, 493–514. doi:10.1007/s10882-009-9154-8
Tate, R. L., McDonald, S., Perdices, M., Togher, L., Schultz, R., & Savage, S. (2008). Rating the methodological quality of single-subject designs and n-of-1 trials: Introducing the Single-Case Experimental Design (SCED) Scale. Neuropsychological Rehabilitation, 18, 385–401. doi:10.1080/09602010802009201
Thornton, A., & Lee, P. (2000). Publication bias in meta-analysis: Its causes and consequences. Journal of Clinical Epidemiology, 53, 207-216. doi:10.1016/S0895-4356(99)00161-4
Tomanik, S., Harris, G. E., & Hawkins, J. (2004). The relationship between behaviours exhibited by children with autism and maternal stress. Journal of Intellectual and Developmental Disability, 29, 16–26. doi:10.1080/13668250410001662892
UnGraph (Version 5.0) [Computer software]. Available from http://www.biosoft.com/w/ungraph.htm
Van den Noortgate, W., & Onghena, P. (2003a). Combining single-case experimental data using hierarchical linear models. School Psychology Quarterly, 18, 325–346. doi:10.1521/scpq.18.3.325.22577
Van den Noortgate, W., & Onghena, P. (2003b). Hierarchical linear models for the quantitative integration of effect sizes in single-case research. Behavior Research Methods, Instruments, & Computers, 35, 1–10.
Van den Noortgate, W., & Onghena, P. (2003c). Multilevel meta-analysis: A comparison with traditional meta-analytical procedures. Educational and Psychological Measurement, 63, 765–790. doi:10.1177/0013164403251027
Van den Noortgate, W., & Onghena, P. (2007). The aggregation of single-case results using hierarchical linear models. The Behavior Analyst Today, 8, 196–209.
Van den Noortgate, W., & Onghena, P. (2008). A multilevel meta-analysis of single-subject experimental design studies. Evidence-Based Communication Assessment and Intervention, 2, 142–151. doi:10.1080/17489530802505362
Viechtbauer, W. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36, 1–48.
Vollmer, T. R. (1994). The concept of automatic reinforcement: Implications for behavioral research in developmental disabilities. Research in Developmental Disabilities, 15, 187–207. doi:10.1016/0891-4222(94)90011-6
World Health Organization. (2013). ICD-10 (Version 2010). Retrieved from http://apps.who.int/classifications/icd10/browse/2010/en
Zhan, S., & Ottenbacher, K. J. (2001). Single subject research designs for disability research. Disability and Rehabilitation, 23, 1–8. doi:10.1080/09638280150211202
