Evaluering uden evidens. Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

Transkript

1 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud Evaluering uden evidens Linda Lundgaard Andersen Er børnegrupperne sammenlignelige? Jacob Krabbe Pedersen & Cecilia Brynskov Fejlkilde og manglende kendskab til autismeforskningen Cecilia Brynskov Tests og testadministration Helle Jensen Effektmålinger af tilbud til småbørn med autisme Helle Jensen Den pædagogiske praksis Linda Lundgaard Andersen & Bjørg Kjær Den kommunale visitation til autismetilbud Bjørg Kjær Samspillet mellem professionelle og forældre Bjørg Kjær

2 Indhold side 5 side 14 side 22 side 25 side 29 side 33 side 40 side 43 Evaluering uden evidens Linda Lundgaard Andersen Er børnegrupperne sammenlignelige? Jacob Krabbe Pedersen & Cecilia Brynskov Fejlkilde og manglende kendskab til autismeforskningen Cecilia Brynskov Tests og testadministration Helle Jensen Effektmålinger af tilbud til småbørn med autisme Helle Jensen Den pædagogiske praksis Linda Lundgaard Andersen & Bjørg Kjær Den kommunale visitation til autismetilbud Bjørg Kjær Samspillet mellem professionelle og forældre Bjørg Kjær Evaluering uden evidens. Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud Udgiver: ABAforum 2007 Redaktør: Joi Bay ABAforum og forfatterne Fotos: Istockphoto (modelfotos af børn, som ikke har autismespektrumforstyrrelser) Billedvalg og grafisk design: Pure Lines visuel kommunikation ISBN ABAforum er et adfærdsanalytisk ressourcecenter og netværk bestående af forskere og forskerstuderende fra Århus, Roskilde og København. ABAforum redigerer websitet og publicerer tekster om adfærdsanalytisk behandling af børn med autisme. Antologien kan downloades gratis eller bestilles i trykt form på

3 Forord ETIBA-evalueringen er på flere måder en vigtig nyskabelse i dansk handicappolitik. Det er første gang, at der bliver gennemført en national kortlægning og analyse af autismespecifikke børnehavetilbud, og det er første gang, at der bliver forsøgt gennemført en evidensbaseret vurdering af specialpædagogiske tilbud. Ikke kun på autismeområdet, men i det hele taget. Evidensbølgen er relativt ny på de sociale og pædagogiske områder i Danmark, og specialpædagogikken har ikke stået forrest i køen af problemområder, man har villet undersøge med disse nye evalueringsmetoder. Derfor er ETIBA ikke bare en vigtig, men også en nødvendig og fremadrettet nyskabelse. Evidensbaserede pædagogiske tilbud repræsenterer fremtiden og vil med tiden erstatte den traditions- og holdningsbaserede specialpædagogik. Forældre til børn med handicap vil i stigende grad møde det offentlige med krav om, at myndighederne kan dokumentere effekterne af deres tilbud, og politikere vil have voksende forventninger om, at midlerne til et dyrt handicap som autisme kan forsvares med henvisninger til cost-benefit-analyser baseret på effektstudier. Det er derfor, ABAforum som er et adfærdsanalytisk ressourcecenter har bedt en række forskere og fagfolk om at kommentere ETIBA-evalueringen. ETIBA må formodes at blive forbillede for fremtidige evidensstudier inden for handicapområdet og specialpædagogikken, og ETIBA kan meget vel få indflydelse på myndigheders og politikeres prioriteringer i forhold til småbørn med autisme. For at kunne vurdere, i hvilken udstrækning ETIBA lever op til disse forventninger, har forskere fra universiteter og videnscentre set med kritiske øjne på ETIBA-rapporten. Forfatterne til de enkelte kapitler i denne antologi er psykologer, sprogpsykologer, pædagogiske forskere og statistikere, og de har et bredt kendskab både til autisme som handicap og til forskning i autisme. Forfatterne er samtidig forældre til børn med autisme, og de følger således i fodsporet på de efterhånden adskillige udenlandske forskere, som er blevet personligt berørt af autismespektrumforstyrrelser, og som efterfølgende har gjort autismeforskning til deres forskningsfelt Lorna Wing er den mest kendte. Forskningsudvikling og udvikling af tilbud til børn med autisme forudsætter en kritisk metodisk og faglig diskussion, og i stedet for at vente på, at denne diskussion kan udfolde sig i faglige og videnskabelige tidsskrifter, har ABAforum valgt at udgive kommentarerne hurtigt efter udgivelsen af ETIBA-rapporten. Redaktionen har bedt forfatterne om at skrive i et ikke-indforstået sprog og på en sådan måde, at det er forståeligt for interesserede fagfolk og forældre. Forfatterne har i varierende omfang kunnet leve op til dette, så der forekommer enkelte passager skrevet i en videnskabelig jargon, men hovedparten af antologien vil også kunne læses af folk uden en forskningsmæssig baggrund. Joi Bay, forskningsredaktør af ABAforum Februar

4 side 4 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

5 Evaluering uden evidens Af Linda Lundgaard Andersen, ph.d., lektor ved Institut for Psykologi og Uddannelsesforskning, Roskilde Universitetscenter Evidens er et begreb med flere betydninger. Her anvendes det om forskningsmæssig kvalitet og stringens. Når titlen på denne antologi og på dette kapitel er Evaluering uden evidens, er det udtryk for en kritik af den forskningsmæssige kvalitet i ETIBA-evalueringen. Den kalder sig selv for en forskningsbaseret evaluering, men på en række punkter lever den ikke op til sædvanlige kvalitetskrav for god og solid forskning. Der er tale om metodiske svagheder, som svækker evalueringens resultater. Denne konklusion er nærmere dokumenteret i denne antologis øvrige kapitler. De økonomiske interesser i evidensbaseret viden om autisme Autisme er et dyrt handicap. Det skyldes ikke kun, at forældre til børn med autisme er gode til at gøre opmærksom på deres børns behov, men også at autisme er et psykisk og socialt belastende handicap, som for en del børns vedkommende forudsætter en meget tæt pædagogisk indsats eller støtte. International forskning har desuden vist, at de samfundsmæssige udgifter til børn med autisme vokser betragteligt, når børnene kommer i puberteten, hvor problemadfærden kan tage til og ende med indlæggelser på psykiatriske afdelinger. Sammenligninger med andre store børnehandicapgrupper cerebral parese, Downs syndrom, generel mental retardering viser, at autisme formodentlig er det børnehandicap, der i størst grad belaster de offentlige kasser. Det skyldes dels, at enhedsprisen for børn med autisme er høj, og dels, at autisme nu er det hyppigst forekommende alvorlige børnehandicap. Samtidig er der og det gælder for alle alvorlige handicaps et karakteristisk mønster i fordelingen af de offentlige udgifter: De er mindst i barndom og ungdom, men vokser betragteligt i voksenlivet. Det skyldes dels, at forældrene i barndoms- og ungdomsperioden varetager en række ikke-betalte opgaver i relation til handicappet, og dels, at barndoms- og ungdomsperioderne samlet set er relativt korte i forhold til den samlede levealder. Når personer med autisme bliver voksne, overtager det offentlige en større del af den økonomiske byrde, og personer med autisme har en næsten lige så lang gennemsnitlig levealder som personer uden handicap. Hvis man i kraft af en pædagogisk indsats i barndoms- og ungdomsperioden kan forbedre funktionsniveauet hos personer med autisme, gøre dem mere selvhjulpne og måske også sætte dem i stand til at forsørge sig selv, så er der altså på sigt store økonomiske gevinster for det offentlige. Det er forklaringen på, at der internationalt i disse år bevilges mange midler til forskning i tidlig pædagogisk behandling af autisme. Man opfatter både forskningen og den tidlige pædagogiske behandling som en investering, der kan føre til langsigtede samfundsmæssige besparelser. Forudsætningen for, at disse forventninger kan indfries, er, at den grundlæggende forskning i effekter 5

6 af den pædagogiske indsats er troværdig. At den er udført på en sådan måde, at forældre, myndigheder og politikere kan fæste lid til forskningens resultater. Internationalt er der til det formål udviklet standarder for vurdering af effektforskning både på det sundhedsvidenskabelige og det sociale område (Clarke 2001; Campbell Systematic Reviews 2001) og specifikt inden for autismeområdet har en stor tværvidenskabelig arbejdsgruppe for nylig barslet med fælles anbefalinger til, hvordan effektforskning skal udføres (Lord et al. 2005). Som et første dansk forsøg lever ETIBA selvfølgelig ikke op til disse standarder. Det er forventeligt, og ETIBA skal ikke vurderes i forhold til disse ideale standarder, men i forhold til almindelige videnskabelige standarder. Standarder, som er forskelligt defineret fra fag til fag, men hvor niveauet for publicering i internationale, peer-reviewed tidsskrifter inden for autismeområdet kan være en realistisk forventning 1. Den følgende vurdering af ETIBA er således baseret på en forventning om videnskabelig troværdighed dvs. en vurdering af, om der er tale om forskning, som er systematisk og veltilrettelagt, om forskerne har gjort, hvad der er muligt inden for de givne rammer for at reducere fejlkilder og usikkerhed omkring konklusioner. En sådan vurdering vil i første omgang basere sig på de anvendte metoder. ETIBA er en mangefacetteret evaluering af autismetilbud til småbørn med autisme, hvori der indgår både kvantitative og kvalitative metoder. De kvantitative metoder dominerer dog både i konklusionen og i forskningsdesignet, hvor der er anvendt de største økonomiske og personalemæssige ressourcer på at få psykologtestet et halvt hundrede forskellige børn to gange fordelt på mange forskellige daginstitutioner i hele landet. Metodiske svagheder i testadministration og statistisk analyse Gennemgangen af den anvendte metode i effektundersøgelsen baseret på to psykologiske tests af de deltagende børn har afsløret en række svagheder i den måde, testene har været tilrettelagt og gennemført på. Manglende baseline Baseline er et mål for udgangspunktet for en pædagogisk intervention. En baseline måler det niveau, som børnene havde, inden den målrettede pædagogiske intervention blev igangsat. En baseline er en forudsætning for, at man kan måle effekter af en pædagogisk intervention. Men der findes ingen baseline-målinger i ETIBA-rapporten. Det skyldes, at den første psykologtest er foretaget, efter at de pædagogiske interventioner var igangsat. I nogle tilfælde er det gået op til et år, inden børnene blev testet første gang i andre tilfælde kortere tid. Men i rapporten er der ikke redegjort for denne forsinkede førstegangs-testning, og der er ingen analyse af, om forsinkelserne er systematisk fordelt på de to undersøgelsesgrupper ABAbørn og børn i traditionelle tilbud. Så ikke alene mangler vi en baseline-testning vi ved heller ikke, om afstanden fra behandlingens start til første test kan tænkes at influere på resultaterne. Starteffekter er ikke målt Uanset hvor lang tid der er gået, så betyder den manglende baseline, at de såkaldte starteffekter af de forskellige specialpædagogiske tilbud ikke er blevet registreret. Starteffekter kendes fra udviklingspsykologien, hvor det er veldokumenteret, at børn også børn uden handicap får et udviklingsmæssigt boost, når de starter i en ny type tilbud med nye voksne og nye børn. Også i autismeforskningen er dette udviklingsmæssige boost velkendt. Men når der ikke er taget en baselinetestning, så kender vi ikke styrken af denne starteffekt hverken for ABA-børnene eller ikke-ababørnene. 1 Pædagogisk og social autismeforskning publiceres især i tidsskrifterne Journal of Autism and Developmental Disorders (1979-). USA, Kluwer Academic/ Plenum Publishers; Focus on autism & other developmental disabilities (1996-). Austin, TX, Pro-Ed; Autism. The International Journal of Research and Practice (1997-). London, Sage; American Journal on Mental Retardation (1895-). Albany, NY, American Association on Mental Retardation; Research in Developmental Disabilities (1987-). USA, Pergamon Press. side 6 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

7 Der er god grund til at tro, at starteffekten for netop børn med autisme kan være særlig stærk, eftersom deres normale udviklingsmønster er hæmmet af deres handicap, og hvis en pædagogisk intervention succesfuldt adresserer eller kompenserer disse børns sociale og kommunikative handicaps, så får de nogle udviklingsmuligheder, som de ikke har haft tidligere. Man kan sige, at hvis eller når der sker en pædagogisk formidlet udvikling af kerneområder i handicappet, så vil denne udvikling så at sige gratis få en afsmittende effekt, fordi disse børn får nogle interaktionsmuligheder, som de ikke har haft tidligere. Det er derfor, at megen pædagogisk autismeforskning går ud på at identificere kerneområder, som kan og skal behandles først, fordi de er forudsætninger for senere udvikling. Blandt de identificerede kerneområder kan nævnes imitationsevne, sprogforståelse, koncentration og opmærksomhed, desensibilisering over for ydre stimuli samt talesprog (se bl.a. Koegel et al. 1999). Kort og varierende opfølgningsperiode Det er også en metodisk svaghed, at opfølgningsperioden har været kort og meget varierende. I gennemsnit er der kun gået 7,6 måneder for ABAbørnene og 9,1 måned for de øvrige børn mellem første og anden testning. En så kort opfølgningsperiode ligger langt under de internationale standarder for autismespecifikke interventioner, hvor man regner med en 2-årig opfølgningsperiode som standard, og hvor de bedste undersøgelser har en opfølgningsperiode på det dobbelte. Den ultrakorte opfølgningsperiode kan i sig selv være en forklaring på de fundne effekter. Børn med autisme udvikler sig ofte langsomt uanset hvilken form for tilbud, de visiteres til og deres udviklingsmønster er ujævnt. Desuden er der nogle børn med autisme, der regredierer periodevist eller på længere sigt, og af disse grunde bør opfølgningsperioden være betydelig længere end de 7-9 måneder, der er praktiseret i ETIBA-evalueringen. Den korte opfølgningsperiode er også et problem i forhold til at vurdere de langsigtede effekter af forskellige typer af tilbud til børn med ASF. Tidligere forskning har vist, at disse børn er i risiko for at miste allerede lærte færdigheder og kompetencer, hvis disse færdigheder ikke vedligeholdes og anvendes i hverdagen. Det gælder også IQ, som for børn med autisme ikke er konstant, men er påvirkelig af ikke bare træning, men også mangel på træning eller manglende vedligeholdelse af kognitive færdigheder. Når opfølgningsperioden er så kort som under 3 / 4 år, så er det ikke muligt at dokumentere, at de opnåede færdigheder kan opretholdes over en længere periode. Den store spredning på opfølgningsperiodens længde (en variation fra 5 til 13 måneder) er i sig selv et problem, som kan være en usikkerhedsfaktor af ukendt størrelse. Når undersøgelsespopulationerne er så små, som det er tilfældet (13 ABA-børn og 39 børn i traditionelle tilbud), så kan systematiske forskelle i opfølgningsperiodens længde påvirke effektmålingerne. Der er ingen muligheder for at efterkontrollere, om det har været tilfældet i ETI- BA-undersøgelsen, men det svækker generelt undersøgelsens analyse af effekter. Psykologeffekten svækker resultater af psykologiske tests Det har været et princip i ETIBA, at forskellige psykologer skulle teste børnene første og anden gang. Dette princip er dog ikke gennemført systematisk der er således nogle børn, som er testet af den samme psykolog begge gange. Brugen af to forskellige psykologer udgør en betydelig fejlkilde, eftersom ingen psykologer tester på samme måde uanset detaljerede testmanualer. En psykologisk test er ikke en objektiv måling, men en personlig relation, hvis kvaliteter påvirker både testsituationen som testresultaterne. Det gælder ikke mindst børn med autisme, som er meget påvirkelige over for nye, ukendte situationer, og som kan være uberegnelige i en testsituation. Af netop den grund sker det, at psykologiske tests må opgives, fordi et barn ikke kan samarbejde med testpsykologen. Men det samme barn kan med andre psykologer gennemføre testen. Når man gør brug af psykologiske tests i evalueringer, så er man normalt interesseret i at gøre testene så ens og dermed objektive som muligt. 7

8 Uvist af hvilke grunde har man i ETIBA valgt at gøre testene uens ved at benytte forskellige psykologer. Dermed har man vanskeliggjort sammenligningen af første og anden test, fordi denne vigtige faktor psykologeffekten ikke har været konstant i forhold til det enkelte barn. Psykologbias kan ikke udelukkes I international effektforskning baseret på psykologiske tests lægger man stor vægt på at reducere psykolog-bias, dvs. påvirkning af testgennemførelse eller testscoringer via psykologens egne præferencer eller sym- og antipatier. Det gør man dels ved at benytte psykologer, som er blinde (dvs. udvidende) over for testningens formål og barnets tilbud, og dels ved at anvende psykologer, som er uafhængige af de tilbud, der skal evalueres. Man sørger altså for, at testpsykologer kommer udefra og ikke er eller har været tilknyttet det tilbud, der indgår i evalueringen. Formålet er selvfølgelig at sikre sig en så stor grad af uvildighed som muligt. besvaret spørgsmålene, er nyansat, er vikar eller støttepædagog og ikke kender barnet med autisme særlig godt. Usikkerhederne opstår, fordi børn med autisme demonstrerer deres færdigheder helt forskelligt over for pædagoger og forældre og over for personer, som de kender godt eller mindre godt. Fejlformulering i evalueringens konklusion I ETIBA-evalueringen anvendes generelt et såkaldt 5% statistisk signifikansniveau. Det betyder, at der er 95% sandsynlighed for, at de fundne forskelle imellem undersøgelsesgrupperne er reelle og ikke kun statistiske tilfældigheder. Men dette niveau anvendes ikke konsekvent, og det får bl.a. som konsekvens, at konklusionen på effektundersøgelsen ikke holder i forhold til de opstillede kriterier. Der er to af forskellene mellem ABA-børn og børn i traditionelle tilbud, som ikke er signifikante på det valgte niveau nemlig Reynell og ADOS. Af de syv testpsykologer, som har testet børn i ETIBA-evalueringen, er de seks tilknyttet eller har været tilknyttet amtslige eller kommunale instanser, der yder rådgivning eller som foretager visitation til autismetilbud. Det er altså psykologer, som ikke kan siges at være uafhængige af de traditionelle tilbud. For at sikre uafhængighed og sandsynlighed for uvildighed burde man i stedet have anvendt privatpraktiserende eller universitetsansatte psykologer. Inkonsistent gennemførelse af Vineland-undersøgelsen Vineland er en populær forkortelse for et standardiseret spørgeskema, som belyser børns tilpasningsevne inden for fire delområder (kommunikation, selvhjælpsfærdigheder, socialisering og motorik). Vineland-spørgsmålene besvares af nærpersoner, som kender barnet godt i ETIBA som regel barnets primærpædagog. Men dette er ikke sket konsekvent, fordi forældrene i nogle tilfælde i stedet har leveret informationerne. Denne inkonsistens giver nogle åbenlyse usikkerhedsmomenter, som desværre ikke er nævnt i rapporten. Det samme gælder, når den pædagog, der har Så i stedet for at konkludere, at der er signifikante forskelle på alle fire målte psykologiske variabler (IQ, Reynell, Vineland og ADOS) burde man i stedet skrive, at der kun en signifikante forskelle på to af de fire variabler. Læs mere om denne kritik i kapitlerne Tests og testadministration Af Helle Jensen, cand.pæd.psych. Effektmålinger af tilbud til småbørn med autisme Af Helle Jensen, cand.pæd.psych. Vi ved ikke, om undersøgelsesgrupperne har været sammenlignelige I ETIBA er der gennemført en længere analyse af sammenligneligheden af de to undersøgelsesgrupper: børn i ABA-tilbud og børn i traditionelle tilbud. Denne analyse er baseret på de første psykologtests. Men eftersom børnene først er testet mange måneder efter starten af behandlingen, og der som nævnt ikke er gennemført baseline-testninger, så ved vi i realiteten slet ikke, om undersøgelsesgrupperne oprindelig har været sammenlignelige. Det er denne sammenlignelig- side 8 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

9 hed, der er altafgørende for, om det giver mening at sammenligne de to undersøgelsespopulationer. Hvis de fra udgangspunktet har været for forskellige, så kan det i sig selv forklare de målte forskelle i udviklinger af IQ, sprogforståelse, selvhjælpsfærdigheder og sociale kompetencer. Selv om ETIBA har analyseret sammenligneligheden med hensyn til IQ, sprogforståelse, selvhjælpsfærdigheder og sociale kompetencer på tidspunktet for den indledende test, og selvom denne analyse korrekt viser en høj grad af sammenlignelighed, så er denne analyse af begrænset værdi, hvis man vil måle effekter af særlige pædagogiske metoder og vurdere dem i forhold til hinanden. Det er kun, hvis børnegrupperne, der indgår i undersøgelsen, ved starten af tilbuddene har været sammenlignelige, at man kan konkludere noget om effekterne. Desuden står vi som læsere eller brugere af ETIBArapporten med det problem, at analysen af sammenlignelighed er baseret på 54 børns indledende tests, men der indgår kun 52 børn i effektundersøgelsen. Der har været et frafald på to ABA-børn i løbet af evalueringsperioden, men dette frafald afspejler sig ikke i analysen af sammenlignelighed. Når der i forvejen kun var 15 ABA-børn, og to af dem falder fra undervejs, så betyder denne reduktion, at man ikke ved, om gruppen af ABA-børn reelt har været sammenlignelig med gruppen af børn i traditionelle tilbud. Det er en alvorlig metodisk fejl, når man foretager en statistisk analyse af sammenlignelighed på et andet datagrundlag (15 ABAbørn) end datagrundlaget for effektanalysen (13 ABA-børn). Ikke sammenlignelighed på opfølgningsperiode Der er en statistisk signifikant forskel på opfølgningsperiodens længde for ABA-børn og børn i traditionelle tilbud: Børn i ABA-tilbud er i gennemsnit blevet gentestet halvanden måned tidligere end børn i traditionelle tilbud, og statistisk set gør det undersøgelsesgrupperne usammenlignelige på denne variabel. Om det også har klinisk betydning, er sværere at afgøre, men man skal huske, at de anvendte tests ikke er kontinuerte, men med pointmuligheder, som gør, at udviklingen over en kort periode måske ikke når op, hvor næste point kommer, eller hvor man som i Reynell-testen må spørge til et nyt område. Grupperne er ikke sammenlignelige mht. diagnoser ETIBA-rapporten skriver, at de to undersøgelsesgrupper også med hensyn til ASF-diagnoser er sammenlignelige. Man har dog ikke gen-diagnosticeret børnene i forbindelse med de psykologiske tests, men baserer denne vurdering på børnenes oprindelige diagnoser. Enten er informationerne om de oprindelige diagnoser eller også er selve de oprindelige diagnoser mangelfulde og upræcise. Børn med dobbelt-diagnoser inden for gruppen af gennemgribende udviklingsforstyrrelser diagnoser, som burde udelukke hinanden er et supplerende problem. Samlet betyder det, at det i bedste fald er umuligt at sammenligne diagnoserne, eller i værste fald at undersøgelsesgrupperne ikke er sammenlignelige på denne, vigtige, variabel. Når de specifikke autismespektrumdiagnoser er af stor betydning, skyldes det at disse diagnoser i sig selv, uafhængig af psykologiske tests af IQ, sprogforståelse, selvhjælpsfærdigheder og sociale kompetencer har betydning for børnenes prognoser. Der er nogle ASF-diagnoser, som er tunge (altid infantil autisme og ofte atypisk autisme), og der er andre ASF-diagnoser (de øvrige inden for det autistiske spektrum), som er lettere dvs. de har en bedre prognose. Uanset hvordan børnene scorer i psykologiske tests. Og uanset hvilket specialpædagogisk tilbud børnene placeres i. I gruppen af børn i ABA-tilbud er der en overvægt af børn med de tunge diagnoser, mens de lette diagnoser er overrepræsenteret i gruppen af børn i traditionelle tilbud. Eftersom der mangler specifikke diagnoser for en del børn, er det umuligt at beregne en eventuel statistisk signifikans, men der er ingen tvivl om, at disse forskelle har en klinisk betydning. Det er derfor fejlagtigt, når ETIBA hævder, at børnene i ABA-tilbuddet også på dette område ligner børnene i de øvrige tilbud. ABA-børnene har diagnoser, som i sig selv betyder ringere udviklingspotentialer. 9

10 Supplerende diagnoser er fejlkilde I ETIBA-undersøgelsen indgår et ukendt antal børn med sidediagnoser også alvorlige sidediagnoser som epilepsi og hjerneskader. Normalt vil man altid i effektstudier af ASF-tilbud frasortere sådanne børn fra undersøgelsen, fordi de udgør en uberegnelig usikkerhedsfaktor. Dels fordi deres læringspotentialer meget ofte er påvirket af deres sidehandicap, og dels fordi nogle sidehandicaps forhindrer barnet i at udføre de handleopgaver, der indgår i nonverbale IQ-tests og i Reynell-testen. børnenes udvikling i løbet af evalueringsperioden, men skævhederne indfører en betydelig usikkerhed i evalueringens resultater en usikkerhed, som burde afspejle sig i rapportens konklusion. Læs mere om denne kritik i kapitlerne Er børnegrupperne sammenlignelige? Af Jacob Krabbe Pedersen, cand.scient., ph.d.- stipendiat ved Afdeling for Matematisk Statistik, SDU, og Cecilia Brynskov, cand.mag., ekstern lektor ved Københavns Universitet Når der i ETIBA-undersøgelsen ikke er redegjort for sidediagnoserne, og der ikke er gjort forsøg på at korrigere for denne fejlkilde ved at tage de berørte børn ud af undersøgelsen, kan man ikke vide, hvordan denne fejlkilde påvirker datamaterialet. Der er tale om en så lav hyppighed af sidediagnoser, at man med sikkerhed kan sige, at de ikke er ligeligt fordelt på undersøgelsesgrupperne, som altså også på dette punkt må være usammenlignelige. Samlet vurdering af sammenlignelighed Det er hvis man har redskaberne let at beregne den statistiske sandsynlighed for at undersøgelsesgrupper er sammenlignelige eller ej. Det er ulige meget sværere at vurdere den kliniske betydning af eventuelle forskelle. Altså om betydende statistiske forskelle også vil have en afgørende betydning i den virkelige verden om statistiske forskelligheder altså resulterer i bedre eller dårlige prognoser. Denne skelnen mellem statistisk og klinisk signifikans er overvejelser, som vi i øvrigt savner i ETIBA-rapporten. Men hvis man ser samlet på skævhederne i undersøgelsesgrupperne: ABA-børnene har tungere diagnoser end de øvrige børn ABA-børnene var ældre end de øvrige børn ABA-børnene blev testet med kortere mellemrum end de øvrige børn så tegner der sig et billede af systematiske skævheder til ulempe for ABA-børnene. Det er umuligt at sige, om disse skævheder har haft betydning for Fejlkilde og manglende kendskab til autismeforskningen Af Cecilia Brynskov, cand.mag., ekstern lektor ved Københavns Universitet Metodiske problemer i de kvalitative dele af ETIBA De metodiske problemer gør sig også gældende i de kvalitative dele af ETIBA-evalueringen, men disse har ikke så alvorlige konsekvenser for evalueringens konklusion og af natur er metodiske spørgsmål i kvalitative undersøgelser (interviews og observationer) ikke så håndfaste, men i større grad åbne for diskussioner. I analysen af de kvalitative interviews er det et problem, at de interviewedes udsagn i meget forskellig grad gøres til genstand for en kritisk analyse. Forældres udsagn problematiseres og tages ikke umiddelbart for pålydende, men fortolkes. Det samme gælder i mindre grad pædagogers udsagn, mens udtalelser fra myndighedspersoner (visitatorer) helt ukritisk accepteres som en gældende beskrivelse af virkeligheden. De sidstnævnte interviews anskues som en direkte kilde til information om, hvad der er sket i visitationsprocessen. Denne forskel i analytisk distance til interviewmaterialet er et godt eksempel på manglende konsekvens i brugen af interviews som kilde. I forholdet mellem visitationsmyndighed og forældre introduceres begrebet uvildig faglighed, som skulle være resultatet af fagfolks perspektiv på de børn, der visiteres til autismespecifikke tilbud. Heroverfor står forældre, som afhængig af deres side 10 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

11 ressourcer aktivt varetager deres egne interesser. I nogle tilfælde uden om de visiterende myndigheder. I denne analyse af visitationsprocessen mangler helt en diskussion af muligheden for, at det er forældrene, der vidende og kvalificeret varetager deres barns behov, mens det måske kan tænkes, at fagfolkene snarere varetager deres arbejdsgivers og de eksisterende muligheders interesser. Der er i denne interviewanalyse en tydelig og deprimerende bias funderet på et myndighedsperspektiv. Modsætningen mellem forældreønsker over for uvildig faglighed illustrerer, hvorledes interviewmaterialet giver et indblik i fagfolkenes og myndighedernes syn på forældre, forældreinddragelse og forældreindflydelse og dette blik problematiseres eller analyseres ikke i evalueringen. Disse metodiske valg og fravalg betyder, at det i høj grad bliver pædagogernes selvbilleder og selvfremstilling, der kommer til at dominere billedet af den pædagogiske praksis. Interviewene dokumenterer, hvordan personalet italesætter og vurderer deres egen praksis, men denne praksis kontrolleres ikke i kraft af observationer. Resultatet er derfor, at vi som læsere får et godt indblik i det intentionelle niveau, men at praksis forbliver uafdækket. Den manglende kritiske analyse af pædagogernes selvforståelse fremgår tydeligt i analysen af metodefasthed, hvor det hedder sig, at ABA-pædagogerne er langt mere metodestringente end TEACCHpædagogerne, der omtaler sig selv som eklektiske. Men der er ikke grundlag for en sådan konklusion, når man i udgangspunktet har fravalgt at undersøge forholdet mellem principper og praksis. Der er formodentlig basis for at konkludere, at ABAtilbuddenes selvforståelse går på, at de er mere metodestringente. Men ikke, at metodefastheden faktisk praktiseres. Helt tilsvarende problemer med at tage udsagn fra fagfolk for deres pålydende findes i analysen af den pædagogiske praksis. Her skulle tre kilder til de samme informationer observationer, interviews og spørgeskemaer have givet mulighed for en metodisk triangulering, men pga. de meget begrænsede observationer kan det ikke gennemføres. Observationer af den pædagogiske praksis i de fire forskellige autismespecifikke tilbud har nemlig været relativt overfladiske. Der har ikke været afsat ressourcer til en mere dybtgående form for etnografisk observation. I stedet har ETIBA stillet sig tilfreds med kortvarige observationer i de udvalgte børnehaver. På den måde mister observationerne deres selvstændige status som empirisk kilde til den pædagogiske praksis og bliver i stedet reduceret til inspirationskilde for formulering af interviewspørgsmål og spørgeskemaer. Analysen af den pædagogiske praksis er derfor næsten udelukkende baseret på interviews og spørgeskemabesvarelser. Alligevel beskriver ETIBA-rapporten ABA-pædagogerne som loyale over for metoden, i og med at de følger anvisninger fra supervisionen. Denne metodefasthed strider dog mod andre dele af ETIBA-rapporten, nemlig det kapitel, hvor man påviser, at udskiftningen blandt pædagoger i ABA-tilbuddet har været betydelig større end i de andre tilbud, og at nye pædagoger er lang tid om at indlære metoden. I sådanne situationer lige som i sygdomsperioder med uuddannede vikarer er der netop ikke tale om en metodefasthed, men om ad hoc-løsninger på pædagogiske problemstillinger. Der er i Københavns Kommune, hvor ABA-forsøgsprojektet omfatter 24 børn, blevet gennemført en supplerende evaluering med fokus på pædagogers arbejdsvilkår og forældres tilfredshed (Hansen, Højland & Malmgren 2007). Denne evaluering bekræfter, at der slet ikke er tale om en sådan metodefasthed, men at pædagogerne tværtimod i nogle tilfælde improviserer eller indfører egne praksisser uden om supervisionen. Læs mere om denne kritik i kapitlerne Den kommunale visitation til autismetilbud af Bjørg Kjær, ph.d., Nationalt Videncenter for Inklusion og Eksklusion (NVIE) 11

12 Den pædagogiske praksis Af Linda Lundgaard Andersen, ph.d., lektor ved Institut for Psykologi og Uddannelsesforskning, Roskilde Universitetscenter og Bjørg Kjær, ph.d., Nationalt Videncenter for Inklusion og Eksklusion (NVIE) Manglende perspektiveringer Der er i ETIBA-evalueringen en bemærkelsesværdig manglende perspektivering af problemstillingerne og resultaterne. Det er forståeligt, når man tager i betragtning, at der er tale om forskere uden tidligere kendskab til autismeforskning, og som desuden har haft en meget begrænset og alt for begrænset tid til rådighed for at løse en stor evalueringsopgave. Selvom det er forståeligt, er det også beklageligt. Udblik til den internationale forskning er fraværende Der er internationalt især i USA, Canada og England en meget omfattende forskning i effekter af forskellige autismespecifikke interventioner. Både i form af gruppestudier svarende til ETIBAs metode og såkaldte single subject-studier, hvor man afprøver nye pædagogiske tiltag i forhold til et begrænset antal børn med ASF. Der er gennemført ikke mindre end 27 effektstudier af ABAbehandling og seks tilsvarende studier af TEACCHbaserede tilbud. Nogle af disse studier er lige som ETIBA komparative, og det ville være relevant at sammenligne resultaterne fra ETIBA med disse udenlandske undersøgelser. Et par af dem bliver kort nævnt i ETIBA-rapporten, men en egentlig diskussion af forskelle og ligheder er fraværende. De udenlandske undersøgelser kommer frem til helt andre konklusioner, end ETIBA gør, og det ville være interessant at læse overvejelser over, hvad disse forskelle kan skyldes. Er det forskelle i forskningsmetodik, i sampling eller forskelle i den måde, de specialpædagogiske metoder praktiseres på i Danmark, som forklarer disse væsentlige forskelle? I ETIBA-rapportens kapitel 6 Fra teori til praksis er der en udmærket teorigennemgang, som dog afsluttes med en demonstration af, at forfatterne ikke har forstået forholdet mellem de tre mest udbredte psykologiske modeller for de fænomener, der karakteriserer personer med autisme. I kapitel 7 Den pædagogiske praksis er der et totalt fravær og et bevidst fravalg af litteratur om de to specialpædagogiske metoder, som ellers dominerer evalueringen: ABA og TEACCH. I kapitel 8 Samspillet mellem professionelle og forældre er det ikke kun det internationale, men også det nationale udblik, der mangler. Den eksisterende danske forskning i magtrelationer mellem fagfolk og forældre er desværre fraværende. Læs mere om denne kritik i kapitlerne Den pædagogiske praksis Af Linda Lundgaard Andersen, ph.d., lektor ved Institut for Psykologi og Uddannelsesforskning, Roskilde Universitetscenter og Bjørg Kjær, ph.d., Nationalt Videncenter for Inklusion og Eksklusion (NVIE) Samspillet mellem professionelle og forældre Af Bjørg Kjær, ph.d., Nationalt Videncenter for Inklusion og Eksklusion (NVIE) Fejlkilde og manglende kendskab til autismeforskningen Af Cecilia Brynskov, cand.mag., ekstern lektor ved Københavns Universitet Referencer Campbell Sytematic Reviews (2001). Guidelines for the Preparation of Review Protocols. Version 1.0. January 1, Clarke, M., & Oxman, A. D. (2001). Cochrane Reviewers Handbook (2. udg., bd ). Oxford, Update Software. Hansen, F.K., Højland, M., & Malmgren, M. (2007). Evaluering af ABA-forsøgene i Københavns Kommune erfaringer og perspektiver. København: CASA. Koegel, L. K., Koegel, R. L., Harrower, J. K., & Carter, C. M. (1999). Pivotal response intervention I: Overview of approach. Journal of the Association for Persons with Severe Handicaps, 24(3), Lord, C., Wagner, A., Rogers, S., Szatmari, P., Aman, M., Charman, T., Dawson, G., Durand, V.M., Grossman, L., Guthrie, D., Harris, S., Kasari, C., Marcus, L., Murphy, S., Odom, S., Pickles, A., Scahill, L., Shaw, E., Siegel, B., Sigman, M., Stone, W., Smith, T., Yoder, P. (2005). Challenges in Evaluating Psychosocial Interventions for Autistic Spectrum Disorders. Journal of Autism & Developmental Disorders, 35(6), side 12 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

13 13

14 Er børnegrupperne sammenlignelige? Af Jacob Krabbe Pedersen, cand.scient., ph.d.-stipendiat ved Afdeling for Matematisk Statistik, SDU, og Cecilia Brynskov, cand.mag., ekstern lektor ved Københavns Universitet ETIBA sammenligner effekterne af to forskellige pædagogiske tilbud til børn med autisme: ABA-tilbud og andre tilbud, som er enten TEACCH-inspirerede eller eklektiske. Det gør man ved at måle effekterne af de to typer af tilbud på to forskellige grupper af børn med autismespektrumforstyrrelser: 13 ABA-børn og 39 andre børn. Når man som ETIBA-rapporten gør gennemfører et sådant quasi-eksperiment 1, så er sammenlignelighed mellem undersøgelsesgrupper altafgørende. Det er sammenligneligheden, som gør det muligt at konkludere om effekter af behandling. Hvis undersøgelsesgrupperne ikke er ens, så kan forskellige behandlingsresultater skyldes andre forhold end selve behandlingen fx at børnenes forudsætninger oprindelig har været forskellige. Hvis der var tale om et rigtigt eksperiment, ville man sikre sig, at undersøgelsesgrupperne var ens, ved at foretage en lodtrækning, der tilfældigt bestemte, hvilke børn der skulle have hvilken form for behandling. Det er sådan, man gør i de såkaldte randomiserede forsøg, som anvendes til at måle effekter af medicinske behandlinger. Men en sådan tilfældig fordeling af børn med autisme på forskellige pædagogiske behandlingsformer er så at sige aldrig mulig. Det skyldes dels, at forældre ikke vil acceptere en sådan tilfældighed i behandlingen af deres børn, og dels, at forældre i de fleste lande har ret til medindflydelse på tilbud til deres børn. Tilfældighed i visitation til pædagogiske behandlingstilbud vil stride imod denne ret til medindflydelse. I stedet er man altså henvist til quasi-eksperimenter, hvor man på andre måder forsøger at skabe sammenlignelighed mellem undersøgelsesgrupper. I ETIBA-undersøgelsen har man ikke haft mulighed for at påvirke fordelingen af børn på tilbudsformer visitationen var allerede sket og blev gennemført ad de helt sædvanlige kanaler og man har ikke gjort forsøg på at påvirke undersøgelsesgrupperne for at få dem gjort sammenlignelige. I andre quasi-eksperimenter benytter man en såkaldt matching, hvor man på individplan sørger for, at der til hvert barn i den ene undersøgelsesgruppe er et tilsvarende barn i den anden undersøgelsesgruppe med hensyn til køn, alder, diagnose, grad af mental retardering, sproglighed og andre kompetencer. Dette er ikke sket i ETIBA-undersøgelsen. Men selv om man i ETIBA ikke aktivt har tilstræbt sammenlignelige undersøgelsesgrupper, så har det ifølge forfatterne efterfølgende vist sig, at ABAgruppen gennemsnitligt ligner gruppen af børn i andre tilbud i en sådan grad, at man har ment, at det var forsvarligt at sammenligne behandlingseffekterne for de to undersøgelsesgrupper. I rapporten er graden af sammenlignelighed sammenfattet på denne måde: 1 Quasi-eksperiment betyder direkte oversat et uægte- eller pseudoeksperiment. Det vil sige et forskningsdesign, som tilstræber at opfylde de metodiske krav til et ægte eksperiment, men som ikke opfylder kravene fuldt ud. side 14 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

15 Det har ( ) vist, at børnene i ABA-tilbuddet gennemsnitligt ligner den samlede gruppe af børn i de øvrige tilbud, hvilket har betydning for de efterfølgende overvejelser. Uanset at der ikke er tale om en tilfældig udvælgelse af børnene ligner de to grupper i udgangspunktet hinanden på alle relevante psykologiske indikatorer, hvorfor vi vil kunne tillade os at sammenligne udviklingen inden for de to grupper, som om der var tale om en qvasieksperimentel situation. (s. 36). Denne konklusion er baseret på en sammenligning af børnenes gennemsnitlige IQ, sprogforståelse, tilpasningsevne og sociale kompetencer på tidspunktet for de indledende tests. De anvendte tests er Bayley eller WPPSI-R (IQ), Reynell (sprogforståelse), Vineland (tilpasningsevne) 2 samt ADOS (sociale kompetencer). På andre variabler, som dog ikke er blevet analyseret statistisk i ETIBA-rapporten, er der imidlertid ikke en sådan sammenlignelighed. Grupperne er ikke sammenlignelige på så centrale variabler som afstand mellem første og anden testning (som er afgørende for, hvorvidt der overhovedet kan måles en udvikling) samt på fordelingen på diagnoser (som er en vigtig faktor, når det gælder udviklingspotentiale). På flere andre afgørende variabler er grupperne muligvis heller ikke sammenlignelige, fx på alder ved første testning (som er afgørende, fordi yngre børn har det bedste udviklingspotentiale) og på På de to sidstnævnte variabler kan det dog ikke afgøres med sikkerhed, om grupperne er sammenlignelige, idet der dels er rod i datamaterialet, dels ikke er præsenteret tilstrækkeligt med oplysninger i rapporten til, at det er muligt at efterprøve forfatternes påstand om, at grupperne er sammenlignelige. Også i præsentationen af data for de indledende tests mangler der for samtlige tests vedkommende centrale oplysninger. Dette umuliggør en reel statistisk vurdering af, om grupperne har været sammenlignelige på disse områder. Rod i datamaterialet Der er rod i ETIBA-rapportens angivelser af, hvor mange børn der har deltaget i undersøgelsen; og forfatternes analyse af, hvorvidt grupperne er sammenlignelige (kapitel 4), er tilsyneladende baseret på et forkert grundlag. Rapportens analyse af sammenligneligheden er foretaget ud fra data, der er indsamlet på 15 ABAbørn 3. Men i effektanalysen indgår kun 13 ABAbørn (dette fremgår af tabel 11-1, s. 164). Der er tale om, at to børn er faldet fra undervejs, men at man har glemt at fjerne deres data fra datamaterialet for de allerede foretagne undersøgelser. Grunden til, at det er et problem at analysere graden af sammenlignelighed ud fra de 15 ABAbørn, der indgik i starten, i stedet for ud fra de 13, der indgår i effektanalysen, er, at et frafald på to personer i en lille gruppe på 15 personer teoretisk set kan forskubbe et gennemsnit i en gruppe så meget, at der bliver større forskelle mellem de to grupper, der skal sammenlignes, end der var, hvis de to personer var med i gruppen. afstand mellem behandlingsstart og første testning (som er afgørende, fordi der eksisterer en såkaldt starteffekt af enhver pædagogisk behandling). Grupperne er ikke sammenlignelige, hvad angår afstand mellem første og anden testning Når man, som det er tilfældet i ETIBA-evalueringen, har valgt at foretage en undersøgelse af behand- 2 Det er i ETIBA-rapporten uklart, om de har brugt alle fire moduler af Vineland (kommunikation, selvhjælpsfærdigheder, socialisering og motorik) eller kun den fjerdedel, der tester sociale færdigheder. Det skrives ikke eksplicit, men Vineland eksemplificeres med og figur 4-4 illustrerer fordelingen af Vineland socialkvotient. Hvis det udelukkende er socialiseringsdelen, der er anvendt, er det ulogisk at omtale Vineland som målende selvhjælpsfærdigheder (sådan som det gøres i overskriften for figuren (4-4) og i hele kapitel 11). 3 Et enkelt sted er der muligvis tale om 14 børn (Tabel 4-4). 15

16 lingseffekter uden en baseline før behandlingsstart, vil undersøgelsens relative værdi blandt andet afgøres af, hvor lang tid der går mellem første og anden testning. Denne afstand skal være så lang som muligt, sådan at forskellen mellem grupperne, i det mindste hvad angår de senere ujævnheder i børnenes udvikling, så vidt muligt kan udlignes. En stor afstand mellem første og anden test er også vigtig for, at der overhovedet kan registreres en fremgang, samt for at børnenes scores på testene ikke bliver påvirket af deres hukommelsesniveau sådan som de bliver, hvis første og anden testning ligger for tæt på hinanden, og nogle af børnene stadig kan huske nogle/dele af opgaverne i de pågældende tests. I de sædvanlige effektundersøgelser går der typisk et eller to år mellem baseline og opfølgningstestning. I modsætning hertil har der i ETIBA-evalueringen været tale om en usædvanlig kort opfølgningsperiode, i nogle tilfælde på kun 5 måneder, og i sådanne tilfælde kan perioden for nogle børns vedkommende have været for kort til, at der overhovedet vil være en målbar forandring, på trods af at barnet reelt har udviklet sig en smule. Oven i købet viser det sig, at der har været overordentlig stor variation i den tidsmæssige afstand mellem første og anden testning: Nogle børn er blevet gentestet efter kun 5 måneder, mens der for andres vedkommende er gået måneder. Der er altså statistisk signifikant større afstand mellem første og anden testning af børnene i de traditionelle tilbud, end der er for børnene i ABAgruppen: Børnene i de traditionelle tilbud har i gennemsnit været i behandling i halvanden måned mere end børnene i ABA-gruppen, før anden testning blev foretaget, svarende til en periode, der er 20% længere for børnene i de traditionelle tilbud. Børnene i de to undersøgelsesgrupper er altså ikke sammenlignelige på denne variabel. Grunden til, at det er særlig afgørende, hvor lang tid der er gået mellem første og anden testning, er, at det i forvejen er en usædvanlig kort periode, der er gået mellem de to testninger, og at selv små forskelle derfor kan være forskellen mellem en registrerbar og en ikke-registrerbar udvikling. Om det ville have haft indflydelse på resultaterne af effektanalysen, hvis opfølgningsperioden havde været den samme, er umuligt at afgøre. Man kan ikke forlænge den målte udvikling og gå ud fra, at man på den måde kan korrigere for forskellighederne, dels fordi nogle børn muligvis lige akkurat ikke har nået et målbart udviklingsskridt, og man ikke kan forstørre en udvikling på 0 point forholdsmæssigt, dels fordi børn med autisme ikke udvikler sig lineært. Det er derfor umuligt at vurdere betydningen af, at ABA-børnene er blevet gentestet signifikant hurtigere efter den indledende test, end de andre børn er. I tabel 11-1 finder man oplysninger om den gennemsnitlige afstand mellem første og anden testning for de to undersøgelsesgrupper (s. 164). Der er i rapporten ikke udført noget statistisk test for, om der er forskel på afstanden mellem første og anden testning af børnene, men vores beregning, som er lavet ud fra de præsenterede tal, viser, at forskellen er signifikant på det sædvanlige 5%-niveau 4. Ikke desto mindre er der tale om en statistisk signifikant forskel mellem de to grupper, på en afgørende variabel en forskel, der alt andet lige giver børnene i ABA-gruppen et dårligere udgangspunkt for gunstige behandlingsresultater. Ingen redegørelse for tidsmæssig afstand mellem behandlingsstart og første test Når man mangler baseline fra før behandlingsstart, er der også en anden variabel, som det er vigtigt at 4 En t-værdi på 2.37 resulterer i p(t-test)= side 16 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

17 sandsynliggøre, at grupperne er sammenlignelige på. Det er den tidsmæssige afstand mellem starten af behandlingen/starten i det pædagogiske tilbud og den første test. Grunden til, at den tidsmæssige afstand mellem behandlingsstart og første test er vigtig, er, at der eksisterer en såkaldt starteffekt af pædagogiske tilbud. Der er tale om en helt almindelig og velkendt effekt, når et barn uanset om det har autisme eller ej udvikler sig hurtigere i starten af et pædagogisk tilbud end på et senere tidspunkt. Når et helt almindeligt lille barn starter i vuggestue efter at have været passet hjemme og i vuggestuen får kontakt til ældre og mere modne børn og flere forskellige voksne, så sker der meget ofte en markant udvikling. Det samme sker, når et barn skifter til børnehave og senere til skole. Sådanne gunstige udviklingsperioder i starten af et nyt pædagogisk tilbud er velkendte i udviklingspsykologien. Nøjagtig det samme gælder for børn med autisme. Og måske i endnu højere grad børn med autisme, fordi deres udviklingsprofil og deres udviklingsmønstre er skæve og afvigende. For ABA-børns vedkommende er denne starteffekt ganske veldokumenteret (Sallows & Graupner 2005), men man må gå ud fra, at det samme gør sig gældende for alle børn med autisme. Derfor er det afgørende at kende til starttidspunktet for det pædagogiske tilbud og for, hvor længe børnene har været i tilbuddet, for at kunne vurdere, om de to undersøgelsesgrupper på dette punkt er sammenlignelige. Hvis der her er markante forskelle, så vil det indebære, at børnegrupperne har haft forskellige betingelser for udvikling. For ABA-børnenes vedkommende har en opgørelse vist en ganske stor spredning, fra 6 til 13 måneder efter starten på ABA-tilbuddet i Københavns Kommune (personlig korrespondance). Dette betyder også, at ingen i denne gruppe var i starten af deres behandling, men derimod godt og vel forbi den første periode, hvor den allermest markante udvikling som følge af behandlingstilbuddet sædvanligvis sker. Hvorvidt dette også har været tilfældet for alle børnene i den anden gruppe, er ikke til at vide. Da der ikke er præsenteret nogen data om dette, er det ikke muligt at vurdere, hvorvidt børnene har været sammenlignelige på dette punkt. Grupperne er ikke sammenlignelige på diagnoser I tabel 4-12 på side 36 er der en opgørelse over oprindelige diagnoser hos børn i forskellige typer af tilbud 5. Det fremgår af tabellen, at der er ganske store forskelle på de diagnoser, som er blevet givet til børnene. Der er en klar tendens til, at der blandt ABA-børnene er en overvægt af tungere diagnoser: infantil autisme og atypisk autisme. Men der er ikke gennemført en statistisk analyse af sammenligneligheden, og det er heller ikke muligt, eftersom der blandt børnene i de traditionelle tilbud er en stor andel med uspecificerede diagnoser. I de amtslige specialbørnehaver er der 38,9% af børnene, som slet ikke har en specificeret autismespektrumdiagnose, men som er opført under kategorien gennemgribende udviklingsforstyrrelse en overkategori (gruppe F84 i ICD-10) 6 som omfatter ikke alene de sædvanlige diagnoser inden for det autistiske spektrum, men også andre udviklingsforstyrrelser. Data for den tidsmæssige afstand mellem behandlingsstart i form af enten et ABA-tilbud eller et traditionelt tilbud og den første testning fremgår imidlertid ikke af ETIBA-rapporten. I de kommunale børnehaver hvad enten det er specialbørnehaver eller almindelige børnehaver finder man hhv. 8,3% og 11,1% med diagnosen andre gennemgribende udviklingsforstyrrelser 5 Der er ikke gjort opmærksom på følgende fejlkilde i rapporten, men summen af den procentvise fordeling af diagnoser er 117% og 108% for børnene i hhv. amtsinstitutioner og kommunale specialbørnehaver. Der er muligvis tale om, at nogle af børnene er registreret som havende to diagnoser (3 børn i amtsinstitutionerne og 1 barn i en af de kommunale specialbørnehaver). Det kan også tænkes, at der også i disse grupper har været et frafald af børn, som man efterfølgende har glemt at sortere fra i allerede registrerede målinger. 6 Numrene henviser til WHOs International Classification of Diseases 10th Edition (W.H.O., 1992). 17

18 (84.8). Hertil kommer 16,7% med diagnosen gennemgribende udviklingsforstyrrelse, uspecificeret (84.9) i de kommunale specialbørnehaver. I gruppen af ABA-børn er der ikke et eneste barn med disse diagnoser. Her finder man derimod kun de hyppigste autismespektrumdiagnoser: infantil autisme (84.0), atypisk autisme (84.1) og Aspergers syndrom (84.5). Samlet set betyder disse diagnosticeringer, at mindst 7 børn (jf. note 5) ud af de 39 i traditionelle tilbud, har diagnoser, der slet ikke forekommer blandt ABA-børnene. Der er således ikke grundlag for at konkludere, som det gøres i rapporten: Det vurderes også på dette område, at børnene i ABA-tilbuddet ligner samplets øvrige børn (s. 36). Børnegrupperne er ikke sammenlignelige, hvad deres diagnoser angår. Og der er ikke tale om en forskel af diskutabel betydning, men derimod om en forskel, der indiskutabelt betyder, at ABA- børnene fra starten havde et mindre gunstigt udgangspunkt for udvikling, og således, at det ikke kan udelukkes, at forskellene i effektresultater skyldes denne forskel mellem gruppernes udgangspunkter. Der er nemlig en overrepræsentation af børn med infantil autisme og atypisk autisme blandt ABAbørnene, mens der er en kraftig overrepræ sentation af børn med uspecificerede gennemgribende udviklingsforstyrrelser i de traditionelle tilbud. udviklings potentialer (Sutera et al. 2007; Smith, Groen & Wynn 2000). Der er altså tale om udviklingspotentialer, som er knyttet til de kvalitative træk ved de enkelte kategorier af autismespektrumforstyrrelser, og som ikke kan måles med de tests, som indgår i ETIBA- undersøgelsen. Aspergers syndrom og uspecificerede gennemgribende udviklingsforstyrrelser (i alle afskyg ninger) er altid lettere end infantil autisme. A typisk autisme gives oftest til svært mentalt retarderede børn, men praksis for denne diagnose varierer i Danmark, og nogle steder gives den også til børn uden eller med kun let mental retardering. Diagnosen atypisk autisme er således den eneste af de andre diagnoser, der kan gives til børn med lige så tunge eller endnu tungere forstyrrelse end infantil autisme. Også denne diagnose forekommer hos en større andel af børnene i ABA-gruppen end i gruppen af ikke-aba-børn. Da vi ved, at de to børn fra ABA-gruppen, som har diagnosen atypisk autisme, er det, man ville kalde lavtfungerende (personlig korrespondance), giver det god mening at dele fordelingen på diag noser op i tunge og lettere diagnoser, hvor de tunge er infantil autisme og atypisk autisme 7, mens de lette er Aspergers syndrom og alle afskygninger af uspecificeret gennemgribende udviklingsforstyrrelse. Så ser fordelingen således ud: Infantil autisme er den eneste diagnose, som altid er tung (dvs. forudsiger et ikke-gunstigt udviklingsforløb). I ABA-gruppen har 80% af børnene denne diagnose, mens der i de andre grupper kun er 71,8% med denne diagnose. Andel af tunge diagnoser (infantil og atypisk): ABA-børn 93,3% 79,5% ikke-aba-børn 14 ud af 15 børn 31 ud af 39 børn International forskning har gentagne gange vist, at børn med diagnosen infantil autisme har de dårligste prognoser. Omvendt har børn med diagnosen PDD-NOS (Pervasive Developmental Disorder Not Otherwise Specified) de bedste Andel af lette diagnoser (Aspergers og GUF): ABA-børn 6,7% 20,5% ikke-aba-børn 1 ud af 15 børn 8 ud af 39 børn 7 Vi kender ikke udviklingsniveauet for de tre børn med atypisk autisme, som indgår i gruppen af børn i de traditionelle tilbud. Her er de regnet til gruppen af tunge børn. Hvis disse børn i stedet har været lette, gør det kun forskellen mellem de to grupper endnu større side 18 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud

19 Denne markante forskel på de to gruppers udgangspunkt og forventede udviklingsmuligheder må formodes at have en stor betydning for, hvordan de samlet set vil score ved anden testning. Dette er der ikke taget højde for i ETIBA-rapporten. Usikkerhed omkring diagnoserne Det er ikke blevet undersøgt, hvem der har stillet diagnoserne. I de internationale anbefalinger om effektstudier af tilbud til børn med autisme lægger man vægt på, at der i sådanne undersøgelser redegøres for, hvem der har diagnosticeret, efter hvilke kriterier, og om diagnosekriterierne er anvendt konsekvent (Lord et al. 2005). For ABA-børnenes vedkommende ved man, at de alle er diagnosticeret på en børnepsykiatrisk afdeling, eftersom det har været et visitationskriterium. Men meget tyder på, at børnene i de andre tilbud for en dels vedkommende har fået deres diagnoser ad andre kanaler. Hvis de alle var blevet diagnosticeret på børnepsykiatriske afdelinger, ville man efter alt at dømme ikke anvende uspecificerede gennemgribende udviklingsforstyrrelser som kategori, eftersom man på disse afdelinger lægger vægt på en præcis og korrekt brug af ICD-10s koder. Eftersom der tilsyneladende (se note 5) i nogle tilfælde desuden er anvendt to diagnoser, som bør udelukke hinanden, er det tydeligt, at diagnosticeringen i disse tilfælde ikke har fulgt anvisningerne i ICD-10. Den tilsyneladende lemfældige omgang med diagnosekategorier rejser også spørgsmålet, om nogle af de børn, der indgår i undersøgelsen, kan være fejldiagnosticeret. ETIBA-rapporten nævner selv denne mulighed (s. 35) og gør andetsteds opmærksom på, at der faktisk var 3 ud af de 54 børn, som ifølge ADOS-testen ligger uden for det autistiske spektrum. Som forklaring nævnes, at disse børn enten kan have udviklet sig ud af det autistiske spektrum, eller de kan have fået deres diagnose baseret på kliniske iagttagelser uafhængig af autismediagnosticeringsinstrumenter. En tredje mulighed er faktisk, at de oprindelig har været fejldiagnosticeret. Det oplyses ikke, fra hvilke undersøgelsesgrupper de tre børn stammer. Grupperne er muligvis ikke sammenlignelige på alder Oplysninger om børnenes gennemsnitlige kronologiske alder finder man i tabel Initial alder er angivet for ABA-børn og børn i de andre tilbud (s. 164). Initial alder er ikke defineret, men man må gå ud fra, at det drejer sig om alderen på tidspunktet for den første testning og ikke alderen ved starten af det pædagogiske tilbud. Gruppen af ABA-børn havde på dette tidspunkt en middelalder på 69,2 måneder, mens de øvriges børns middelalder var 63,3 måneder. Altså var børnene i ABA-behandling gennemsnitligt et halvt år ældre ved første testning. Selvom der er en ganske betragtelig forskel på de to gruppers gennemsnitlige alder, er de tilsyneladende sammenlignelige, fordi forskellen ikke er statistisk signifikant om end en testsandsynlighed på 10% er i den lave ende 8. Men i kolonnen over den initiale alder optræder den ovenfor omtalte fejl med forskellen på 13 og 15 børn. Således indgår der 15 ABA-børn i udregningen af initialalderen, hvorimod analysen af testresultater (IQ, Reynell, Vineland, ADOS) kun omfatter 13 ABA-børn. Man har altså også her glemt at sortere de to børn fra i udregningen af initialalderen, som ikke indgår i udregningen af testscores. Det er ikke sikkert, at denne fejl i udregningen har betydning for, om der er signifikant forskel på den initiale alder i de to grupper. Dette ville være tilfældet, hvis de to børn, der er faldet fra undervejs, var blandt de yngre i gruppen. Men da den nuværende p-værdi er lav (10%), er det ikke utænkeligt, at den korrekte p-værdi ville nærme sig de 5% og hermed 8 Der er ikke udført noget statistisk test for, om der er forskel på initialalderen i de to grupper, men en beregnet t-værdi på giver p(t-test)=0.101; dvs. en testsandsynlighed på lige over 10%. 19

20 signifikans, og i så tilfælde ville børnegrupperne altså aldersmæssigt ikke være sammenlignelige. Børnenes kronologiske alder er en vigtig variabel i vurdering af sammenlignelighed, fordi pædagogiske interventioner er mere effektive, desto yngre børnene er (Butter, Wynn & Mulick 2003), og de bedste effekter er opnået blandt grupper af børn med autisme, som var under 3 år gamle ved tilbuddets start (Sallows & Graupner 2005). Disse gunstige effekter af ung alder skyldes sandsynligvis, at hjernen populært sagt er mere fleksibel og i højere grad kan kompensere for udviklingsforstyrrende dysfunktioner, når der er tale om yngre børn, hvorimod den mere modne hjerne ikke grundlæggende lader sig påvirke af pædagogiske interventioner på samme måde. Referencer Butter, E.M., Wynn, J., & Mulick, J.A. (2003). Early intervention critical to autism treatment. Pediatric Annals, 32(10), Lord, C., Wagner, A., Rogers, S., Szatmari, P., Aman, M., Charman, T. et al. (2005). Challenges in Evaluating Psychosocial Interventions for Autistic Spectrum Disorders. Journal of Autism & Developmental Disorders, 35(6), Sallows, G.O., & Graupner, T.D. (2005). Intensive Behavioral Treatment for Children With Autism: Four-Year Outcome and Predictors. American Journal on Mental Retardation, 110(6), Smith, T., Groen, A.D., & Wynn, J.W. (2000). Randomized trial of intensive early intervention for children with pervasive developmental disorder. American Journal on Mental Retardation, 105(4), Sutera, S., Pandey, J., Esser, E.L., Rosenthal, M.A., Wilson, L.B., Barton, M. et al. (2007). Predictors of Optimal Outcome in Toddlers Diagnosed with Autism Spectrum Disorders. Journal of Autism & Developmental Disorders 37(1), Derfor er det problematisk, at der er så stor aldersmæssig forskel mellem de to grupper, en forskel, der hvis forfatterne ikke havde glemt at sortere de to børn fra i aldersudregningen muligvis ville være statistisk signifikant. side 20 Evaluering uden evidens Fagfolk og forskere kommenterer ETIBA-rapporten om autismetilbud