Ordbog om effektma ling Indhold Allokering... 2 Andre forskningsdesign med kontrolgruppe... 2 Andre forskningsdesign uden kontrolgruppe... 2 Campbell-samarbejdet... 3 Dokumentation... 3 Effektmåling... 3 Effektstigen... 4 Eftermålinger... 4 Etik... 4 Fejlkilder/bias... 5 Forskningsdesign... 5 Forskningsoversigt... 6 Før- og eftermålinger... 6 Indsatsgruppe... 6 Intervention... 6 Kausal sammenhæng... 6 Konfidensinterval... 7 Kontrolgruppe... 7 Kontrollerede forsøg... 7 Kvantitativ og kvalitativ forskning... 7 Lodtrækingsforsøg... 7 Manualbaserede programmer... 8 Metaanalyse... 8 Randomiseret kontrolleret forsøg... 8 Systematisk forskningsoversigt... 8 1
Allokering Allokering (engelsk: allocation ) betyder fordeling. Udtrykket bruges om fordelingen af deltagere i et forsøg med indsats- og kontrolgruppe. Man taler oftest om en tilfældig fordeling af deltagerne (randomisering), hvorved risikoen for bias reduceres og undersøgelsens pålidelighed styrkes. Andre forskningsdesign med kontrolgruppe Hvis man har en gruppe, der har fået en indsats, og en kontrolgruppe, som ikke har fået indsatsen, og det ikke er et tilfældighedsprincip (lodtrækning/randomisering), der har bestemt, hvem der er i hvilken gruppe, er der risiko for, at de to grupper ikke vil være ens (statistisk set). Det gør det svært at måle effekten af indsatsen, dels fordi der kan være forskellig effekt for de to grupper, og dels fordi der kan være andre faktorer, som bidrager til effekten. Fx hvis en gruppe stofmisbrugere, som er særligt motiverede og derfor kommer i behandling, sammenlignes med stofmisbrugere generelt. I det tilfælde vil man forvente, at behandlingen er mere effektiv over for særligt motiverede stofmisbrugere, end over for stofmisbrugere generelt. Hvis man ikke tager højde for det i sin analyse, vil man i dette tilfælde overvurdere effekten af indsatsen. En anden måde at lave en kontrolgruppe kan være via det man kalder et naturligt eksperiment. Det kan fx være, at man anvender indførelsen af ny lovgivning til at konstruere indsats- og kontrolgruppe. Der findes en række forskellige metoder, som minimere betydningen af andre faktorer, som påvirker indsats- og kontrolgruppe, og dermed effekten af den indsats man undersøger. Det er fx metoder som: Matching Naturlige eksperimenter Regression disontinuity design Andre forskningsdesign uden kontrolgruppe Nogle gange har man udover en før- og eftermåling en mængde data om målgruppen for indsatsen. Disse data kan bruges til at finde sammenhænge og nuancere før- og eftermålingen ved at se på betydningen af forskellige faktorer. Hvis man eksempelvis arbejder med stofmisbrugere kunne oplysninger om omfang og type af misbrug, tidligere behandling, køn og alder bidrage til et mere nuanceret bud på sammenhængen mellem indsats og virkning. 2
Men det er vigtigt at være opmærksom på, at fordi man ikke har en kontrolgruppe, ved man ikke, hvad der ville være sket, hvis deltagerne ikke havde fået indsatsen. Derfor kan man ikke udelukke, at deltagernes udvikling skyldes andre faktorer end indsatsen. Campbell-samarbejdet Det internationale Campbell-samarbejde (The Campbell Collaboration) arbejder med systematiske forskningsoversigter over effekter af indsatser inden for uddannelse og kriminalitet samt på social- og velfærdsområdet. Formålet er at udarbejde, opdatere og formidle systematiske forskningsoversigter over effekten af sociale indsatser. SFI Campbell er en del af det internationale Campbell-samarbejde. Forbilledet for Campbell-samarbejdet er sundhedssektorens globale netværk for forskningsbaseret medicin, Cochrane-samarbejdet (The Cochrane Collaboration). Campbell-organisationen blev stiftet i år 2000. The Campbell Library er en database hvor alle de systematiske forskningsoversigter der udgives inden for Campbellsamarbejdet gratis kan downloades. Her ligger også de titel-registreringer og protokoller, som bliver til kommende forskningsoversigter. (http://www.campbellcollaboration.org/library.php) Dokumentation Er et bredt begreb der kan dække mange forskellige former for indhentning af oplysninger om arbejdet med en indsats. Det kan fx være dokumentation for hvor meget tid, hjemmehjælperen har brugt hjemme hos den ældre, dokumentation for hvad den ældre synes om hjemmehjælpen eller dokumentation for hvad hjemmehjælpsindsatsen betyder for antallet af hospitalsindlæggelser blandt ældre. I dag er der ofte dokumentation af arbejdsprocesser i socialt arbejde. For at måle effekten af indsatsen må man dog også dokumentere resultatet af indsatsen systematisk. Effektmåling Når vi på SFI taler effektmåling, mener vi kvantitative undersøgelser, hvor det er muligt at sammenligne to nogenlunde ensartede grupper; en indsatsgruppe og en kontrolgruppe. Der er vigtigt at arbejde med de to grupper, fordi undersøgelsen skal kunne svare på spørgsmålet om, hvad der ville være sket med deltageren, hvis han eller hun ikke havde fået indsatsen (det kontrafaktiske spørgsmål). Når man arbejder med sociale problemstillinger, har man brug for mange forskellige typer viden. Og der er mange forskellige måder at indsamle viden på, afhængigt af hvilke spørgsmål, man vil have svar på. Men hvis man vil have præcist svar på, hvilken effekt en given indsats har, så skal indsatsens mål kunne omsættes til talmateriale, som gør det muligt at sammenligne indsatsen med, hvad der var sket 3
hvis borgerne ikke havde fået indsatsen. I forbindelse med en effektmåling finder man typisk forskningsspørgsmål i stil med "Virker intervention A over for målgruppe B på succeskriterium C"? Effektstigen Effektstigen er en hierarkisk inddeling af forskellige kvantitative metoder i forhold til, hvor gode de er til at måle effekt. Rangeringen af metoder er altså ikke en vurdering af hvor god metoden er generelt, men hvor pålidelig den er specifikt til at måle effekt. Stigens øverste trin forsvinder bevidst i skyerne. Det er for at minde om, at heroppe svæver 100 % sikker viden om effekten af en indsats, den sande effekt. Et sådant svar kan ingen undersøgelser give. Nederste trin er et møntkast, der giver 50 % chance for at gætte det rigtige svar. Eftermålinger Målinger der undersøger, hvad der sker efter en indsats ved at studere forskellige succeskriterier, når indsatsen er afsluttet. Sådanne målinger gennemføres ofte i ønske om at kende noget til effekten af indsatsen, men de siger reelt ikke meget om effekter, fordi man ikke har noget sikkert udgangspunkt at sammenligne med. Hvis man fx ikke har noget systematisk kendskab til stofmisbruget hos dem, man sender i behandling, kan man jo heller ikke sige, om det er blevet bedre af behandlingen. Desuden kan den effekt, man mener at observere, kan være resultatet af andre forhold end selve indsatsen - fx venners hjælp eller at misbrugerne bare er glade for, at nogen tager sig af dem. For at kunne måle effekter skal man for det første kunne dokumentere en udvikling (dvs. vide noget om både før og efter indsatsen), og for det andet kunne sige noget om, hvad der var sket, hvis personen ikke havde modtaget indsatsen. Etik Der er mange etiske problemstillinger inden for forskning på det sociale område. Her fokuseres udelukkende på etiske udfordringer og løsninger i forbindelse med at udføre 4
lodtrækningsforsøg. Når man laver undersøgelser af sociale indsatser er det anderledes end fx et kemisk forsøg, idet undersøgelsen drejer sig om mennesker, som man må tage hensyn til. Når man udfører et lodtrækningsforsøg er det en grundlæggende pointe, at man både har en gruppe som modtager den indsats man vil undersøge (fx en ny type behandling af alkoholmisbrug) og en kontrolgruppe som ikke modtager indsatsen, for at kunne måle hvilken effekt indsatsen har. Men det er selvfølgelig vigtigt at designe undersøgelsen etisk forsvarligt, bl.a. ved at sikre, at kontrolgruppen ikke stilles dårligere end hvis de ikke havde deltaget i undersøgelsen. Dette kan fx sikres ved at lade kontrolgruppen modtage den behandling de ellers ville have fået (fx den behandling af alkoholmisbrug man hidtil har anvendt). Man kan også lave en venteliste-kontrolgruppe, dvs. at personer der står på venteliste til at modtage indsatsen kan sammenlignes med dem der allerede har modtaget den. En anden grundlæggende pointe i et lodtrækningsforsøg er, at det er tilfældigt, om den enkelte deltager ender i indsatsgruppen eller kontrolgruppen. Bl.a. derfor er det vigtigt at alle deltagere i grove træk informeres om hvad undersøgelsen går ud på og har sagt ja, med den viden at de både kan ende i indsatsgruppen og kontrolgruppen. Fejlkilder/bias Der findes mange mulige fejlkilder eller bias (fra engelsk: skævhed ), som kan gøre vurderingen af effekten af en indsats forkert. Fejlkilder kan betyde systematisk over- eller undervurdering af indsatsen, så det er vigtigt at være opmærksom. Mulige fejlkilder kan fx være: Hvis nogle deltagere modtager en anden indsats uden for forsøgets rammer, uden forskerne er klar over det. Hvis deltagerne i en undersøgelse husker forkert. Nogle ting vil folk have en tendens til at glemme, og andre til at huske tydeligt, hvilket kan give en skævhed. Hvis deltagerne i en undersøgelse, ændrer adfærd alene fordi de ved, at deres adfærd bliver observeret den såkaldte Hawthorne-effekt. Hvis deltagerne i et forsøg ikke er repræsentative for den population man vil undersøge. Hvis man fx gerne lave en undersøgelse om teenagere, og man rekrutterer deltagere via facebook, vil de teenagere der ikke er på facebook ikke blive repræsenteret i undersøgelsen. Hvis man ikke medregner effekten for de deltagere der er faldet fra. Hvis der er systematiske forskelle mellem sammenligningsgrupper. En tilfældig tildeling (randomisering) til de forskellige grupper kan forebygge dette. Forskningsdesign Der findes forskellige typer forskningsdesigns, dvs. måder at udforme en undersøgelse. Det bedste forskningsdesign vil være afhængigt af, hvilket spørgsmål man vil besvare med sin undersøgelse. Et eksempel på et forskningsdesign er et lodtrækningsforsøg. Det kan give viden om effekt. Et andet eksempel kunne være en 5
undersøgelse baseret på kvalitative interviews som fx kan give viden om en persons motivation. Effektstigen rangerer forskellige typer forskningsdesigns i forhold til deres mulighed for at give svar på spørgsmål om effekt. Forskningsoversigt En forskningsoversigt (engelsk: review ) sammenfatter resultaterne af flere studier og giver på denne måde et overblik over, hvad mange studier har fundet frem til om et specifikt spørgsmål. Der findes forskellige former for forskningsoversigter, men i en klassisk forskningsoversigt opstiller man typisk ikke systematiske kriterier på forhånd. Det gør man til gengæld i en systematisk forskningsoversigt. Før- og eftermålinger Undersøgelser hvor man måler et problem, fx stofmisbrug, før og efter en indsats. Sådanne målinger gennemføres ofte for at bestemme virkningen af en indsats ved at sammenligne før- og efterresultaterne. Denne type målinger giver en mere pålidelig indikation af virkningen end blot eftermålinger. Svagheden ved før- og eftermålinger er dog, at den effekt man kan observere, kan være resultatet af mange andre ting end selve indsatsen, fordi der ikke er en kontrolgruppe. Eksempelvis kan stofmisbrugeren have været ude for andre hændelser end misbrugsbehandlingen, der kan have hjulpet vedkommende til at blive stoffri. Indsatsgruppe En indsatsgruppe er den gruppe af borgere, der modtager den indsats, man ønsker at undersøge. Indsatsgruppen skal sammenlignes med en kontrolgruppe, hvis det skal være mulig at måle en effekt af indsatsen. Jo mere kontrolgruppen og indsatsgruppen ligner hinanden, desto mere pålidelig er målingen af effekter. En indsatsgruppe er det samme som en interventionsgruppe. Intervention Er et forskerbegreb, der benyttes om den indsats, der måles på. Det bruges i samme betydning som en "social indsats". Det kan fx være en politi-indsats mod bandekriminalitet eller en bestemt type undervisning til ordblinde. Kausal sammenhæng En kausal sammenhæng betyder en årsagssammenhæng, dvs. at a har forårsaget b. Fx at solen får isen til at smelte. I undersøgelser på det sociale område bruger man udtrykket om sammenhængen mellem en indsats og den opnåede effekt. 6
Konfidensinterval Konfidensintervallet er et mål for usikkerheden for et givent resultat. Nærmere bestemt er det et interval omkring det estimerede resultat indenfor hvilket den sande værdi forventes at ligge med en bestemt grad af sikkerhed. Almindeligvis angives sikkerheden som 95 %. Kontrolgruppe En kontrolgruppe er en sammenligningsgruppe, der ikke modtager den indsats man ønsker at undersøge. Jo mere kontrolgruppen ligner den gruppe der får indsatsen, desto mere pålidelig er målingen af effekter. Kontrollerede forsøg Et kontrolleret forsøg (engelsk: controlled trial ) er et forsøg, hvor der udover indsatsgruppen også indgår en kontrolgruppe. De to grupper gør det muligt at måle, hvilken forskel det gør at modtage indsatsen. Kontrolgruppen kan udvælges på flere måder fx via lodtrækning. Kvantitativ og kvalitativ forskning Der findes mange forskellige metoder til at skabe viden gennem forskning på det sociale område. Disse kan groft inddeles i kvantitative og kvalitative metoder. De kvantitative metoder beskæftiger sig med de ting der kan tælles, fx hvor mange procent af danske forældre der slår deres børn. Det kan bruges til at beskrive sammenhænge, fx at der er en statistisk sammenhæng mellem forældre der slår deres børn, og om de selv er blevet slået som børn. Kvantitativ forskning kan fx bruge spørgeskemaer eller registerdata. De kvalitative metoder beskæftiger sig med forhold der ikke kan tælles, såsom hvorfor forældre slår deres børn. Her kan man ikke sige noget om hvor udbredt fænomenet er, men man kan få en dybere forståelse for det. Kvalitativ forskning kan fx bruge interviews eller observationer. Disse to tilgange eller typer af forskning har hver deres styrker og svagheder, og hvilke metoder man bør anvende er afhængigt af hvad man ønsker at vide noget om. Lodtrækingsforsøg Lodtrækningsforsøg (eller randomiserede kontrollerede forsøg ) sammenligner (mindst) to grupper for at finde effekten af en indsats. Ud fra et tilfældighedsprincip fordeles deltagerne i grupperne, som oftest ved hjælp af et computerprogram (lodtrækning). Den tilfældige fordeling er vigtig for at sikre, at der ikke er systematiske forskelle mellem grupperne fx at alle de mest motiverede 7
stofmisbrugere ender i den samme gruppe. Den tilfældige fordeling gør det muligt at skabe to grupper, som gennemsnitligt er (statistisk) ens. Efter fordelingen modtager den ene gruppe den indsats, man ønsker at måle effekten af fx en ny type afvænning for stofmisbrugere denne gruppe kaldes interventionsgruppen eller indsatsgruppen. Den anden gruppe modtager enten ingen indsats eller en anden type indsats (ofte den behandling der normalt tilbydes). Denne gruppe kaldes kontrolgruppen. Ved at undersøge forskelle mellem indsats- og kontrolgruppen, får man viden om effekten af indsatsen. Hvis der opstår systematiske forskelle mellem de to tilfældigt fordelte grupper, så skyldes de med meget stor sandsynlighed den indsats, interventionsgruppen har modtaget, fordi interventionen er det eneste, der adskiller de to grupper. Manualbaserede programmer Et manualbaseret program er en social indsats hvor man følger en metode, der på forhånd er detaljeret beskrevet i en manual. Manualen bygger ofte på et teoretisk grundlag og forskning om effekter. De kaldes også ofte evidensbaserede programmer. Et eksempel på et manualbaseret program er De Utrolige År der henvender sig til forældre og børn i alderen 3-8 år med udadreagerende adfærd. Metaanalyse En metaanalyse er en sammenfattet statistisk analyse af resultaterne af flere undersøgelser om samme emne. Fx 10 undersøgelser af effekten af aktivering. Ved at sammenholde resultaterne fra flere undersøgelser får man et samlet billede af, hvad den eksisterende forskning siger om en bestemt indsats. I Campbell forskningsoversigter foretages altid metaanalyser når det er muligt. Randomiseret kontrolleret forsøg Se Lodtrækningsforsøg Systematisk forskningsoversigt En systematisk forskningsoversigt (engelsk: systematic review ) sammenfatter resultaterne af flere undersøgelser og skaber på den baggrund samlet viden på det undersøgte område. Systematiske forskningsoversigter giver et overblik over, hvad mange undersøgelser har fundet frem til om et specifikt spørgsmål ligesom en klassisk forskningsoversigt gør. 8
Men i en systematisk forskningsoversigt går man mere systematisk til værks. En systematisk forskningsoversigt søger at give overblik over, hvad de bedst tilgængelige forskningsresultater kan sige om et bestemt, afgrænset emne. De systematiske forskningsoversigter sammenfatter resultaterne af flere undersøgelser, som er udvalgt og vurderet efter eksplicitte og systematiske kriterier. De udvalgte undersøgelser vægtes efter, hvor sikre deres resultater er. Derved bliver det muligt at give et samlet bud på, hvad mange forskellige (primær-)undersøgelser har fundet frem til. Det er vigtigt, at forskningsprocessen er klar og eksplicit, så andre forskere i princippet kan gentage processen og nå frem til samme resultat. For at sikre dette, kontrollerer uafhængige forskere såvel forfatternes fremgangsmåde som deres resultater (en såkaldt peer review-proces ). Både Campbell og Cochranesamarbejdet arbejder med systematiske forskningsoversigter. 9