Vejledning i at læse & forstå Campbell forskningsoversigter

Transkript

1 Vejledning i at læse & forstå Campbell forskningsoversigter

2 INDHOLDSFORTEGNELSE Hvad er en Campbell-forskningsoversigt? 3 Grafisk fremstilling af metaanalysen 4 Effektmål og størrelser 7 Standardized Mean Difference (SMD) Odds Ratio (OR) De centrale statistiske tests, modeller og analyser 11 Hvorfor lave en metaanalyse? 15 Referencer Indledende bemærkninger Formålet med vejledningen er at give læseren et bedre grundlag for at læse og forstå Campbell-forskningsoversigter. Vejledningen er tænkt som en lettilgængelig guide til den statistiske metode som Campbell forskningsoversigter bygger på, den såkaldte metaanalyse. Forhåbentlig vil vejledningen også fungere som en øjenåbner for de potentialer, som metaanalysen og Campbell-forskningsoversigter rummer for forskningen på det sociale område

3 HVAD ER EN CAMPBELL-FORSKNINGSOVERSIGT? Forskningsoversigter (såkaldte reviews ) er sammenfatninger af den foreliggende forskning om et givet emne; det kan være effekter af en bestemt indsats, intervention eller behandling. Det særlige ved en Campbell forskningsoversigt er, at den beskæftiger sig med sociale indsatser, samt at den følger et videnskabeligt design, der er fastlagt af den internationale Campbell Collaboration (campbellcollaboration.org). Kort fortalt skal Campbell forskningsoversigter forstås som kvantitative effektundersøgelser, der indsamler, kvalitetsvurderer og statistisk sammenstiller alle tilgængelige studier, der beskæftiger sig med én bestemt indsats på det sociale område. Campbell forskningsoversigter er således et særlig brugbart redskab i policy-sammenhænge, idet de giver mulighed for at etablere et samlet videnskabeligt funderet handlingsgrundlag. At Campbell-forskningsoversigter er systematiske, betyder, at man går mere systematisk til værks end man typisk ville gøre i en anden forskningsoversigt. Der findes mange forskellige typer af forskningsoversigter (Petticrew & Roberts, 2006: 39-40) - vi vil her blot skelne mellem de to mest udbredte: de systematiske og de klassiske forskningsoversigter. Systematisk forskningsoversigt: søger at identificere alle primærstudier, der siger noget om det, som man ønsker at undersøge. Studierne vurderes og udvælges efter eksplicitte systematiske kriterier, hvorefter resultaterne af de udvalgte studier sammenfattes. Klassisk (eller traditionel) forskningsoversigt: er en bredere litteraturoversigt, der giver overblik over et bestemt område. Der er som regel tale om en narrativ gennemgang af litteraturen, uden samme metodologiske stringens og evidensniveau som i en systematisk forskningsoversigt. En klassisk forskningsoversigt behøver ikke kun at sammenfatte resultater af en bestemt indsats men kan også indeholde en gennemgang af forskningsdiskussioner om indsatsen, dens udvikling mm. (For en mere uddybende gennemgang af de forskellige typer af forskningsoversigter, henvises der til Petticrew & Roberts, 2006) Der er en lang tradition for brugen af klassiske forskningsoversigter i stort set al forskning. De systematiske adskiller sig fra de klassiske ved at følge nøje beskrevne og forudbestemte procedurer for søgning, udvælgelse, kvalitetsvurdering og sammenfatning af primærstudier. Arbejdsprocessen i en systematisk Campbell forskningsoversigt er organiseret i fire eksplicitte faser: 1. Klar formulering af forskningsspørgsmålet, 2. Grundig og systematisk litteratursøgning, 3. Kritisk vurdering af hvert enkelt primærstudie ift. på forhånd definerede kriterier, 4. Sammenfatning af resultaterne af de primærstudier, der lever op til kriterierne (som regel vha. metaanalyse)

4 Denne gennemsigtighed gør det muligt for læseren nøje at følge de forskellige skridt, der er taget i hele arbejdsprocessen, og mindsker risikoen for bias i resultaterne (Littell et al., 2008: 10). Metaanalysen er den statistiske metode, hvormed resultaterne fra primærstudier som oftest kombineres og sammenholdes til ét resultat 1. Populært sagt er metaanalysen en analyse af flere analyser, hvor resultaterne sammenholdes i et effektmål. Ved at sammenholde resultater på tværs af primærstudier kan metaanalysen give et samlet bud på, hvad den nuværende forskning siger om en bestemt indsats. Man kan derved svare på, hvor stor effekten er, i hvilken retning den går, og endelig hvor konsistent effekten er på tværs af studierne (Higgins & Green, 2008). 1 Man kan også støde på, at forfatterne har foretaget en narrativ syntese af de udvalgte studier. Den narrative syntese opsummerer studieresultaterne i en beskrivende form. Denne synteseform benyttes oftest, når der ikke foreligger tilstrækkelige oplysninger om studierne til at kunne udføre en metaanalyse

5 Study or Subgroup Iglehart 1994 Landsverk 1996 Treatment Control Odds Ratio Odds Ratio Events Total Events Total Weight M-H, Random, 95% CI M-H, Random, 95% CI % 49.6% 0.77 [0.58, 1.02] 0.31 [0.22, 0.43] Total (95% CI) % Total events Heterogeneity: Tau² = 0.39; Chi² = 17.48, df = 1 (P < ); I² = 94% Test for overall effect: Z = 1.57 (P = 0.12) 0.49 [0.20, 1.20] Favours treatment Favours control Winokur et al., 2009 (figur 1) Treatment: Kinship care Control: Non-kinship care Outcome: Behavioral problems (Dichotomous) Alle tabeller i denne folder er hentet fra forskningsoversigten Kinship Care for the Safety, Permanency, and Well-being of Children Removed from the Home for Maltreatment, som undersøger hvilken effekt slægtsanbringelser har på børns trivsel i forhold til traditionelle anbringelser hos plejefamilier. GRAFISK FREMSTILLING AF METAANALYSEN I Campbell forskningsoversigter fremstilles metaanalysen som regel ved et forest plot (se figur 1)

6 Plottet er en grafisk illustration af metaanalysens resultater. Det viser estimater af effekten af den undersøgte sociale indsats, først for primærstudierne hver for sig, og dernæst for den samlede metaanalyse. Det er normal praksis, at alle informationer vedrørende primærstudier præsenteres i en række fra venstre mod højre ud for hvert studie. Her angives: Forfatternavn og årstal på studiet Antal hændelser i interventionsgruppen (Events) Størrelsen af interventionsgruppen (Total) Antal hændelser i kontrolgruppen (Events) Størrelsen af kontrolgruppen (Total) Studiets tildelte vægt (Weight) Studiets vægt afhænger af, hvor stort og pålideligt studiet er. Det angives i procent. Odds Ratio (OR) Er det effektmål, som er blevet brugt i analysen. Effektmål giver en numerisk værdi for effekten af den undersøgte indsats. Et andet hyppigt anvendt effektmål er Standard Mean Difference (SMD). Resultatet for studiet Den estimerede indsatseffekt for hvert studie er grafisk repræsenteret med en firkant og en vandret linje. Denne firkant og linje er indsat i et interval (her fra 0,1 til 10). Intervallet angiver, i hvilken grad effekten af indsatsen peger i retning af interventionsgruppen (favours treatment) eller kontrolgruppen (favours control). Midt i dette interval løber en linje ved 1, der indikerer ingen effekt 2. Firkantens areal er proportionalt med den vægt, det enkelte studie er blevet tildelt. 95 % konfidensintervallet (CI) Er det interval, hvor 95 % af effektestimaterne ligger. Den vandrette linje, der går igennem firkanterne, viser et konfidensinterval, svarende til det interval, der skrives i parentes yderst i højre kolonne. Den grafiske repræsentation er ofte nyttig i forbindelse med analysen af konfidensintervaller. Grafisk set er resultatet statistisk insignifikant, hvis den vandrette linje, der går igennem firkanterne, skærer den lodrette linje for 1 (ingen effekt). I rækken under de enkelte studier står Total. Her er det samlede resultat for alle studierne. Nederst i venstre hjørne er angivet test for heterogenitet og for den samlede (overall) effekt. Dette var en kort opridsning af de centrale begreber og tests i metaanalysen. De vil i det følgende blive nærmere forklaret. 2 Linjen for ingen effekt kan også være angivet ved 0 i stedet for 1. Det vil oftest være tilfældet når SMD anvendes som effektmål

7 EFFEKTMÅL OG STØRRELSER I Campbell forskningsoversigter er der forskellige måder at sammenfatte effekten af den undersøgte indsats på. I det nedenstående tager vi fat på de to hyppigste, nemlig Standardized Mean Difference (SMD) og Odds Ratio (OR). Standardized Mean Difference (SMD) SMD (kaldes også Cohens d) bygger på en standardisering af primærstudiernes rapporterede effektstørrelser, hvormed det bliver muligt at sammenligne effekten på tværs af studierne og derudfra, at udregne en samlet effektstørrelse. Som en overordnet retningslinje til bedømmelse af SMD-effektmål, anvendes enten Cohens eller Lipseys kriterier: Cohens kriterier: 0,2 = lille effekt 0,5 = medium effekt 0,8 = stor effekt (The Journal of Family Practice, 2006). Lipseys kriterier: (Lipsey, 2006). 0,15 = lille effekt 0,45 = medium effekt 0,90 = stor effekt Det skal bemærkes, at kriterierne bygger på relativt arbitrære effektstørrelser og derfor bør anvendes som retningslinjer frem for deciderede regelsæt. Effektstørrelser skal endvidere tolkes i konteksten af det pågældende forskningsområde, for selvom en effekt er lille kan den have stor klinisk betydning. Den følgende figur illustrerer effekten af slægtsanbringelse (Treatment) på barnets adfærdsmæssige udvikling (Outcome). Indsatsen sammenlignes med traditionelle anbringelser i plejefamilier (Control)

8 Winokur et al., 2009 (figur 2) Treatment: Kinship care Control: Non-kinship care Outcome: Behavior problems (Continous) Study or Subgroup Brooks 1998 Davis 2005 Holtan 2005 Jones-Karena 1998 Metzger 1997 Rudenberg 1991 Strijker 2003 Surbeck 2000 Tarren-Sweeney 2006 Timmer 2004 Treatment Control Std. Mean Difference Std. Mean Difference Mean SD Total Mean SD Total Weight IV, Random, 95% CI IV, Random, 95% CI % 1.9% 11.0% 16.5% 7.0% 4.1% 7.6% 11.2% 10.1% 12.1% [-0.37, -0.01] [-0.88, 0.74] [-0.67, -0.10] [-0.52, -0.11] [-0.85, -0.08] [-0.88, 0.17] 0.29 [-0.07, 0.66] [-0.47, 0.08] [-0.69, -0.09] [-0.45, 0.07] Total (95% CI) Heterogeneity: Tau² = 0.01; Chi² = 13.06, df = 9 (P = 0.16); I² = 31% Test for overall effect: Z = 4.13 (P < ) 100.0% [-0.35, -0.13] Favours treatment Favours control Effekt (SMD): Angiver hvor stor en effekt, interventionen har ifølge hvert enkelt studie og nederst ifølge den samlede metaanalyse. Den samlede effekt er -0,24 på en skala fra -10 til 10, hvor 0 betyder ingen effekt. Denne værdi kan tolkes vha. Cohen og Lipseys kriterier. Den fundne samlede effekt er -0,24. Ud fra både Lipseys og Cohens kriterier kan det tolkes som en lille effekt. At effekten er negativ betyder, at effekten er til fordel for indsatsen (Favours treatment): dvs. at børn anbragt i slægtspleje udviser færre adfærdsmæssige problemer, end børn anbragt i plejefamilie. Den omvendte fortolkning ville selvfølgelig være gældende, hvis effekten havde været positiv (Favours Control). Som tidligere nævnt er det vigtigt at tjekke, om konfidensintervallet for den samlede effekt krydser linjen for ingen effekt. Dette er ikke tilfældet i figur 2, hvorfor den fundne effekt på -0,24 kan betragtes som statistisk signifikant. Den fundne effekt skyldes altså ikke statistiske tilfældigheder

9 Odds Ratio (OR) Odds ratio udtrykker forholdet mellem oddsene for forskellige grupper (interventions- og kontrolgruppen, eller to interventionsgrupper). Odds er sandsynligheden for, at en bestemt begivenhed vil forekomme (fx en positiv effekt af en intervention), sammenholdt med sandsynligheden for at begivenheden ikke vil forekomme. Odds ratio er således en relativ værdi, der siger noget om forholdet mellem to gruppers sandsynlighed. Tolkning af OR: OR = 1 : Ingen forskel mellem de to grupper, dvs. interventionen har ingen effekt på det givne udfald OR < 1 : Interventionen beskytter mod det givne udfald OR > 1 : Interventionen øger sandsynligheden for det givne udfald Winokour et al., 2009 (figur 3) Treatment: Kinship care Control: Non-kinship care Outcome: Psychiatric Disorders (Dichotomous) Study or Subgroup Bilaver 1999 Harris 2003 Iglehart 1994 McMillen 2005 Treatment Control Odds Ratio Odds Ratio Events Total Events Total Weight M-H, Random, 95% CI M-H, Random, 95% CI % 0.4% 1.7% 0.6% 0.46 [0.44, 0.49] 0.42 [0.19, 0.94] 0.50 [0.33, 0.76] 0.55 [0.28, 1.08] Total (95% CI) % Total events Heterogeneity: Tau² = 0.00; Chi² = 0.44, df = 3 (P = 0.93); I² = 0% Test for overall effect: Z = (P < ) 0.46 [0.44, 0.49] Favours treatment Favours control Effekt (OR). Angiver, hvor stor en effekt interventionen har ifølge hvert enkelt studie og nederst ifølge den samlede metaanalyse. Den samlede effekt er 0,46 på en skala fra 0,01 til 10, hvor 1 betyder ingen effekt. Figuren ovenfor viser effekten af slægtsanbringelse (Treatment) på udvikling af mentale lidelser hos barnet (Outcome). OR= 0,46 betyder, at risikoen for udvikling af mentale lidelser er 54 pct 3. mindre hos børn der er anbragt i slægtspleje, i forhold til børn der er 3 En Odds Ratio værdi kan også udtrykkes i procent. OR=0,46 kan omregnes til: - 9 -

10 anbragt i plejefamilie. Altså har slægtsanbringelse en beskyttende effekt på udviklingen af mentale lidelser. Igen er det vigtigt at tjekke, om konfidensintervallet krydser linien for ingen effekt. Dette er ikke tilfældet og man kan konkludere, at effektstørrelsen er statistisk signifikant og altså ikke er påvirket af tilfældigheder. Man skal være opmærksom på, at OR i nogle forskningsoversigter kan være omregnet således, at ingen effekt angives ved 0 i stedet for 1. Den matematiske metode, hvormed studiernes effektstørrelser kombineres til ét effektestimat afhænger af, hvilken effektmodel der benyttes (se Fixed and random effektmodeller). DE CENTRALE STATISTISKE TESTS, MODELLER OG ANALYSER Det helt afgørende spørgsmål i metaanalysen er, om forskelle i primærstudiernes rapporterede effekter blot skyldes tilfældigheder, eller om det skyldes mere systematiske forskelle studierne imellem. Til dette formål laves et heterogenitetstest, der undersøger, hvorvidt resultaterne af de forskellige primærstudier går i samme retning. Ideen er nemlig, at hvis den undersøgte indsats har en bestemt effekt, burde denne effekt vise sig i alle primærstudierne - ikke nødvendigvis i lige høj grad, men tendensen burde være den samme. Hvis der er meget stor forskel i primærstudiernes effekter, skyldes det højst sandsynligt, at de inkluderede studier ikke bør kombineres. Man ønsker derfor, at der ikke er betydelig heterogenitet mellem studierne, for hvis variationen er for stor, er det problematisk at lave en metaanalyse på tværs af studierne (Green & Higgins, 2008). Heterogenitet vurderes oftest med et såkaldt Chi 2 -test og det resulterende I 2. Chi 2 er det statistiske test for heterogenitet. Er p-værdien over 0,05 taler man om signifikant homogenitet (altså ikkeheterogenitet). Er p-værdien omvendt under 0,05, er der tale om signifikant heterogenitet. Dvs. at variationen mellem studiernes resultater er større, end hvad der kan forventes ud fra tilfældighed. I 2 beskriver, hvor stor en procentdel af den totale variation imellem studiernes, som skyldes heterogenitet. Per konvention går grænsen ved 50 %, således at I 2 > 50 % er tegn på heterogenitet mellem studierne (Littell et al., 2008: 105). Ligesom i enhver anden statistisk metode er signifikanstestet også et centralt test i metaanalysen. Nul-hypotesen H 0 er, at der ikke er forskel (1-0,46) x 100 = 54 pct

11 mellem interventions- og kontrolgruppen. Altså, at der ikke er sammenhæng mellem den sociale indsats og det undersøgte udfald. Fixed og random effektmodeller Grundmodellen for sammenfatning af effektstørrelserne kan enten specificeres som en model med faste effekter, en såkaldt fixed effectmodel (FE), eller med tilfældige effekter, en såkaldt random effectmodel (RE). Modellerne bygger på forskellige antagelser om variationer primærstudierne imellem (Littell et al., 2008: ): Fixed effektmodellen antager homogenitet. Studierne stammer fra samme population og frembringer estimater af én sand effektstørrelse. Variationer imellem studier antages at skyldes stikprøvefejl og ignoreres. Random effektmodellen antager, at den sande effekt varierer mellem studierne, grundet fx studiepopulation, -periode, -design osv. Hvor den faste effektmodel kun udnytter intra-studie information, udnytter den tilfældige model både intra- og inter-studie information. Dette indebærer, at der anvendes forskellige matematiske formler til udregning af effektestimatet alt efter valget af effektmodel. Ved homogenitet giver de to modeller imidlertid samme resultat. Valget af effektmodel afhænger af forskningshypotesen. Det handler om at vælge den model, der bedst afspejler ens grundlæggende antagelser. Efter at have identificeret de relevante primærstudier, bør man vurdere, om man kan forvente væsentlig heterogenitet. Hvis de inkluderede studier varierer i fx interventionstype eller kontrolgruppe, er random effektmodellen et klart bedre valg end den fixed (Littell et al., 2008: ). Coutume er, at beskrive sit data med både en fixed og en random effektmodel. I Figur 4 estimeres effekten via en random effektmodel (se den stiplede cirkel). Figuren illustrerer ovennævnte statistiske tests samt begrebet vægt (se side 6). Vi kan aflæse to p-værdier: den første (gul boks) er p-værdien for den samlede effekt. Med en størrelse på <0,0001, må effekten siges at være signifikant. Den anden (blå boks) er p-værdien for heterogenitet. Værdien er 0,16 (>0,05), hvilket betyder, at der er tale om signifikant homogenitet. I 2 viser at kun 31 % af den totale variation skyldes heterogenitet. Der er med andre ord ikke tale om en for signifikant heterogenitet til, at vi kan forklare effekten ud fra den undersøgte indsats

12 Treatment Control Std. Mean Difference Std. Mean Difference Mean SD Total Mean SD Total Weight IV, Random, 95% CI IV, Random, 95% CI Study or Subgroup [-0.37, -0.01] [-0.88, 0.74] [-0.67, -0.10] [-0.52, -0.11] [-0.85, -0.08] [-0.88, 0.17] 0.29 [-0.07, 0.66] [-0.47, 0.08] [-0.69, -0.09] [-0.45, 0.07] 18.6% 1.9% 11.0% 16.5% 7.0% 4.1% 7.6% 11.2% 10.1% 12.1% Winokou et al., 2009 (samme tabel som på side 8) Signifikanstest Det er størrelsen på denne p-værdi, der er afgørende for, om et resultat kan siges at være signifikant. Med et 95 % konfidensinterval skal en signifikant p- værdi være 0,05 eller derunder. Test for heterogenitet. Hvis p-værdien her er 0,05 eller derunder, er der signifikant heterogenitet mellem studiernes resultater. I dette eksempel er der signifikant homogeniitet, da p = 0.16 I 2 beskriver, hvor stor en procentdel af den totale variation imellem studierne, der skyldes heterogenitet. Vægt Angiver hvor meget studierne er vægtet hver især. Vægtfordelingen beregnes ud fra størrelsen af studiernes konfidensintervaller. Jo mindre CI et studie har, jo højere bliver det vægtet Selve metaanalysen Det er her, oplysninger for de enkelte studier opsummeres. Resultatet af den samlede analyse er illustreret ved hjælp af en sort diamantform. Her gælder det, som ved primær studiernes individuelle resultater, at analysens samlede resultat er signifikant, hvis diamantformen ikke krydser den lodrette linje for ingen effekt. Brooks 1998 Davis 2005 Holtan 2005 Jones-Karena 1998 Metzger 1997 Rudenberg 1991 Strijker 2003 Surbeck 2000 Tarren-Sweeney 2006 Timmer [-0.35, -0.13] 100.0% Total (95% CI) Favours treatment Favours control Heterogeneity: Tau² = 0.01; Chi² = 13.06, df = 9 (P = 0.16); I² = 31% Test for overall effect: Z = 4.13 (P < )

13 Ved fortolkning af resultaterne er heterogenitet mellem studier et betragteligt problem. Og i sådan en situation vil man ofte støde på, at forfatterne laver subanalyser (eng. subgroup analysis ). En subanalyse er en slags undergruppe-analyse, der estimerer effekten for specifikke undergrupper; fx opdelt efter aldersgruppe, efter indkomst mm. I nogle Campbell forskningsoversigter, vil man endvidere opleve, at subanalyserne suppleres med en moderator analyse (eller meta-regression 4 ). Denne analyseform tester mere direkte forskelle mellem undergrupper, og hvordan dette påvirker effektestimatet af den undersøgte indsats. En anden metode, hvormed heterogenitetsproblemet kan overkommes, er ved at ændre effektmodellen fra fixed til random - hvis udgangspunktet vel at mærke er en fixed model til sammenfatning af effektstørrelserne (Lipsey & Wilson, 2001: 127; Littel et al., 2008: 110). Sensitivitetsanalysen er en anden hyppig analyse i Campbell forskningsoversigter. Analysen bruges til at undersøge, hvor følsomt resultatet er overfor de antagelser, der er blevet truffet undervejs i arbejdsprocessen. Man kan fx undersøge, hvilken betydning på den samlede effekt, det har at ekskludere studier med metodologiske svagheder. Sensitivitetsanalysen kan også undersøge betydningen af manglende data på det samlede effektestimat (Littell et al., 2008: 129). 4 I tale bruges begreberne ofte i flæng. Det er dog den forskel, at moderator analysen anvendes ved kategoriske variable, mens meta-regression anvendes ved kontinuerte variable. Begge analyser har dog samme formål

14 HVORFOR LAVE EN METAANALYSE? Som ved enhver anden metode er der både styrker og svagheder ved metaanalysen. Metaanalysens væsentligste kritikpunkt er, hvad der betegnes som apple and orange problematikken, dvs. at metaanalysen kombinerer studier, som er for forskellige til at blive koblet sammen (Petticrew & Roberts, 2006: 203). Svaret på kritikken lyder, at en sådan kombinering af æbler og appelsiner er uhensigtsmæssig, hvis man udelukkende er interesseret i æbler eller ønsker at skelne mellem æbler og appelsiner men kombineringen er derimod hensigtsmæssig, hvis ens forskningsinteresse er frugtsalat (Littell et al., 2008: 15). Med andre ord er den fremsatte kritik relevant i forhold til uhensigtsmæssig anvendelse af metaanalyse. Problemet kan løses ved, allerede fra startprocessen, nøje at overveje hvilke studier (eller frugter ) der er af interesse. Det er selvsagt, at kun studier der er meningsfulde for forskningsoversigten skal medtages. Vi afslutter med en kortfattet tabel over de mest almindelige fordele og ulemper ved metaanalysen. For yderligere uddybning henviser vi til kilderne i referencelisten. FORDELE Effektiv måde at sammenfatte resultaterne af flere studier på Skaber overblik over den eksisterende viden Gennemsigtighed grundet de eksplicitte og systematiske metoder Kan afsløre ukendte sammenhænge Mulighed for løbende opdatering ULEMPER "Apple and orange problematikken: det er vanskeligt at drage konklusioner på baggrund af sammensætningen af meget forskellige studier Mekanisk procedure grundet de eksplicitte og systematiske metoder Tidskrævende Kræver ekspertise

15 REFERENCER Agresti A & Finlay B, 1997: Statistical Methods for the Social Science. Third Edition. Prentice-Hall Inc. Higgins JPT & Green S, 2008: Cochrane Handbook for Systematic Reviews of Interventions. Version The Cochrane Collaboration Lipsey MW, 2006: Conference on Research Synthesis and Meta-analysis: State of the art and future directions. Duke University. Lipsey MW & Wilson DB, 2001: Practical meta-analysis. Applied Social Research Methods Series. SAGE publications Littell JH, Corcoran J, Pillai V, 2008: Systematic Reviews and Meta- Analysis. Oxford. Oxford University Press Petticrew M & Roberts H, 2006: Systematic Reviews in the Social Sciences: A practical guide. Oxford. Blackwell Publishing The Journal of Family Practice, 2006: Meta-analysis: continuous measure MedCalc manual Winokur M, Holtan A, Valentine D, 2009: Kinship Care for the Safety, Permanence, and Well-being of Children Removed from the Home for Maltreatment. Campbell Collaboration

16 HERLUF TROLLES GADE KØBENHAVN K

17