Carl Gustav Johannsen og niels ole Pors (red.) evidens og systematiske reviews en introduktion

Carl Gustav Johannsen og niels ole Pors (red.) evidens og systematiske reviews en introduktion

Carl Gustav Johannsen og Niels Ole Pors (red.) Evidens og systematiske reviews en introduktion

Carl Gustav Johannsen og Niels Ole Pors (red.) Evidens og systematiske reviews en introduktion 1. udgave 2013 E-bogen er udgivet i 2015 Samfundslitteratur 2013 OMSLAG Imperiet (Annette Borsbøl) SATS SL grafik E-BOGSPRODUKTION SL grafik ISBN E-BOG 978-87-593-2347-2 ISBN TRYKT UDGAVE 978-87-593-1760-0 Samfundslitteratur Rosenørns Allé 9 1970 Frederiksberg C info@samfundslitteratur.dk www.samfundslitteratur.dk Alle rettigheder forbeholdes. Kopiering fra denne bog må kun finde sted på institutioner, der har indgået aftale med COPY- DAN, og kun inden for de i aftalen nævnte rammer. Undtaget herfra er korte uddrag til anmeldelse.

INDHOLD Indledning Carl Gustav Johannsen Kapitel 1 Hvad er et systematisk review, og hvilke formål tjener det? 11 Olaf Rieper Kapitel 2 Kontekster og situationer, hvori systematiske reviews indgår 23 Camilla Brørup Dyssegaard, Maia Lindstrøm, Michael Søgaard Larsen og Carl Gustav Johannsen Kapitel 3 Afgrænsning af population, intervention og effekter og formulering af forskningsspørgsmål 41 Niels Ole Pors og Carl Gustav Johannsen Kapitel 4 Forskningsdesign og protokoller 49 Niels Ole Pors og Carl Gustav Johannsen Kapitel 5 Litteratursøgningens metodik 59 Hanne Munch Kristiansen og Birger Hjørland Kapitel 6 Inklusion og eksklusion af forskningsresultater 73 Camilla Brørup Dyssegaard, Maia Lindstrøm, Michael Søgaard Larsen og Carl Gustav Johannsen

Kapitel 7 Syntetisering meta-analyser og narrative synteser 87 Niels Ole Pors og Carl Gustav Johannsen Kapitel 8 Formidling 99 Carl Gustav Johannsen Kapitel 9 Evidens og praksis 115 Maia Lindstrøm, Camilla Brørup Dyssegaard og Michael Søgaard Larsen Figurer 135 Ordliste 137 Forfatterpræsentation 141 Litteratur 143 Indeks 149

Indledning 7 INDLEDNING CARL GUSTAV JOHANNSEN Der har inden for de senere år været en stigende efterspørgsel efter evidens i almindelighed og evidensbaseret viden om effekterne af forskellige offentlige indsatser inden for især sundhedssektoren, den sociale sektor og uddannelsesvæsenet i særdeleshed. Det er oplagt, at anvendelsen af ineffektive metoder til behandling af patienter kan betyde både unødvendige dødsfald og forringet livskvalitet. I uddannelsessammenhænge er det ligeså indlysende, at ineffektive undervisningsmetoder bør undgås, og i den sociale sektor er det vigtigt, at der til bekæmpelse af fx kriminalitet og stofmisbrug anvendes de mest effektive metoder. For udøvere af professioner som lærer, socialrådgiver, bibliotekar osv. vil man ofte støde på begreber som evidens og evidensbaserede metoder, hvilket skaber et behov for en mere indgående indsigt i, hvad evidensbegrebet egentlig dækker over. Hvordan adskiller evidensbaseret viden sig fx fra almindelig viden eller fra forskningsbaseret viden? Samfundsøkonomisk er der også en stigende opmærksomhed på, hvorvidt den offentlige sektors metoder virker eller ej. Overfor et klart ønske hos den brede offentlighed, hos fagprofessionelle inden for den offentlige sektor (især sundheds-, undervisnings- og den sociale sektor) og ikke mindst hos studerende, hvis uddannelse retter sig mod de omtalte sektorer, hersker der imidlertid ikke nogen klarhed om, hvad evidens og evidensbaseret viden egentlig er for noget. Graver vi et spadestik dybere, synes der heller ikke de forskellige sektorer imellem at være enslydende definitioner og forståelser for evidensbegrebets indhold. Formålet med denne bog er at bidrage til en øget forståelse for evidensbegrebet og for den måde, begrebet anvendes på inden for to

8 Indledning store sektorer i den offentlige sektor: den sociale sektor og uddannelsessektoren med tilgrænsende områder, fx kulturinstitutioner (museer og biblioteker). Bogens primære formål er at give læseren en forståelse for, hvordan systematiske reviews, der er den primære kilde til evidens, er lavet, og hvordan de kan læses og forstås. Vi har dermed ikke behandlet evidens i sundhedssektoren, hvor evidens vel nok hidtil har haft den største udbredelse, systematisk. Dog er erfaringer fra sektoren inddraget ved flere lejligheder (fx kap. 8) med henblik på at forstå udviklingen på de øvrige områder. Dette valg skyldes to ting. For det første foreligger der allerede egnede dansksprogede hjælpemidler til læge- og sygeplejerskestuderende, der ønsker et nærmere indblik i emnet. For det andet gør en række helt særlige forhold sig gældende for det medicinske område. Eksempelvis er muligheden for at anvende anonyme kontrolgrupper (se kap. 1) uligt lettere, når et nyt lægemiddels effektivitet skal afprøves, fx gennem brug af placebomedicin, end i uddannelses- og socialfaglige sammenhænge. Selv med udeladelsen af den medicinske evidens gør en betydelig variation sig gældende med hensyn til forståelsen af evidens. Det skyldes, at evidens i en mere snæver betydning produceres af forskellige institutioner, der hver især har deres metodiske principper og præferencer. Inden for den sociale sektor og kriminologien er det herhjemme og internationalt centre med et tilhørsforhold til Campbell-traditionen, der producerer evidensen. For uddannelsesområdet er det Dansk Clearinghouse for Uddannelsesforskning og i udlandet tilsvarende organisationer, der arbejder med produktion af evidens. Denne institutionelle spredning kommer også til udtryk ved forskelligheder med hensyn til, hvilke typer af forskning man inden for de to traditioner vælger at bygge evidens på. Ideen med denne lærebog er at give den primære målgruppe, der er studerende, et kig ind i evidensproduktionens maskinrum. De studerende, som bogen henvender sig til, er bl.a. socialrådgiver- og lærerstuderende på bachelorniveau, studerende på universitetsuddannelser såsom folkesundhedsvidenskab, informationsvidenskab

Indledning 9 og kulturformidling, efteruddannelsesmasters med kurser i evaluering og evidens og andre, herunder fagprofessionelle. For denne målgruppe sigter bogen mod at præsentere evidensproduktionens grundlæggende processer med henblik på at skabe en forståelse for, hvad evidensbaseret viden er og ikke er. Bogen er disponeret, så den følger rytmen og sekvenserne i udarbejdelsen af et systematisk review. Udgangspunktet er her beslutningen om at undersøge forskningen vedrørende et bestemt offentligt indsatsområde som fx kriminalitetsbekæmpelse, indsatser over for hjemløse eller effekten af nationale tests. Herefter følges arbejdet og procedurerne i forbindelse med at producere reviewet frem til formidlingen 1 til 1 ½ år senere af resultaterne af arbejdet og den deraf følgende offentlige debat og mulige ændringer af praksis. Det er vigtigt her at understrege, at et systematisk review er en kritisk oversigt over forskningen på et bestemt område, men ikke et forskningsresultat i sig selv. Reviewet undersøger og evaluerer, hvad der allerede er skrevet om et bestemt emne; derimod fremlægger det ikke selv nye primære forskningsresultater. Alligevel kan man i en vis forstand sige, at det systematiske review præsenterer ny viden om emnet ved at sammenfatte, systematisere og evaluere den eksisterende forskning. Bogens kapitel 1 går både i dybden med og skaber et overblik over review-begrebet og dets historie. Det giver også et overblik over de syv centrale trin i fremstillingen af et systematisk review. Endelig giver kapitlet eksempler på emner, der har været genstand for systematiske reviews og forklarer centrale tekniske termer, fx meta-analyse, og deres rolle i review-processen. I kapitel 2 stiller vi skarpt på baggrunden og konteksten for beslutningen om at producere et systematisk review. Vi ser nærmere på, hvem og hvilke samfundsinteresser der konkret udvælger emner og træffer beslutning om at igangsætte arbejdet, og hvilke interessenter der i øvrigt er på banen. Da kontekster og interessenter kan variere en del fra sektor til sektor, vil kapitlet både indeholde cases og eksempler fra den sociale sektor og fra uddannelsessektoren.

10 Indledning Kapitel 3 gør i forlængelse af kapitel 2 rede for, hvordan problemstillinger og samfundsmæssige interesser og behov yderligere systematiseres, præciseres og specificeres med henblik på systematisk reviewing. I den forbindelse præsenteres et centralt værktøj, PICOCmodellen, som et redskab til at sikre systematikken og til at forebygge, at væsentlige specifikationer og distinktioner overses. Kapitel 4 handler om vurdering af relevans, kvalitet og forskningsdesign, ligesom centrale begreber, fx protokoller og RCT, forklares. Fremstillingen ledsages, som i de øvrige kapitler, af illustrerende eksempler og cases. De følgende kapitler (5-7) gennemgår så illustreret med løbende eksempler og cases de helt centrale procedurer og trin i fremstillingsprocessen: litteratursøgning, screening og in- og eksklusion af forskningsresultater, syntetisering og meta-analyse. Kapitel 8 handler om formidlingen og om, hvilken gennemslagskraft resultaterne har haft i den offentlige debat og deres effekt på politiske og administrative beslutninger. Endelig er der kapitel 9, der i sammenhængende form gennemgår den systematiske review-proces fra A-Z med afsæt i konkrete eksempler og herefter diskuterer den evidensbaserede videns samfundsmæssige betydning. Det er målet, at studerende på baggrund af ovenstående, grundige gennemgang har fået et værktøj i hænde, der kan bruges til at forholde sig selvstændigt og konstruktivt kritisk både til evidens, påstået evidens og manglende evidens, hvor de måtte møde den i deres professionelle virke og som samfundsborgere. God læselyst!

Kapitel 1 11 KAPITEL 1 HVAD ER ET SYSTEMATISK REVIEW, OG HVILKE FORMÅL TJENER DET? OLAF RIEPER INDLEDNING Systematiske reviews eller forskningsoversigter er en metode til at sammenfatte eller syntetisere den allerede eksisterende viden på et forskningsområde. De udgør som sådan en del af bestræbelserne i mange lande og inden for flere sektorer i retning af at evidensbasere eller evidensinformere offentlige indsatser. Systematiske reviews kan være aggregative (som fx reviews produceret af Campbell- og Cochrane-netværkerne) eller konfigurative. I et aggregativt review bygger sammenfatningen eller syntesen i overvejende grad på sammentælling af data fra de inkluderede primærstudier, mens det konfigurative review i overvejende grad bygger syntesen på en kvalitativ sammenfatning. Valg af type afhænger ligesom i forskning af, hvilke spørgsmål man ønsker, at reviewet skal besvare. Det er således ikke sådan, at den ene type, fx det aggregative review, er mere rigtig end den anden. Tendensens udvikling gennem de sidste par årtier hænger sammen med videnseksplosionen inden for forskning. Den har gjort det stadigt sværere bare at holde sig ajour. Systematiske reviews søger i høj grad at dække behov både inden for og især uden for forskningsverdenen. Uden for forskningsverdenen retter de systematiske reviews sig mod praktikere og mod de, der udformer de overordnede retningslinjer og rammer for offentlige indsatser (planlæggere, politikere og andre policy makere). Systematiske reviews er her blevet et middel til at undgå, at man mister overblikket og drukner i viden.

12 Hvad er et systematisk review, og hvilke formål tjener det? Et systematisk review bygger på en systematisk kortlægning af alle relevante undersøgelser (primærstudier) om en bestemt problemstilling. Den vil typisk dreje sig om effekten af offentlige ydelser. Efter en kritisk vurdering af de fundne primærstudiers relevans i forhold til de opstillede review-spørgsmål udvælges (inkluderes) de, der lever op til de opstillede krav til relevans, mens resten frasorteres (ekskluderes). Herefter sammenfattes (syntetiseres) resultaterne fra de udvalgte primærstudier, og det færdige systematiske review gøres offentligt tilgængeligt. Fordelen er, at fagfolk som fx socialrådgivere, lærere og læger hermed får et let tilgængeligt overblik over den forskning, der adresserer en given problemstilling. Problemstillingerne kan variere meget. Her vil reviews om konkrete problemstillinger blive anvendt som eksempler. Formålet med et systematisk review er på basis af den bedste forskning at give patienter, elever, klienter og andre brugere af velfærdsydelser den bedst mulige behandling og indsats. Målgruppen er personale og ledere i offentlige organisationer (stat, kommuner og regioner), leverandører af velfærdsydelser, fx plejehjem, skoler, botilbud og sygehuse samt brugere. Men er systematiske reviews et nyt fænomen? Litteraturoversigter i forskningsverdenen har eksisteret gennem mere end 100 år. Det nye ved systematiske reviews er, at de udarbejdes gennem systematiske og klart fremlagte metoder. Arbejdet er som oftest organiseret i internationale organisationer, som er oprettet med det sigte at producere systematiske reviews på udvalgte områder. Flere af disse organisationer er oprettet internationalt i løbet af 1990 erne og i Danmark overvejende i løbet af det første tiår af 2000 (jf. figur 1.1.). Der er tale om organisationer med betydelige forskelle i deres udspring, intern organisering, metoder og finansiering. De tidlige organisationer som Cochrane (sundhed) og Campbell (uddannelse, social velfærd, kriminalitet og international udvikling) blev oprettet med udgangspunkt i forskere og fagfolk. Begge organisationer bygger på netværk af forskere, som udarbejder systematiske reviews, og grupper, som godkender dem. Dette sikrer en høj kvalitet. Begge or-

Kapitel 1 13 ganisationer finansieres fra bl.a. regeringsmidler. Andre organisationer blev oprettet på initiativ af offentlige myndigheder. De anvendte metoder omfatter bl.a. kriterier for udvælgelse af primærstudier samt metoder til at sammenfatte de forskellige studiers resultater. ORGANISATION OMRÅDE OPRETTELSESÅR INTERNATIONALT OPRETTELSESÅR DANMARK Cochrane Collaboration Sundhed 1993 Nordic Cochrane: 1993 Campbell Collaboration EPPI (the Evidence for Policy and Practice Information and Coordinating Center) Uddannelse, kriminalitet, social velfærd og international udvikling Uddannelse, social velfærd og fra 1996: sundhedsfremme og folkesundhed 2000 Nordic Campbell (nu SFI Campbell): 2002 UK: 1993 What Works Clearinghouse Uddannelse USA: 2002 Dansk Clearinghouse for Uddannelsesforskning: 2006 Figur 1.1. Organisationer, der udarbejder og formidler systematiske reviews. Vi har at gøre med et internationalt samarbejde, der stort set omfatter alle politikområder, og som er skudt op siden 1990. I det følgende vil vi se nærmere på årsagerne hertil. Hvorfor systematiske reviews? Baggrund for opkomsten af evidensproducerende institutioner Der kan næppe gives en enkelt forklaring på, hvorfor evidens og reviews har fået stigende betydning. Dels er der mange forhold involveret, og dels er der specifikke forhold, der kan forklare fremkomsten af systematiske reviews og evidensbaseret politik og praksis på de enkelte områder. Overordnet kan der udskilles fire megatrends, som gør sig gældende, uanset hvilket politikområde vi taler om (Bhatti m.fl. 2006: 119 ff).

14 Hvad er et systematisk review, og hvilke formål tjener det? Den første megatrend udspringer af, at der på alle forskningsområder inden for de sidste årtier er sket en stærk stigning i mængden af litteraturen. Denne stigning har betydet, at det i praksis er umuligt at holde sig ajour med forskningen end ikke på et mindre, afgrænset område. Herfra udspringer et behov for at få sammenfattet forskningsresultater. Dette behov ligger bag oprettelsen af Cochrane og Campbell Collaboration. Den anden megatrend er, at en række regeringer indførte evidensbaseret politik som en del af deres moderniseringsprogrammer fra 1980 erne med fokus på at afklare, hvad der virker for at effektivisere indsatserne og støtte de politiske prioriteringer af, hvilke indsatser man skulle finansiere. Den tredje megatrend er tendensen til at udvikle kvaliteten i de offentlige indsatser. Den fjerde megatrend er metodemæssig og udspringer af en udbredt opfattelse, særligt inden for medicinsk forskning. Opfattelsen går på, at de mest troværdige forskningsresultater i forbindelse med problemstillinger, der omhandler effekten af en given indsats vil komme fra veludførte lodtrækningsforsøg (Leeuw 2012: 11 ff). I forlængelse af sidstnævnte trend har Cochrane- og Campbellsamarbejderne udarbejdet et hierarki for forskningsdesigns, hvor lodtrækningsforsøg står øverst. Det må her understreges, at det kun gælder, når undersøgelsen drejer sig om kausale effekter. Historisk og aktuelt set har der været en ganske intensiv debat blandt forskere og praktikere herom; de fleste aktører inden for systematiske reviews er i dag afklarede om, at der eksisterer forskellige typer af reviews med dertilhørende forskellige typer af relevanskriterier. EKSEMPLER PÅ SYSTEMATISKE REVIEWS INTRODUKTION De tre udvalgte eksempler omfatter reviews fra 1) Cochrane (om posttraumatisk stress), 2) den danske forskningsinstitution KORA (om udlicitering af offentlige opgaver) samt 3) et review fra et engelsk konsulentfirma (om effekten af offentliggørelse af resultater i

Kapitel 1 15 sundhedsvæsenet (report cards)). Eksemplerne afspejler tre forskellige typer af reviews: 1. Den kvantitative meta-analyse, byggende på primærstudier med RCT-design (posttraumatisk stress), hvor der syntetiseres ved meta-analyse 2. Den blandede type, hvor forskning med forskelligt design inkluderes (effekter af udlicitering), og hvor der foretages en tematisk syntese 3. Et eksempel på et realist-review (offentliggørelse af resultater i sundhedsvæsenet), hvor der anvendes flere kilder end primærstudier, og hvor der foretages en form for teoretisk syntetisering Et kort overblik over disse tre reviews er vist i figur 1.2-1.4. TITEL PROBLEMSTILING SØGNING KRITISK VURDERING SYNTESE-METODE KONKLUSION Psychological debriefing for preventing post-traumatic stress disorder (PTSD) Rose m.fl. (2001, 2009). Virker rutinemæssig benyttelse af psykologisk debriefing efter traumatiske oplevelser forebyggende i forhold til udvikling af post-traumatic stress disorder? Databaser: MEDLINE, EMBASE, PsychLit, PILOTS, Biosis, Pascal, Occ. safety and Health, SOCIOFILE, CINAHL, PSYCINFO, PSYNDEX, SIGLE, LI- LACS, CCTR, CINAHL og NRR. Manuel søgning: Journal of Traumatic Stress. Førende forskere blev kontaktet direkte. Søgekriterierne inkluderede randomiserede og kvasi-randomiserede primærstudier. 15 primærstudier opfyldte inklusionskriterierne. Meta-analyse. Der er ingen evidens for, at rutinemæssig brug af enkeltsessions debriefing efter traumatiske oplevelser reducerer psychological distress og forebygger udvikling af post-traumatic stress disorder (PTSD). Psykologisk debriefing er enten ligestillet med, eller dårligere end, kontrol- eller uddannelsesindsatser rettet mod forebyggelse af PTSD. Der er tegn på, at rutinemæssig debriefing (tværtimod) kan forøge risikoen for PTSD og depression. Figur 1.2. Et eksempel på et Cochrane systematisk review.

16 Hvad er et systematisk review, og hvilke formål tjener det? Eksemplet i figur 1.2. viser et kvantitativt review, der bygger på primærstudier, der er udformet som kontrollerede lodtrækningsforsøg (RCT). Det ses, at der ikke er belæg for at sige, at en enkelt debriefing-session har effekt, tværtimod er der risiko for forværring af depressionen. TITEL Effekter ved udlicitering af offentlige opgaver (Petersen m.fl. 2011). PROBLEMSTILLING SØGNING KRITISK VURDERING SYNTESE-METODE KONKLUSION Hvad er effekterne for økonomi og kvalitet ved udlicitering af offentlige opgaver til private aktører? Hvad er forskellene i effekterne på henholdsvis de tekniske områder og de bløde velfærdsområder? Hvad er effekterne for de medarbejdere, som berøres af udlicitering? Databaser: Social Sciences Citation Index, Sociological Abstracts, Social Services Abstracts, ERIC (Education Resources Information Center), PI- LOTS Database, Campbell Library, Cochrane Library, DanBib, Den Danske Forskningsdatabase, SwePub, ForskDok. Kontakt til eksperter fra danske statslige styrelser, konsulentfirmaer, forskningsinstitutioner m.v. Gennemgang af publikationslister for ti forvaltningsforskere på området ansat ved danske universiteter og handelshøjskoler. Screeningen resulterede i 3.893 publikationer. Herefter sortering efter inklusionskriterier, som gav 267 studier, som blev nærmere vurderet. Kvalitetsvurdering efter kriterier for god videnskabelig praksis samt 12 andre kriterier. I højere grad baseret på evidenstypologi end på evidenshierarkier (Gough 2004). I alt 80 publikationer indgår i reviewet. Alle 80 studier er blevet beskrevet med hensyn til 1) generel information om studiet, 2) analyseobjekt, 3) den anvendte metode og 4) påviste resultater. De dokumenterede økonomiske effekter er generelt mindre, end det ofte fremstilles i debatten om udlicitering. Særligt på de bløde velfærdsområder, som fx ældrepleje, børnepasning, uddannelse og beskæftigelse, mangler der dokumentation for gevinster ved at inddrage private aktører. Her er der ikke belæg for at sige, at udlicitering generelt giver bedre eller billigere serviceydelser for skattekronerne. Der er forholdsvis små besparelsesgevinster ved at udlicitere på tekniske områder som fx veje, vandforsyning, affald og rengøring. Men kun få af analyserne medregner omkostningerne til selve udbudsforretningen, og de fleste har heller ikke belyst tilstrækkeligt, hvad konsekvenserne er for kvaliteten. Udlicitering har en tendens til at påvirke medarbejdernes løn og arbejdsvilkår negativt. Figur 1.3. Et eksempel på et KORA systematisk review, der er inspireret af EP- PI-centerets metode.

Kapitel 1 17 I eksemplet i figur 1.3. anvendes primærstudier med forskellige forskningsdesign, men med kvalitetsvurdering af hvert enkelt studie. Effekten af udlicitering af offentlige opgaver ses at være meget beskeden. TITEL PROBLEMSTILLING SØGNING VURDERING AF PRIMÆRSTUDIER SYNTESEMETODE KONKLUSION Offentliggørelse af information om kvalitet på sundhedsområdet (Marshall m.fl. 2000; Pawson m.fl. 2005: metodeartikel, som handler om den anvendte metode generelt.). Hvad er erfaringerne fra USA med offentliggørelse af data om resultater i sundhedsvæsenet? Formålet er at vejlede UK policy på området. Databaser: Medline og Embase databaser, Cochrane library. Forfattere og eksperter på området er kontaktet. Publikationer fra Agency for Health Policy and Research, General Accounting Office, Health Care Financing Administration (HCFA), Institute of Medicine, National Committee for Quality Assurance (NCQA) and State organisations i USA gennemgået. Ekspertinterview og medieomtale, udvalg af report cards fra not-for-profit coalitions of health care purchasers og fra Californien, Florida, Massachusetts, Minnesota, New Jersey, New York and Pennsylvania. Enheden, der udvælges, er ikke et primærstudie, men den del af studiet som er relevant for udvikling af teorierne på området. Vurdering og robusthed af del af et studie foretages i selve syntetiseringen. Med udgangspunkt i de syv delteorier, der blev opstillet i starten af reviewprocessen, specificeres og udvikles disse teorier yderligere: Hvilke aspekter ved interventionen virker, for hvem, under hvilke omstændigheder og med hensyn til hvad? er det generelle spørgsmål. Der er få egentlige evalueringer af virkninger af report cards på kvaliteten af sundhedsydelser hos bestillere og leverandører. Læger er skeptiske og mener, at de har lav nytteværdi. Hospitaler svarer med interne ændringer, især i konkurrenceprægede omgivelser. Report cards læses sjældent af den individuelle bruger eller bestiller af sundhedsydelser. Offentliggørelse af dødelighedsdata synes at resultere i forbedrede resultater, men årsagsmekanismen er uklar. Figur 1.4. Et eksempel på review-metoden realist synthesis. Eksemplet i figur 1.4. illustrerer et review, der baseres på dele af relevante primærstudier, idet der foretages en teoretisk orienteret syntese af resultaterne. Resultaterne peger på, at der er en beskeden effekt af offentliggørelse af information om kvalitet på sundhedsområdet.

18 Hvad er et systematisk review, og hvilke formål tjener det? PROCEDURER FOR UDARBEJDELSE AF SYSTEMATISKE REVIEWS De forskellige organisationer (Campbell, Cochrane osv.) beskriver deres procedurer for at udarbejde et review noget forskelligt; i hovedsagen gennemgår arbejdet dog de samme 4-5 hovedtrin (Bhatti m.fl. 2006: 37, 72, 94 f, 110; Gough m.fl. 2012: 8), som vi gennemgår kort i det følgende. Valg af emne, spørgsmål og metode Formulering af problemstilling for et systematisk review adskiller sig principielt ikke fra andre forskningsprojekter. Emne og problemstilling kan være forsker- eller interessentdrevet eller en kombination, hvor interessenter (fx rekvirenten, brugere o.l.) inddrages og medvirker (se også kap. 2). Problemstillingen er afgørende for de videre valg. Jo flere problemstillinger, der skal belyses (bredde), og jo mere specifikt og dybtgående de skal adresseres (dybde), desto mere tid og ressourcer er påkrævet. Ressourcerne kan variere betydeligt fra 3-4 arbejdsmåneder til 18-24 måneder. Søgestrategi for primærstudier En søgestrategi indebærer stillingtagen til, hvordan informationssøgningen skal afgrænses, så problemstillingen afdækkes bedst muligt (se kap. 5). Det helt afgørende er, at søgeprocessen er fuldstændig, gennemskuelig og dokumenteret. Beskrivelse af primærstudierne mapping Kortlægning indebærer en beskrivelse af primærstudierne, som er fundet via litteratursøgningen (Gough m.fl. 2012: 45 ff). Kvalitets- og relevansvurdering af primærstudierne Kvalitets- og relevansvurdering af de primære studier er adskilte processer og kan finde sted på forskellige trin af en systematisk review-proces. Især relevansvurderingen, som jo afgør, hvilke studier

Kapitel 1 19 der skal inkluderes i det systematiske review, er af afgørende betydning for et reviews udsagnskraft, dækningsgrad og resultat: Er de udvalgte primærstudier robuste i deres metodik? Undersøgelser tyder på, at primærstudier af lavere kvalitet giver mere positive resultater vedrørende effekter end primærstudier af høj kvalitet (Gough m.fl. 2012: 155). Samtidig kan der dog være væsentlige fund fra studier af lavere kvalitet (se kap. 6). Syntese Når man har vurderet og udvalgt de primærstudier, der indgår i et systematisk review, skal der foretages en sammenfatning af disses resultater. Dette kaldes at syntetisere, og der er forskellige måder statistiske (kvantitative) og narrative (kvalitative) at gøre det på (se kap. 7). EVIDENSTYPOLOGIER OG METODEDEBATTEN Metodedebatten inden for de evidensproducerende organisationer udspringer af, at en vurdering af metodisk design er nødvendig for udvælgelsen af primærstudier. I de to toneangivende systematisk review-producerende organisationer, Cochrane og Campbell, opererer man med et evidenshierarki (også kaldet effekthierarki), hvor der på forhånd er foretaget en rangordning af, hvilke forskningsdesign og metoder der bør anvendes, når det handler om belysning af kausale effekter. Der er dog stor uenighed blandt forskerne om den nøjagtige rangordning, hvilket kommer til udtryk ved en betydelig debat om placeringen af ikke-randomiserede, eksperimentelle design. Ligeledes samler nogen ekspertvurderinger, eksempler på god praksis m.v. i én kategori, mens andre foretager en nøjere rangering. Et fællestræk ved alle udgaver af evidens-/effekthierarkiet er dog, at de giver fortrinsstilling til lodtrækningsforsøget (RCT, randomized controlled trial) til belysning af kausale effekter. Figur 1.5. herunder viser en generel udgave af hierarkiet (Rieper m.fl. 2007: 20).

20 Hvad er et systematisk review, og hvilke formål tjener det? RANGORDEN FORSKNINGSDESIGN OG FORSKNINGSMETODER KOMMENTARER 1 Lodtrækningsforsøg (RCT) Eksperimentelt design med lodtrækning til forsøgs og kontrolgrupper. Før- og eftermålinger 2 Kvasi-eksperimenter Forsøgs- og kontrolgrupper og før- og eftermålinger, men uden lodtrækning 3 Forløbsstudier Før- og eftermålinger, tidsserier 4 Tværsnitsundersøgelser Én måling (i modsætning til flere over tid) 5 Procesevaluering, implementeringsforskning o.l. 6 Kvalitative casestudier og etnografiske feltstudier Studier, der analyserer sociale processer Casestudier som en dybdegående analyse af et eksempel taget i sin helhed og sammenhæng 7 Best practice-eksempler Beskrivelser af god praksis. 8 Ekspertvurderinger Eksperter kan omfatte fagpersoner, ledere, konsulenter o.l. 9 Brugervurderinger Brugere af den indsats, der undersøges (patienter, klienter, elever osv.) Figur 1.5. Evidenshierarkiet/Effekthierarkiet. Ikke alle organisationer, som producerer systematiske reviews, anvender og accepterer hierarkiet. Eksempelvis anvender EPPI primærstudier efter andre design, fordi EPPI producerer reviews med en anden type review-spørgsmål og dermed også med andre relevanskriterier end Campbell og Cochrane (Rieper m.fl. 2007: 63 f). I europæisk sammenhæng er der især på sundhedsområdet (via Cochrane-samarbejdet) og på velfærdsområdet, uddannelsesområdet og det kriminologiske område (via Campbell-samarbejdet) blevet argumenteret for anvendelsen af RCT. Debatten for og imod RCT er ofte ganske ophedet. Kritikere er især at finde inden for det sociale område (Social kritik, nr. 102, december 2005) og på uddan-

Kapitel 1 21 nelsesområdet (Moos m.fl. 2005; Unge Pædagoger, nr. 3, juli 2006). RCT som den gyldne standard øverst i hierarkiet er kendetegnet ved den tilfældige tildeling af individer (eller andre undersøgelsesenheder) til henholdsvis en gruppe, der udsættes for indsatsen (eksperiment- eller interventionsgruppen), og en gruppe, der ikke udsættes for indsatsen (kontrolgruppen), samt registrering af effektmålene i begge grupper, både før og efter at indsatsen er gennemført. Dette princip sikrer, at alle andre mulige årsagsforhold end den aktuelle indsats, som kunne have en effekt, er ligeligt fordelt (inden for statistiske rammer) i de to grupper. Dermed er den målte nettoeffekt netop effekten af den aktuelle indsats, idet alle andre faktorer er holdt konstante gennem den tilfældige, ligelige fordeling af individer i de to grupper. Det fremhæves endvidere, at sammenligning af indsatsers effekter undersøgt ved både RCT og andre forskningsdesign, som ikke er RCT, viser, at RCT i højere grad påviser lavere eller ingen effekter, end tilfældet er for ikke-rctdesign. RCT er altså en strengere test (Rieper m.fl. 2007: 68 ff). Dette begrunder fx krav om, at nye lægemidler skal afprøves ved RCT-forsøg. Kritikken mod RCT og dets placering i evidens-/effekthierarkiet har bl.a. gået på, at mens RCT er et stærkt forskningsdesign i de tilfælde, hvor indsatsen er standardiseret (fx lægemidler), er det blevet kritiseret for at være mindre egnet til at belyse effekten af komplekse indsatser (fx på dele af det sociale område). Ved komplekse indsatser er det vanskeligt at afgrænse indsatsen fra de sociale relationer, den virker i, og virkningerne kan være affødt af og indviklet i andre forhold end en specifik indsats (om forskelle i forståelser for årsag-virkningsdynamikken, se Pawson 2006; Rieper m.fl. 2007: 74 f). Et alternativ til evidens-/effekthierarkiet er evidenstypologien. Evidenstypologier angiver skematisk de enkelte undersøgelsesdesigns udsagnskraft i relation til givne problemstillinger. Et eksempel på en sådan typologi er vist i figur 1.6. (inspireret af Petticrew m.fl. 2006: 60).

22 Hvad er et systematisk review, og hvilke formål tjener det? RCT FORLØBS- UNDERSØGELSER CASESTUDIER STUDIETS FORMÅL Stop/go af indsats Stop/go Tilpasning Forståelse Tilpasning INDSATSENS KARAKTER Enkel teknisk Veldefineret Kompleks KONTEKSTENS KARAKTER Lavt differentieret Moderat differentieret Højt differentieret FORHÅNDSVIDEN OM ÅRSAGSVIRKNING Hypoteser om specifikke virkninger Modellers statistisk Lille viden Figur 1.6. En evidenstypologi. Tankegangen er her, at man bør vælge design på baggrund af studiets formål, indsatsens karakter, konteksten og forskerens forhåndsviden om, hvilke effekter der skal måles, og hvilke årsag-virkningsmekanismer der er på tale. Metodedebatten er på mange måder en genoplivning af tidligere diskussioner inden for samfundsforskningen; men det nye er, at man nu også debatterer uden for forskningsverdenen blandt fagfolk og ledere i velfærdsinstitutionerne. AFSLUTNING Formålet med dette kapitel har været at give en oversigt over, hvad et systematisk review er, og hvor forskellige de kan være. De organisationer, der udarbejder systematiske reviews, er alle etableret inden for de sidste par årtier. Der er tale om et internationalt fænomen, som er eneståede ved, at det ofte er specialiserede organisationer (som fx Cochrane på sundhedsområdet, Campbell på social- og beskæftigelsesområdet og What Works Clearinghouse på uddannelsesområdet), der står for udarbejdelsen af systematiske reviews. Sigtet med at lave systematiske reviews er at kvalificere politik og praksis på især velfærdsområderne. Det har bl.a. ført til, at debatten om, hvad der er god forskning og analyse, har bredt sig uden for universiteternes mure.

Kapitel 2 23 KAPITEL 2 KONTEKSTER OG SITUATIONER, HVORI SYSTEMATISKE REVIEWS INDGÅR CAMILLA BRØRUP DYSSEGAARD, MAIA LINDSTRØM, MICHAEL SØGAARD LARSEN OG CARL GUSTAV JOHANNSEN INDLEDNING I dette kapitel vil vi se nærmere på, hvilke interesser og initiativer der ligger til grund for udarbejdelsen af systematiske reviews. De aktører i samfundet, der typisk kan have interesse i et review, er offentlige myndigheder på statsligt eller kommunalt niveau (fx ministre, statslige styrelser o.l.), diverse administratorer, praktikere (fx folkeskolelærere, socialrådgivere og bibliotekarer) og diverse brugergrupper (fx elever og forældre, sociale klienter, patienter osv.). Nedenstående konkrete eksempler fra uddannelsessektoren og den socialfaglige sektor illustrerer, at baggrunden for et review kan tage afsæt hos flere forskellige aktører. Medieomtale kan også være med til at sætte et emne på den politiske dagsorden, hvilket igen kan føre til udarbejdelse af et systematisk review med afsæt i aktuelle problemstillinger. Det er vigtigt her at nævne, at systematiske reviews typisk vil have et internationalt perspektiv og dermed ikke kun fokuserer på danske eller nordiske forhold. En anden skillelinje går mellem reviews, der sigter mod en bredere uddannelses- eller socialpolitisk dagsorden, og reviews, der i højere grad er rettet mod praksisverdenen. Der er også eksempler på reviews, der oprindeligt havde et praksisrettet sigte, men som senere også har fået politiske virkninger. Konteksten for et review kan ydermere variere i forhold til, hvor