Metodedebatten om evidens

Transkript

1 Metodedebatten om evidens Temadagen Evidensbaseret biblioteksudvikling d. 30/ Olaf Rieper Forskningschef i AKF Anvendt KommunalForskning

2 Oplæggets struktur Begrebet evidens Evidensdebattens baggrund Metodedebatten: Evidenshierarki og evidenstypologi Evidens som forskningsoversigter Grænser for evidens

3 Begrebet evidens: Evidenstrappen Global viden Lokal viden Forskningsresultater Praktisk erfaring Mine faglige erfaringer Vidensdeling Vores fælles erfaringer Dokumentation Lokal evaluering

4 Flere definitioner af evidens Evidens-baseret politik og praksis er en omhyggelig, udtrykkelig og kritisk brug af den aktuelt bedste viden. Evidens som lig med troværdig, sikker viden. Evidens som forskningsresultater fra RCT. Evidens som den viden, der opsamles i forskningsoversigter (systematiske reviews).

5 Metodedebattens baggrund og udvikling kort fortalt Lange spor tilbage i tiden: human & samfundsvidenskaber versus naturvidenskaber, positivismestriden, kvalitative versus kvantitative metoder. Debatten foregik overvejende inden for forskningsverdenen. Evidensbevægelsen med forskningsoversigter fra 1990 erne sætter fokus på udvælgelse af den bedste forskning som grundlag for forskningsoversigter. Hvilke kriterier skal anvendes? Evidensbaseret praksis og politik bragte debatten ud over forskningsverdenen til professionelle og politikere.

6 Evidenshierarki - en rangorden af forskningsdesign 1. Kontrollerede lodtrækningsforsøg (RCT) 2. Kontrollerede forsøg uden lodtrækning 3. Registeranalyser baseret på tidserier 4. Tværsnitsundersøgelser 5. Kvalitative case studier 6. Fagprofessionelles opfattelse 7. Brugeres opfattelse

7 Argumenter for evidenshierarkiet Det kontrollerede lodtrækningsforsøg (RCT) tilbyder en løsning på det kontrafaktiske problem: hvad ville være sket, hvis indsatsen ikke var gennemført? Den tilfældige udvælgelse til henholdsvis indsatsog kontrolgruppe tager højde for ukendte faktorer, som kan have indflydelse på indsatsens effekt. Registeranalyser baseret på tidserier spejler denne logik i statistiske analyser, hvor der søges taget hensyn til påvirkningen fra andre faktorer.

8 Argumenter imod evidenshierarkiet Konteksten: Indsatsens effekt vil være forskellig i forskellige sammenhænge. RCT (lodtrækningsforsøg) vil ikke kunne fange dette ind, da RCT gennemføres på populationer i mange forskellige kontekster, og konteksternes betydning skjules i gennemsnitstallene. Indsatser er sammensat og dynamiske: RCT forudsætter en veldefineret, ensartet og stabil indsats, der gives til hele indsatsgruppen. Hvis indsatsen ikke er den samme for alle i populationen, vil der være tale om forskellige årsager (i indsatsen) i RCT opstillingen. Årsag-virkning er kompleks og dynamisk: Dynamikken i komplekse sociale systemer vanskeliggør generalisering af RCT målt nettoeffekt (høj intern validitet, men lav ekstern validitet).

9 Bag om debatten om det randomiserede eksperiments forrang Uenighed om, hvad der er det rette forskningsspørgsmål: Gennemsnitlig effekt versus meningstilskrivning, kontekstuel kompleksitet, flere perspektiver Uenighed om, hvad der er den rette anvendelse af forskningens resultater: RCT resultater kan give et klart grundlag for beslutningstagere til at fortsætte eller standse indsatser: eliteorientering. Andre interessenter har også legitime interesser: medinddragelse. Uenighed om RCT s praktiske relevans: Hvor velegnet er RCT til effektmåling, når små-medium effekter er af interesse, og når effekterne risikerer at drukne i indsatsernes kompleksitet, variation over kontekster, forhistorie mv? Andre metoder kan være mere velegnede.

10 Reframing debatten Ikke: Hvor troværdige er resultater fra RTC i forhold til andre forskningsdesign? Men: Hvor vigtig er spørgsmål om effekten af en indsats i forhold til spørgsmål om, hvilke erfaringer forskellige interessenter (fx professionelle, brugere) har med en indsats, eller Under hvilke betingelser skal effektivitetsspørgsmålet vægtes højere/lavere end erfaringsspørgsmålet? Flere perspektiver? Hvem skal bestemme forskningsspørgsmålet? Forskerne? Politikerne? Indsatsens designere? Udførerne? Brugerne? Andre?

11 Evidenstypologi et bud på et alternativ til evidenshierarkiet

12 Evidens som forskningsoversigter Eksempler inden for bibliotekssektoren?

13 Evidensbevægelsens organisationer Forskellige kvalitetskriterier for forskning Udgangspunkt i evidenshierarkiet: fx Cochrane, Campbell, CRD (Centre for Reviews and Dissemination) Andre udgangspunkter: fx EPPI (the evidence for policy and practice information and coordination centre), HEN Health Evidence Network (under WHO).

14 Ny epistemisk arbejdsdeling og Grænser for evidenstænkningen

15 Ny epistemisk arbejdsdeling? Kvalitetskontrollen af fagprofessioners indsatser overgår til nye typer af specialiserede organisationer og deres eksperter (fx Cochrane, Campbell, What Works Clearing house). Der skydes dermed et nyt led ind mellem forskningsinstitutionerne og professionerne. Et led som har magt til også at påvirke politiske beslutninger. forskningsinstitutioner mister kontrol over vidensproduktionen og over definitionen af, hvad der defineres som kvalitet af viden.

16 Grænser for evidenstænkningen (fra Grimen, H og LI Terum (red.) evidensbaseret profesjonsutøvelse, 2009) Det kan være uhensigtsmæssigt at institutionalisere procedurer for vidensøgning og videnhåndtering i tilfælde, hvor: udøvereffekten er stor, der er små effektforskelle mellem forskellige metoder i indsatsen, samt hvor omkostningerne ved informationssøgningen er uforholdsmæssige store.

17 Grænser for evidenstænkningen Forskellige grænser afhængigt af: Niveau for institutionalisering af procedurer for vidensøgning: den enkelte udøver, professions-/organisationsniveau, policyniveau Fag-/professionsområder hvor relationelle er fagområdernes indsatser, udøvernes rolle i bruger-udøver relationen

18 Udvalgte henvisninger Yosef Bhatti, Hanne Foss Hansen og Olaf Rieper (2006) Evidensbevægelsens udvikling, organisering og arbejdsform. AKF.dk Olaf Rieper og Hanne Foss Hansen (2007) Metodedebatten om evidens. AKF.dk Harald Grimen og Lars Inge Terum (red.) (2009) Evidensbasert profesjonsutøvelse. Abstrakt Forlag. Olaf Rieper, Frans L. Leeuw og Tom Ling (2010) The Evidence book Concepts, generation, and use of evidence. Transaction Publishers. Ingemar Bohlin og Morten Sager (2011) Evidensens många ansikten. Arkiv förlag.

19 Tak for jeres opmærksomhed!