Produktion og formidling af systematiske reviews på Dansk Clearinghouse for. Uddannelsesforskning

Transkript

1 Produktion og formidling af systematiske reviews på Michael Søgaard Larsen Daglig leder, lektor. 1

2 Evidens Bred betydning: At en konklusion, en praksis eller en politik i uddannelse er baseret på eller informeret af evidens, vil sige, at den understøttes af den bedste - mest pålidelige, relevante og tilgængelige viden. Snæver betydning: Anden ordens viden der tilbydes i form af forskningskortlægninger eller systematiske reviews med syntese af, hvad der vides om et spørgsmål om uddannelse

3 Evidens er værd at arbejde med, fordi alle pædagogiske praktikere og de elever og børn, de har ansvar for, har krav på, at grundlaget for handlinger i det pædagogiske arbejde er baseret på den bedst mulige viden.

4 Struktur Hvad et Clearinghouse er Arbejdsprocessen set indefra Formidling og implementering Udgangsbillede

5 Clearinghouse er et center, der Indsamler Sorterer Analyserer Vurderer Syntetiserer, og Distribuerer Hvad? Primærforskning, der belyser et praktiker, et policy-, et forskerog/eller et forskningspolitisk problem

6 Clearinghouse: Hvorfor det? Det er blevet meget vanskeligt at finde al relevant og god forskning. Det er blevet meget vanskeligt for alle at besvare spørgsmål om, hvad forskningen viser.

7 Oprettet 2006 som del af evidensbevægelsen på uddannelsesområdet: EPPI Centre (UK) Campbell Collaboration What Works Clearinghouse (USA) Canadian Council of Learning Best Evidence Encyclopedia Education Counts (NZ) Kunnskapssenter for utdanning (Norge) 2011

8 Arbejdsprocessen indefra: Metaforskning Udgangspunkt: Hvad viser forskningen at vi ved? Primærforskning er genstand for forskning i metaforskning Metaforskningens primærforskningskarakter

9 Arbejdsprocessen i DCU I samarbejde med en reviewgruppe beslutter og gennemfører Clearinghouse medarbejdere med anvendelse af dokumenterende software iterative og transparente processer på dette: 1. Review-spørgsmål 2. Søgestrategier 3. Inklusions/eksklusionskriterier 4. Genbeskrivelse og dataekstraktion af studier 5. Studiers evidensvægt 6. Besvare reviewspørgsmål i syntese 7. Formidle resultater

10 Reviewprocessen: fra fundne referencer til narrativ syntese Søgehits Referencer identificeret Referencedubletter 6153 referencer identificeret 163 referencer identificeret Fuldtekstscreening Screening på baggrund af dokumentets tekst 51 dokumenter ekskluderet Referencescreening Screening af titel og abstract 5990 unikke referencer identificeret 5866 referencer ekskluderet 2. fase Inkluderede dokumenter 71 dokumenter inkluderet, der omhandler 70 undersøgelser 15 studier med lav forskningsrapporteringskvali tet 1. fase Inkluderede dokumenter 124 dokumenter inkluderet Genbeskrivelse af 70 undersøgelser Systematisk kortlægning Tendenskarakteristik af 70 undersøgelser Narrativ syntese Baseret på 55 undersøgelser Ikke fremskaffelige dokumenter 2 dokumenter Fremskaffede dokumenter 122 dokumenter Implikationer for praksis, policy og forskning Nordenbo, S.E. et al.(2008) Lærerkompetanser og elevers læring i førskole og skole. Oslo:Kunskapsdepartementet

11 Stille forskellige spørgsmål Første udfordring

12 Review Questions Table 2: Types of Review questions (N=275). More than one type can be represented in one review Serie1 Descriptive Attitude/meaning Causal Effect Methodological Meeting goals Implementing (Larsen, M.S. (2010) Veje til evidens på uddannelsesområdet? En analyse af 275 systematiske reviews fra de 7 væsentligste evidensproducerende institutioner. København: DPU, Aarhus Universitet) 000ea68e967b).html

13 At værdsætte værdien af forskelle i forskningsdesign Anden udfordring

14 Evidensstigen 1. Systematiske reviews af RCT 2. Enkeltstående RCT af god kvalitet 3. Kontrollerede ikke-randomiserede forsøg 4. Systematiske reviews af kohortestudier 5. Enkeltstående kohortestudier. Dårlige RCT 6. Systematiske reviews over case-kontrol studier 7. Enkeltstående case-kontrol studier 8. Caseserier eller kohortestudier eller casekontrol af dårlig kvalitet 9. Ekspertvurderinger, kvalitative designs, enkeltcases, erfaring mv.

15 Skema fra: Rieper, O. & Hansen, H.F. (2007) Metodedebatten om evidens. København: AKF

16 Når viden opstår I processen: At give plads til iteration Tredje udfordring

17 Protokollen Som en på forhånd udformet og godkendt uforanderlig fremstilling af procedurer, der skal følges. Som en up-to-date foranderlig godkendt fremstilling af den nuværende status i reviewet.

18 At håndtere spørgsmål om forskningskvalitet Fjerde udfordring

19 Primærstudiers forskningskvalitet Studiets egen forskningskvalitet ( Evidensvægt A) Relevansen af studiets design til at besvare reviewspørgsmål (Evidensvægt B) Relevansen af studiets indhold i forhold til reviewspørgsmål (Evidensvægt C) Samlet transparent evidensvægt baseret på A-B-C (skabt af mindst to personer) Baseret på information givet (eller ikke givet) i forskningsrapport Som en relativ vurdering af hvert design Som vurdering af bias (tendensiøsitet) Som en samlet eksplicit vurdering baseret på normer for god udførelse og rapportering af det valgte design.

20 At skabe syntese baseret på forskellige studier (design, fokus etc.) Femte udfordring

21 Synteseformer Metaanalyse Narrativ syntese (via tertio comparationis) Konceptuel syntese (via tertio comparationis)

22 At håndtere generaliserings problemer på tværs af kontekster Sjette udfordring

23 Generalisering Ekstern validitet og relevans af begreber Ekstern validitet og relevans af resultater Overveje varians/lighed mellem kontekster Overføring af resultater fra Angloamerikansk kontekst til Skandinavien: OK - medmindre vi har lokalt producerede resultater, der peger i anden retning.

24 Formidling og implementering Lærerens hverdag - metodefrihed og professionelt råderum Kommunaløkonomi Lærerholdninger til undervisningen Lovgivning Skoleledelse Viden om eleven Viden baseret på evidens

25 Evidensformidling: Konkret eksempel: Effekt af vejledning Teknisk rapport Pixiversion Viden om vejledning Pressemeddelelse udkast med ministerudtalelse Summary Database med transparent proces Faktaark Powerpoint præsentation til ministeriet Præsentation på national konference for vejledere Aviskronik International engelsksproget artikel

26 Evidensformidling: iøvrigt Nyhedsbreve: Egne undersøgelser, internationale reviews, aktuelle emner i medierne etc. Artikler og analyser i dagspressen Artikler i fagtidsskrifter Hjemmeside Evidensbasen Forskere udtaler sig d= Oplæg på konferencer

27 Rapporter fra DCU i 2011 Systematisk review om effekt af vejledning Forskningskortlægning og forskervurdering af skandinavisk forskning i året 2009 i institutioner for de 0-6 årige. Forskningskortlægning af forskningen om virkning af interventioner for udsatte børn i førskolen med forældreinvolvering.

28 Evidensimplementering Udarbejdelse af materialer sammen med opdragsgiver Altid en del af kontrakten Netværk og alliancer med DLF, UVM, skolelederne, professionshøjskoler Evidensforum (Communitysite for Evidens)

29 Implementering

30 To reviews: En kontrast Evidens anvendes (måske) kun uddannelsespolitisk, hvis der er overensstemmelse mellem resultater og grundlæggende politiske holdninger

31 Udgangsbillede Tak for jeres opmærksomhed Jeg hviler ikke (i) min sag Jeg ved, at jeg er i en position med udfordringer