Produktion og formidling af systematiske reviews på Michael Søgaard Larsen Daglig leder, lektor. 1
Evidens Bred betydning: At en konklusion, en praksis eller en politik i uddannelse er baseret på eller informeret af evidens, vil sige, at den understøttes af den bedste - mest pålidelige, relevante og tilgængelige viden. Snæver betydning: Anden ordens viden der tilbydes i form af forskningskortlægninger eller systematiske reviews med syntese af, hvad der vides om et spørgsmål om uddannelse
Evidens er værd at arbejde med, fordi alle pædagogiske praktikere og de elever og børn, de har ansvar for, har krav på, at grundlaget for handlinger i det pædagogiske arbejde er baseret på den bedst mulige viden.
Struktur Hvad et Clearinghouse er Arbejdsprocessen set indefra Formidling og implementering Udgangsbillede
Clearinghouse er et center, der Indsamler Sorterer Analyserer Vurderer Syntetiserer, og Distribuerer Hvad? Primærforskning, der belyser et praktiker, et policy-, et forskerog/eller et forskningspolitisk problem
Clearinghouse: Hvorfor det? Det er blevet meget vanskeligt at finde al relevant og god forskning. Det er blevet meget vanskeligt for alle at besvare spørgsmål om, hvad forskningen viser.
Oprettet 2006 som del af evidensbevægelsen på uddannelsesområdet: EPPI Centre (UK) 1996 http://eppi.ioe.ac.uk/cms/ Campbell Collaboration 1999 http://www.campbellcollaboration.org/ What Works Clearinghouse (USA) 2002 http://ies.ed.gov/ncee/wwc/ Canadian Council of Learning 2004 http://www.cclcca.ca/ccl/home/index.htm?language=en Best Evidence Encyclopedia 2004 http://www.bestevidence.org/ Education Counts (NZ) 2005 http://www.educationcounts.govt.nz/themes/bes Kunnskapssenter for utdanning (Norge) 2011
Arbejdsprocessen indefra: Metaforskning Udgangspunkt: Hvad viser forskningen at vi ved? Primærforskning er genstand for forskning i metaforskning Metaforskningens primærforskningskarakter
Arbejdsprocessen i DCU I samarbejde med en reviewgruppe beslutter og gennemfører Clearinghouse medarbejdere med anvendelse af dokumenterende software iterative og transparente processer på dette: 1. Review-spørgsmål 2. Søgestrategier 3. Inklusions/eksklusionskriterier 4. Genbeskrivelse og dataekstraktion af studier 5. Studiers evidensvægt 6. Besvare reviewspørgsmål i syntese 7. Formidle resultater
Reviewprocessen: fra fundne referencer til narrativ syntese Søgehits Referencer identificeret Referencedubletter 6153 referencer identificeret 163 referencer identificeret Fuldtekstscreening Screening på baggrund af dokumentets tekst 51 dokumenter ekskluderet Referencescreening Screening af titel og abstract 5990 unikke referencer identificeret 5866 referencer ekskluderet 2. fase Inkluderede dokumenter 71 dokumenter inkluderet, der omhandler 70 undersøgelser 15 studier med lav forskningsrapporteringskvali tet 1. fase Inkluderede dokumenter 124 dokumenter inkluderet Genbeskrivelse af 70 undersøgelser Systematisk kortlægning Tendenskarakteristik af 70 undersøgelser Narrativ syntese Baseret på 55 undersøgelser Ikke fremskaffelige dokumenter 2 dokumenter Fremskaffede dokumenter 122 dokumenter Implikationer for praksis, policy og forskning Nordenbo, S.E. et al.(2008) Lærerkompetanser og elevers læring i førskole og skole. Oslo:Kunskapsdepartementet
Stille forskellige spørgsmål Første udfordring
Review Questions Table 2: Types of Review questions (N=275). More than one type can be represented in one review 250 200 150 100 50 0 Serie1 Descriptive Attitude/meaning Causal Effect Methodological Meeting goals Implementing (Larsen, M.S. (2010) Veje til evidens på uddannelsesområdet? En analyse af 275 systematiske reviews fra de 7 væsentligste evidensproducerende institutioner. København: DPU, Aarhus Universitet) http://pure.au.dk/portal/da/persons/michael-soegaard-larsen(e7d78ca6-f483-4b78-96e9-fd302d18d9c1)/publications/veje-til-evidens-paa-uddannelsesomraadet(3d719150-56b0-11df-a8fd- 000ea68e967b).html
At værdsætte værdien af forskelle i forskningsdesign Anden udfordring
Evidensstigen 1. Systematiske reviews af RCT 2. Enkeltstående RCT af god kvalitet 3. Kontrollerede ikke-randomiserede forsøg 4. Systematiske reviews af kohortestudier 5. Enkeltstående kohortestudier. Dårlige RCT 6. Systematiske reviews over case-kontrol studier 7. Enkeltstående case-kontrol studier 8. Caseserier eller kohortestudier eller casekontrol af dårlig kvalitet 9. Ekspertvurderinger, kvalitative designs, enkeltcases, erfaring mv.
Skema fra: Rieper, O. & Hansen, H.F. (2007) Metodedebatten om evidens. København: AKF
Når viden opstår I processen: At give plads til iteration Tredje udfordring
Protokollen Som en på forhånd udformet og godkendt uforanderlig fremstilling af procedurer, der skal følges. Som en up-to-date foranderlig godkendt fremstilling af den nuværende status i reviewet.
At håndtere spørgsmål om forskningskvalitet Fjerde udfordring
Primærstudiers forskningskvalitet Studiets egen forskningskvalitet ( Evidensvægt A) Relevansen af studiets design til at besvare reviewspørgsmål (Evidensvægt B) Relevansen af studiets indhold i forhold til reviewspørgsmål (Evidensvægt C) Samlet transparent evidensvægt baseret på A-B-C (skabt af mindst to personer) Baseret på information givet (eller ikke givet) i forskningsrapport Som en relativ vurdering af hvert design Som vurdering af bias (tendensiøsitet) Som en samlet eksplicit vurdering baseret på normer for god udførelse og rapportering af det valgte design.
At skabe syntese baseret på forskellige studier (design, fokus etc.) Femte udfordring
Synteseformer Metaanalyse Narrativ syntese (via tertio comparationis) Konceptuel syntese (via tertio comparationis)
At håndtere generaliserings problemer på tværs af kontekster Sjette udfordring
Generalisering Ekstern validitet og relevans af begreber Ekstern validitet og relevans af resultater Overveje varians/lighed mellem kontekster Overføring af resultater fra Angloamerikansk kontekst til Skandinavien: OK - medmindre vi har lokalt producerede resultater, der peger i anden retning.
Formidling og implementering Lærerens hverdag - metodefrihed og professionelt råderum Kommunaløkonomi Lærerholdninger til undervisningen Lovgivning Skoleledelse Viden om eleven Viden baseret på evidens
Evidensformidling: Konkret eksempel: Effekt af vejledning Teknisk rapport Pixiversion Viden om vejledning Pressemeddelelse udkast med ministerudtalelse Summary Database med transparent proces Faktaark Powerpoint præsentation til ministeriet Præsentation på national konference for vejledere Aviskronik International engelsksproget artikel
Evidensformidling: iøvrigt Nyhedsbreve: Egne undersøgelser, internationale reviews, aktuelle emner i medierne etc. Artikler og analyser i dagspressen Artikler i fagtidsskrifter Hjemmeside Evidensbasen Forskere udtaler sig http://www.folkeskolen.dk/objectshow.aspx?objectid=66434&resultseti d=42179108 Oplæg på konferencer
Rapporter fra DCU i 2011 Systematisk review om effekt af vejledning Forskningskortlægning og forskervurdering af skandinavisk forskning i året 2009 i institutioner for de 0-6 årige. Forskningskortlægning af forskningen om virkning af interventioner for udsatte børn i førskolen med forældreinvolvering.
Evidensimplementering Udarbejdelse af materialer sammen med opdragsgiver Altid en del af kontrakten Netværk og alliancer med DLF, UVM, skolelederne, professionshøjskoler Evidensforum (Communitysite for Evidens)
Implementering
To reviews: En kontrast Evidens anvendes (måske) kun uddannelsespolitisk, hvis der er overensstemmelse mellem resultater og grundlæggende politiske holdninger
Udgangsbillede Tak for jeres opmærksomhed Jeg hviler ikke (i) min sag Jeg ved, at jeg er i en position med udfordringer