Systematiske reviews i uddannelsesforskningen: Hvordan kan den kvalitative forskning inddrages? Ph.d. stipendiat Rikke Eline Wendt ved Center for Grundskoleforskning og Dansk Clearinghouse for Uddannelsesforskning kortlægger i sin afhandling flere systematiske reviews inden for uddannelsesforskningen. Målet er at finde ud af, hvorledes den kvalitative forskning kan inddrages i udviklingen af systematiske reviews, der traditionelt anvender en mere kvantitativ metodologi. Hvad er systematiske reviews? Fælles for evidensproducenter som Cochrane Collaboration, Campbell Collaboration, Eppi-Centre, What Works Clearinghouse og Dansk Clearinghouse for Uddannelsesforskning er, at deres kerneydelser består i produktion af systematiske reviews. Systematiske reviews er forskningsrapporter, der formidler viden fra forskning til politik og praksis. Rapporterne har to hovedopgaver. For det første fungerer de som forskningskortlægning, der samler og udpeger prioriteringer i den eksisterende forskning. For det andet kvalitetsvurderes og syntetiseres den inkluderede forskningen med henblik på at besvare en given problemstilling (Pope, Mays et al. 2007). Systematiske reviews er kendetegnet ved, at der stilles høje krav til deres videnskabelige troværdighed, der I den forbindelse betyder, at forskningsprocessen så vidt mulig gøres transparent (åben) for hermed at sikre reliabilitet (gentagelighed)(uddannelsesforskning 2006). Videnskabelig troværdighed betragtes dernæst som et gennemgående ideal, der indvirker på samtlige faser i produktionenen af et systematisk reviews. Ideelt set bør litteratursøgning fx sikre at al relevant forskning indhentes, mens kvalitetsvurdering af primære studier ideelt set bevirker, at der kun inddrages den mest valide forskning på området 1. 1 I litteraturen om systematiske reviews foregår en heftig diskussion om, hvorvidt primærforskning vurderet til lav kvalitet alligevel bør inddrages i synteseskabelsen, idet de hævdes at bidrager med relevant 1
Produktionen af systematiske reviews blev indledt af Cochrane Collaboration på det medicinske forskningsfelt og evidensproducenten har siden fungeret som en væsentlig inspirationskilde til etablering af andre evidensproducenter (Bhatti, Hansen et al. 2006). Med henblik på at sikre den videnskabelige troværdighed i udviklingen af systematiske reviews, har flere evidensproducenter udpeget noget videnskab frem for anden, som mere troværdigt. Traditionelt har systematiske reviews dermed fokus på den kvantitative effekt-forskning, idet systematiske reviews af enkeltstående RCT-studier (Randomised controlled trials) er vurderet som det mest valide forskningsdesign (Slavin 1986). Eftersom produktionen af systematiske reviews er blevet udbredt til flere forskningsfelter som fx, uddannelse, social- og sundhedsforskningen (health care, health promotion), er det traditionelle forskningsideal imidlertid blevet udfordret. Disse udfordringer er baggrunden for Rikkes Ph.d. afhandling. Rikke har fokus på den kvalitative forskning og vil finde frem til, hvorledes den kvalitative forskning kan indgå i udvikling af systematisk reviews inden for uddannelsesforskningen. Hvorfor kan den kvalitative forskning opfattes som væsentlig for udviklingen af systematiske reviews? Den kvalitative forskning er forskellig fra forskningsidealer, der traditionelt er forbundet med udvikling af systematiske reviews. Idealet forlanger, at primærforskningen undersøger genstandsfeltet ud fra en afhængig samt uafhængig variabel og frembringer statistiske beregninger, der kan udlede effekt-mål. Selvom den medicinske primærforskning også omhandler andet end den kvantitative effekt-forskning, er uddannelsesforskningen hvor der er langt mere kvalitativ forskning tilsyneladende langt fra sammenlignelig med den medicinske primærforskning (Oakley, Gough et al. 2005; Petticrew and Roberts 2006; Sandelowski and Barroso 2007). Most of the methodological tools which are critical to today s evidence movement, including systematic reviews, quality markers and robustly designed experimental evaluations, are associated with the viden trods deres tilsyneladende lave kvalitet. I enkelte systematiske reviews udviklet af evidensproducenten Eppi-Centre i London inddrages primærforskning vurderet til lav kvalitet i syntesen. 2
quantitative paradigm of medicine and not with qualitative approaches to knowledge which are more common in education (Oakley, Gough et al. 2005 s. 22). Der er flere grunde til, at den kvalitative forskning er væsentlig at inddrage i systematiske reviews, hvoraf to skal nævnes. For det første er systematiske reviews med årene blevet mere populære således, at der i dag er et udbredt ønske om, at systematiske reviews bruges til mere end udelukkende at besvare effektspørgsmål. Således ses flere systematiske reviews, der besvare ætiologiske spørgsmål, økonomiske spørgsmål, metodologiske spørgsmål og spørgsmål der angår processer og deltagernes meninger i forhold til sociale interventioner (Petticrew and Roberts 2006). For det andet er det centralt for troværdigheden af systematiske reviews, at den faktiske forskning om et givent emne inkluderes. Inden for uddannelsesforskningen med dens vægt på den kvalitative forskning (Oakley, Gough et al. 2005; Nordenbo, Jensen et al. 2008; Nordenbo, Hjort et al. 2009), kan det betragtes som afgørende for legitimiteten, at systematiske reviews inkluderer forskningsresultater hentet fra kvalitative studier. Hvor arbejdes med lignende problemstilling? Litteraturen der omhandler inklusion af kvalitative forskning i systematiske reviews er overskuelig. Tre forskellige metodegrupper har i ca. 5-10 år hjulpet forskellige evidensproducenter med at undersøge mulighederne for inklusion af den kvalitative forskning; henholdsvis Cochrane Qualitative Research Methods Group (2001), Campbell Process Implementation Methods Group (2001) og Qual-Quan Evidence Syntesis Group (2004). Grupperne har primært interesseret sig for inklusion af kvalitative studier inden for det medicinske forskningsfelt samt sundhedspædagogikken (health promotion, health care). Til trods for metodegruppernes forholdsvis lange levetid, har hverken Cochrane Collaboration eller Campbell Collaboration endnu udgivet et systematisk review med inklusion af kvalitative studier. Metodegruppernes undersøgelser tyder imidlertid på, at den kvalitative forskning kan bruges til at besvare spørgsmål angående implementerings forhold omkring en intervention, der er af stor betydning for anvendelsen af et konkret systematisk 3
review. I Rikkes afhandling vil det mere præcist fremgå, hvordan disse grupper hævder, at den kvalitative forskning kan indgå i systematiske reviews. I modsætning til metodegrupperne inden for medicin og sundhed, har Rikke fokus på systematiske reviews produceret inden for uddannelsesforskningen. Den aktuelle forskning peger i retning af, at uddannelsesforskning er anderledes set i forhold til andre fagområder, hvorfor det giver mening at adskille uddannelse fra sundhedspædagogikken (Suri and Clarke 2009). I dag findes tre førende evidensproducenter inden for uddannelsesforskningen, der medtager kvalitativ forskning i systematiske reviews. Disse omfatter henholdsvis Eppi-Centre (UK), Canadian Council on learning (Canada) og Education Counts (New Zealand) (Larsen 1010). Derudover findes en række tidsskrifter: Review of Research in Education, Educational Research Review and Review of Educational Research (Suri and Clarke 2009). Tidsskrifterne producerer både almindelige reviews og systematiske reviews inden for uddannelsesområdet. Metode Generelt i litteraturen om systematiske reviews har kun få udviklet metaforskning på området, altså kortlægninger af systematiske reviews med henblik på at identificere etablerede arbejdsmetoder (Larsen 1010). I ca. 10 år er der produceret systematiske reviews inden for uddannelsesområdet, der også inkluderer kvalitativ forskning. Den manglende metaforskning på området har måske bevirket, at der fortsat eksisterer myter om, at systematiske reviews ikke inkludere kvalitativ forskning. Derfor har Rikke valgt, at afhandlingens empiri består i en undersøgelse af etablerede systematiske reviews. Dermed vælger Rikke en mere empirisk - frem for teoretisk tilgang - til at undersøge, hvordan den kvalitative forskning kan anvendes i systematiske reviews. Konkret tager Rikke udgangspunkt i Eppi-Centre og deres seneste 5 års arbejde med at udvikle systematiske reviews. Rikke vil derudover undersøge et on-line bibliotek etableret af Cochrane Qualitative Research Methods Group. De enkelte systematiske reviews i on-line biblioteket er ikke nødvendigvis udviklet af en evidensproducent og flere er frembragte udelukkende af eksperimentelle hensyn. Rikke gennemgår hver enkelt systematisk review fra de to kilder og undersøger, hvad det er for typer spørgsmål, den kvalitative forskning 4
besvarer. Rikke mener, at Eppi-Centre og on-line biblioteket til sammen giver gode forudsætninger for at se forskellige anvendelsesmuligheder af den kvalitative forskning. Rikke Eline Wendts Ph.d. afhandling om, hvordan den kvalitative forskning kan anvendes i udviklingen af systematiske reviews indleveres forventeligt i juni 2012. Litteraturliste Bhatti, Y., H. F. Hansen, et al. (2006). Evidensbevægelsens udvikling, organisering og arbejdsform. En kortlægning, Akf Forlaget. Larsen, M. S. (1010). Veje til evidens på uddannelsesområdet. Copenhagen, Dansk Clearinghouse for Uddannelsesforskning, DPU, Åarhus Universitet. Nordenbo, S. E., K. Hjort, et al. (2009). Forskningskortlægning og Forskervurdering af Skandinavisk forskning i året 2007 i insitutioner for de 0-6 årige, Danish School of Education. Nordenbo, S. E., B. Jensen, et al. (2008). Forskningskortlægning og Forskervurdering af Skandinavisk forskning i året 2006 i institutioner for de 0-6 årige, The Danish School of Education. Oakley, A., D. Gough, et al. (2005). "The politics of evidence and methodology: Lessons from the EPPI-Centre." Evidence & Policy 1(1): 5-31. Petticrew, M. and H. Roberts (2006). Systematic Reviews in the Social Sciences - a practical guide, BLACKWELL PUBLISHING. Pope, C., N. Mays, et al. (2007). Synthesizing Qualitative and Quantitative Health Evidence: A guide to methods. England, Open University Press. Sandelowski, M. and J. Barroso (2007). Handbook for Synthesizing Qualitative Research New York, Springer Publishing Company, Inc. Slavin, R. H. (1986). "Best-Evidence Synthesis: An Alternative to Meta-Analytic and Traditional Reviews." Educational Researcher 15; 5. Suri, H. and D. Clarke (2009). "Advancements in Research Synthesis Methods: From a Methodologically Inclusive Perspective." Review of Educational Research 79(1): 395-430. Uddannelsesforskning, D. C. f. (2006). Konceptnotat 5
6