ndli ph.d. Systematiske reviews og kvalitativ forskning Inddragelse af kvalitativ forskning i systematiske reviews på uddannelsesområdet

Transkript

1 ndli ph.d. ng afha PH.D.-AFHANDLING RIKKE ELINE WENDT Systematiske reviews og kvalitativ forskning Inddragelse af kvalitativ forskning i systematiske reviews på uddannelsesområdet AARHUS AU UNIVERSITET DPU - DANMARKS INSTITUT FOR PÆDAGOGIK OG UDDANNELSE

2 SYSTEMATISKE REVIEWS OG KVALITATIV FORSKNING INDDRAGELSE AF KVALITATIV FORSKNING I SYSTEMATISKE REVIEWS PÅ UDDANNELSESOMRÅDET Ph.d.-afhandling af Rikke Eline Wendt ved Aarhus Universitet, Faculty of Arts, Danmarks institut for Pædagogik og Uddannelse, Skoleforskning. VINTER 2016

3 Ph.d.-afhandling indleveret ved Aarhus Universitet, Faculty of Arts, Danmarks institut for Pædagogik og Uddannelse, Skoleforskning, af cand. mag. i pædagogik Rikke Eline Wendt, Vejledere: Hans Siggaard Jensen, Gerd Christensen, Michael Søgaard Larsen og Sven Erik Nordenbo 1

4 Abstract Title: Systematic reviews and qualitative research: Evidence from qualitative research in systematic reviews of educational research. With the growth of systematic reviews of educational research using evidence from qualitative research, it is important to examine how the inclusion of qualitative research is undertaken. The aim of this PhD thesis is to clarify the methodological foundation of using qualitative evidence in systematic reviews of educational research. Method: 19 systematic reviews of educational research using evidence from qualitative research, carried out by the EPPI-Centre over a period of five years ( ) are considered as data. One part of the PhD thesis is to develop a method to analyze qualitative research in systematic reviews. Another part is to make use of this method to examine how the inclusion of qualitative research in 19 systematic reviews of educational research is undertaken. The method is developed with theories about qualitative research from the perspectives of e.g. Cartwright 2012; Dilthey 1988; Habermas 2005; Pawson 2004, and theories of truth; such as the coherence theory of truth, the correspondence theory of truth and the pragmatic theory of truth (Glenzber 2009). Furthermore, the method is developed on the basis of the Cochrane Handbook about qualitative research (Higgins and Green 2008), and the wider research about qualitative evidence synthesis (e.g. Hannes and Lockwood 2012; Kavanagh, Campbell et al 2012; Pope, Mays et al. 2007). Results: The qualitative research is used on a wide range of questions about understanding processes underlying interventions and questions of implementations. Moreover, the qualitative research is used to clarify questions of the effect of interventions. The process of synthesizing qualitative research is closely related to aggregative approaches, and therefore it shares characteristics with meta-analysis. This PhD thesis discusses some risks of distortions of qualitative data and the risks of limitations of including evidence from qualitative research. Furthermore, this PhD seeks insight into a new understanding of the conceptions of effect and methods for the synthesis of qualitative evidence. 2

5 INDHOLDSFORTEGNELSE ABSTRACT... 2 FORORD... 7 RESUME... 8 SUMMARY INDLEDNING Baggrund og formål...18 Fokus...19 Det systematiske review Problemstilling...23 Metode...24 Begrebsafklaring Analyser af tre materialer Teori Forskningen på feltet...34 Afhandlingens opbygning...39 KAPITEL 1: FORSKNING OG DENS FORSKELLIGE FUNKTIONER Vidensproduktion for ånds- og naturvidenskaben...42 Dilthey om forståelse og forklaring Habermas om forståelse og forklaring Kompleksitetsteorier...52 Opsamling

6 KAPITEL 2: TEORIER OM SANDHED Korrespondanceteorien om sandhed...58 Kohærensteorien om sandhed...59 Pragmatismens sandhedsteori...60 Sandhed hvordan? Sandhed nytte vs. konsensus Opsamling...63 KAPITEL 3: INTRODUKTIONSBØGER OM KVALITATIV FORSKNING Metodisk grundlag for analysen...65 Analyse af den kvalitative forskning...68 Den kvalitative forskning ifølge Starrin Den kvalitative forskning ifølge Denzin & Lincoln Den kvalitative forskning ifølge Stake Kvalitativ forskning og forskningsdesign Kvalitativ forskning i systematiske reviews...82 Opsamling...85 KAPITEL 4: REVIEWPRODUCENTER OM KVALITATIV FORSKNING Metodisk grundlag for analysen...87 Forskningsfunktioner for kvalitativ forskning...90 Den kvalitative forskning definerer et effekt-review Den kvalitative forskning afklarer ikke virkninger af en intervention Kvalitativ forskning angår implementeringsforhold Kvalitativ forskning i systematiske reviews Opsamling KAPITEL 5: METODE

7 Udvælgelse af empirisk materiale Udvalg af reviewproducenter Eppi-Centre som producent af systematiske reviews Sortering af det empiriske materiale Metode til analyse af de 19 systematiske reviews Den fremvoksende analysemetode Analysemetode Opsamling KAPITEL 6: ANALYSE AF 19 SYSTEMATISKE REVIEWS Forskningsfunktion for den kvalitative forskning Fokus på interventionens effekt, reviews Reviews 7-9 allokering af kvalitativ forskning Fokus på beskrivelser af effektive interventioner, reviews Reviews Effektbegreb Forfordeling af kvalitative forskningsdesigns Delkonklusion om forskningsfunktion for den kvalitative forskning Inddragelse af den kvalitative forskning Reviews Reviews 3-9 tillægsspørgsmål Reviews Reviews Effektbegreb Den procesafklarende og fortolkende forskningsfunktion Delkonklusion om inddragelse af kvalitativ forskning Opsamling KAPITEL 7: PERSPEKTIVERING Kampen om forståelsen af god forskning Et bidrag til debatten om evidens Den aggregative tilgang

8 Interpretative tilgange som løsning? KONKLUSION LITTERATUR APPENDIX APPENDIX APPENDIX APPENDIX APPENDIX

9 Forord Denne afhandling med titlen Systematiske reviews og kvalitativ forskning: Inddragelse af kvalitativ forskning i systematiske reviews på uddannelsesområdet er en ph.d.-afhandling indleveret i 2016 ved Aarhus universitet, Faculty of Arts, Danmarks institut for Pædagogik og Uddannelse, Skoleforskning. Udviklingen i skole- og uddannelsespolitik samt uddannelsesforskningen er i dag influeret af såkaldte systematiske reviews, hvis metodiske grundlag bygger på en indsamling af eksisterende forskning. Denne ph.d.-afhandling omhandler metodologier inden for udvikling af systematiske reviews og tilbyder et overblik over en række muligheder for brug af kvalitativ forskning i systematiske reviews. Det konkrete empiriske grundlag i afhandlingen består af systematiske reviews, der inddrager kvalitativ forskning. Det undersøges, hvilken rolle den kvalitative forskning får og hvordan den bearbejdes i de konkrete systematiske reviews. Det er sigtet med afhandlingen at gøre det forskningsmetodiske grundlag mere tilgængeligt, hvorunder producenter af systematiske reviews i dag kommer med anbefalinger til uddannelsesforskning, -politik og -praksis. Dertil er det formålet med afhandlingen at afklare og vække til diskussion, hvordan forskningsresultater fra kvalitativ primærforskning bruges og indgår heri. Tak til Sven Erik Nordenbo, tidligere leder af Dansk Clearinghouse for Uddannelsesforskning, der for år tilbage med smittende begejstring og uden forbehold inviterede mig indenfor i Dansk Clearinghouse for Uddannelsesforskning og i feltet omkring udvikling af systematiske reviews. Tak til Hans Siggaard Jensen for din interesse og dit engagement i afhandlingen samt din overbevisning om, at det kunne lykkes at afslutte og indlevere afhandlingen. Tak til bidrag fra de øvrige vejledere, Gerd Christensen og Michael Søgaard Larsen. Tak til ledelse og kollegaer ved afdeling for Kontrollerede Forsøg, afdeling for Skole og Uddannelse & SFI-Campbell ved SFI Det Nationale Forskningscenter for Velfærd. Tak til min familie, Pia og John Christensen, Åse og Arne Olesen, Søren Skov Christensen og Birgitte Wænnerstrøm. Tak til Grete og Peter Wendt. Rikke Eline Wendt Til mine børn Rosa, Maja og Martine 7

10 Resume Denne afhandling med titlen Systematiske reviews og kvalitativ forskning: Inddragelse af kvalitativ forskning i systematiske reviews på uddannelsesområdet er en ph.d.-afhandling indleveret i 2016 ved Aarhus universitet, Faculty of Arts, Danmarks institut for Pædagogik og Uddannelse, Skoleforskning. Udviklingen i skole- og uddannelsespolitik samt uddannelsesforskningen er i dag influeret af såkaldte systematiske reviews, hvis metodiske grundlag bygger på en indsamling af eksisterende forskning. Inddragelse af kvalitativ primærforskning i udviklingen af systematiske reviews er relativt ny, men også i hastig vækst (Sandelowski and Barroso 2007: 1) og der er i dag udviklet tilstrækkelig mange systematiske reviews, der inddrager kvalitative forskning, således at der kan foretages analyser med henblik på at identificere etablerede metoder (Larsen 2010). Den foreliggende afhandling tilbyder et overblik over en række muligheder for at anvende og inddrage kvalitativ primærforskning i systematiske reviews. Samtidig undersøges faktiske systematiske reviews for, hvorledes de konkret har inddraget og forholdt sig til den kvalitative forskning. Det er formålet med afhandlingen at afklare og vække til diskussion, hvordan kvalitativ forskning indgår i udvikling af systematiske reviews på uddannelsesområdet. Det er med andre ord sigtet at gøre det forskningsmetodiske grundlag mere tilgængeligt, hvorunder producenter med deres systematiske reviews kommer med anbefalinger til politik og praksis. Afhandlingen har følgende problemstilling: Hvordan kan kvalitativ primærforskning bruges i udvikling af systematiske reviews? Hvilke konsekvenser kan brugen af den kvalitative forskning i systematiske reviews være forbundet med? Afhandlingens mere tekniske begreb for bruges (jf. ovenstående problemstilling) er begreberne forskningsfunktioner og inddragelse. Forskningsfunktioner angår spørgsmålet om, hvorvidt og hvordan den kvalitative forskning kan eller bør indtage én eller flere bestemte roller som forskningsdisciplin (i systematiske reviews), fx som forstående, forklarende og/eller afklarende omkring implementeringsforhold. Inddragelse angår 8

11 måden, hvorpå data fra primærforskningen bearbejdes i reviewprocessen, dvs., at inddragelse angår det metodiske grundlag i bearbejdningen af kvalitative primærforskning som datagrundlag i udvikling af systematiske reviews, enten ved aggregative -, integrative - eller interpretative tilgange. Afhandlingens teoretiske fundament, der redegøres for i kapitel 1, er Wilhelm Dilthey, Jürgen Habermas og de såkaldte kompleksitetsteoriers udlægning af forskningsfunktioner i forskningen. Kompleksitetsteoriernes perspektiver på den kvalitative forskning er i afhandlingen præsenteret af bl.a. Joseph A. Maxwell, Ray Pawson og Nancy Cartwright. I afhandlingens kapitel 2 redegøres for tre såkaldte sandhedsteorier, hvoraf der tages udgangspunkt i en præsentation af korrespondanceteorien, kohærensteorien og pragmatismens teori. De tre teorier er ensbetydende med forskellige opfattelser af, hvordan der i videnskabelig forstand produceres begrundede hypoteser om verden. Teorierne bruges i afhandlingen til at forstå en række forskelle prioriteringer og hensyn i forskningen, der kommer til udtryk på tværs i analyserne om forskningsfunktioner og inddragelse af kvalitativ forskning i systematiske reviews. Med udgangspunkt i den teoretiske indramning fra kapitel 1 og 2 undersøges i kapitel 3 og 4 holdninger til forskningsfunktioner for og inddragelse af den kvalitative forskning som det kommer til udtryk i to materialer, hvoraf det først er i et udvalg af introduktionsbøger og -artikler om kvalitativ forskning. Disse bøger og artikler er overvejende skrevet af erfarne og velkendte kvalitative forskere, som fx Denzin og Lincoln (2005), Stake (2010) og Cohen, Manion et al. (2007). Med det næste materiale, analyseres ligeledes opfattelser om den kvalitative forsknings funktioner og inddragelse i systematiske reviews med udgangspunkt i litteraturen om kvalitative evidenssynteser. Her er det sigtet at få perspektiver frem om den kvalitativ forskning, som det kommer til udtryk af producenter af systematiske reviews, særligt med udgangspunkt i Cochrane Handbook for Systematic Reviews of Interventions (Higgins 2008). Holdninger til den kvalitative forsknings funktion og inddragelse, som det kommer til udtryk i de ovennævnte to materialer er interessante, når der i afhandlingen sammenlignes med, hvordan den kvalitative primærforskning bruges i faktiske systematiske reviews. Det er i alt 19 systematiske reviews, der udgør afhandlingens empiriske grundlag, hvoraf det metodiske grundlag for udvælgelse, indsamling og analyse af de endelig udpegede 19 systematiske reviews er gengivet i kapitel 5. Disse 19 systematiske reviews er produceret 9

12 af Eppi-Centre ved University College London, Institute of Education i en periode på fem år ( ). De omhandler alle en uddannelsesmæssig problemstilling og inddrager kvalitativ forskning i syntesen af primærforskningen. I afhandlingens kapitel 6 foretages analyser af de 19 systematiske reviews. Analyserne er delt op i to overordnede dele. I analysen af de 19 systematiske reviews er der i første omgang fokus på at finde frem til, hvilken forskningsfunktion den kvalitative forskning tildeles i de pågældende reviews, dvs. hvilken type indsigt der efterspørges og som der anvendes kvalitativ primærforskning til besvarelse heraf. I næste omgang er der fokus på at undersøge, hvordan den kvalitative forskning konkret inddrages, både hvordan den behandles, når data fra primærforskningen udtrækkes enkeltvis (inddragelsesniveau 1), hvordan dataene indgår på tværs af anden primærforskning (inddragelsesniveau 2), og hvordan den indgår i forhold til at besvare et reviewspørgsmål (inddragelsesniveau 3). Af analyserne af de 19 systematiske reviews fremgår det, at den kvalitative forskning opnår en effektafklarende forskningsfunktion. I den forbindelse kan der drages paralleller mellem en forståelse af effekt, som også findes i visse udlægninger og forståelser af den kvalitative forskningsfunktion med fokus på indsatsers effekt i lyset af de betydninger og meninger, deltagerne tillægger en indsats. Ved at den kvalitative forskning indgår effektafklarende forstås de pågældende systematiske reviews ikke at kunne efterkomme et effektbegreb, der traditionelt opfattes som værende knyttet til reviewproducenter. Endvidere fremgår det af analyserne, at den kvalitative forskning indgår i andre mere klassisk - kvalitative funktioner. Det vil sige, at den kvalitative forskning indgår ved begrebsafklaring og i afklaring af interventioners processer og mekanismer til præcisering af effektresultater samt som grundlag for indsigt i implementeringsforhold. Af analysen af de 19 systematiske reviews fremgår det, at den samlede primærforskning, herunder den kvalitative forskning, både skal kunne indgå effektafklarende og processuelt, begrebsafklarende m.m. Det vurderes at der med disse krav til primærforskningen er risiko for, at noget kvalitativ forskning ikke er indbegrebet af denne særlige rammesætning og dermed vurderes det, at der er risiko for, at en del kvalitativ forskning i udgangspunktet ikke egner sig til at indgå i disse 19 systematiske reviews. Til trods for, at de pågældende reviews i tråd med traditionen inden for reviewproducenters udvikling af systematiske reviews bruger kvalitativ forskning i afklaring af indsatsers processer og mekanismer samt til belysning af implementeringsforhold, opnår den kvalitative 10

13 forskning ikke en selvstændig rolle her. En bred vifte af primærforskning, heriblandt større (kvantitative) holdningsundersøgelser, opnår også en funktion i besvarelserne af indsatsers implementeringsforhold, processer m.m. Af kapitlet 6 fremgår det endvidere, at mens den kvalitative forskning indgår i flere forskningsfunktioner, er inddragelse af data fra primærforskningen derimod metodisk endimensionelt aggregativ. Det vurderes, at der er risiko for simplificering af data, idet data rammesættes med henblik på at indgå således, at historikken og konteksten knyttet til undersøgelsesvariable udgår. Derimod er der med akkumulering af data fokus på hyppighed og ensliggørelse af variable på tværs af primærforskningen. Måden, data inddrages på i de pågældende reviews, er langt fra forståelsen omkring de interpretative bestræbelser, som kommer til udtryk i introduktionsartikler og -bøger om kvalitativ forskning. Med den aggregerende inddragelse af kvalitative data er den forstående funktion i den kvalitative forskning sat ud af spil, idet den i de pågældende reviews ikke kan sammenlignes med fuldstændige og enestående beskrivelser af begreber, processer og forståelse for variables/fænomeners (indsatsers) betydning. I afhandlingens perspektiverende kapitel 7 tilbydes nogle fremadrettede fokuspunkter for feltets videreudvikling, hvoraf der lægges ud med et bud på at forstå afhandlingens undersøgelse. Undersøgelsen kan forstås som et udtryk for kampe, der bliver ført med henblik på at vinde forståelsen af, hvad der udgør den gode forskning om uddannelsesmæssige problemstillinger. Det diskuteres endvidere, at analysen af de 19 systematiske reviews viser, at der gives indsigt i en black-box om processer og implementeringsforhold, og dermed må de 19 systematiske reviews forstås at levere grundlag for viden om processer og mekanismer, der kunne tænkes relevant for praksis. Dette betragtes som et bidrag til den omtalte debat om udvikling af systematiske reviews på uddannelsesområdet, idet debatten til tider forekommer ensidig med et fokus på at betragte systematiske reviews, således at det er lig RCT-designs og metaanalyser. Med denne afhandling er det blevet vist, at det er muligt med systematiske reviews, at man forholder sig til indsigt i viden om processer og implementering, relevant for praksis. Systematiske reviews på uddannelsesområdet skal derfor ikke længere forstås udelukkende at forholde sig til afklaring af indsatsens effekt i betydning af efficacy (Cartwright and Hardie: 2012). Såfremt udvikling af systematiske reviews skal betragtes som værende relevante for praksis og 11

14 dermed i betydning af effectiveness (Ibid.), er det særligt her, at diskussionen om kvalitativ forskning i systematiske reviews fremover bør være rettet imod. Med denne afhandling konkluderes det, at ovenstående diskussioner om RCTdesigns og metaanalysers rolle i udvikling af systematiske reviews mere præcist bør rettes mod det metodiske grundlag i udvikling af systematiske reviews. De pågældende 19 systematiske reviews inddrager forskellige typer forskning og besvarer forskellige typer spørgsmål, men deres metodiske grundlag er (fortsat) stærkt inspireret af en bearbejdning af primærforskning, der kan genfindes i metaanalysen. Konsekvensen er, at de aggregative tilgange bearbejder variable værdiløst, og variablene løsrives fra deres konkrete (praktiske) betydning. Såfremt systematiske reviews ønsker at være relevante for praksis, vil det i lyset af den foreliggende afhandling være hensigtsmæssigt at diskutere og forholde sig til andre måder at inddrage primærforskningens data på. Med den aggregative metodiske tilgang i bearbejdning af kvalitative data i de 19 systematiske reviews smides barnet ud med badevandet, dvs. at den kvalitative forsknings erfaringsbaserede indsigt i indsatsers lokale betydning qua den aggregative tilgang udvandes og mister sin værdi. Afhandlingen efterspørger øget fremtidig indsigt i andre metoder til syntetisering af kvalitativ primærforskning og ligeledes mere indsigt i data bearbejdningen i systematiske reviews, således at den kvalitative primærforskning fortsat kan tjene forståelsen af en situation og dermed være relevante for praksis. 12

15 Summary This thesis, titled Systematic reviews and qualitative research: Evidence from qualitative research in systematic reviews of educational research is submitted January 2016 for the PhD at Aarhus University, Faculty of Arts, Danish School of Education, School Research Programme. Today educational policy, and educational research, is influenced by so-called systematic reviews that methodological are based upon a collection and a study of existing research. The inclusion of qualitative primary research in systematic reviews is relatively new and rapidly growing (Sandelowski and Barroso 2007:1), and today we find several systematic reviews using evidence from qualitative primary research. This thesis examines and identifies established methods in systematic reviews that include evidence from qualitative primary research. It presents an overview of a series of opportunities to apply and include qualitative primary research in systematic reviews. It also explores actual systematic reviews on how these have specifically included and dealt with qualitative research. The purpose of the thesis is to clarify and encourage discussions on how qualitative primary research is included in systematic reviews. In other words, the aim is to make the methodological basis more transparent, under which systematic reviews are giving recommendations of today s educational policy and practice. The thesis addresses the following questions: How can evidence from qualitative primary research be included in systematic reviews? What consequences are associated with the inclusion of qualitative primary research in systematic reviews? The technical terms for inclusion (ref. the above question) are the concepts of role of research (forskningsfunktion) and inclusion (inddragelse). The first concept role of research, refers to the question whether the qualitative primary research can or should take one or more specific roles as a research discipline in systematic reviews, ex. as an understanding, explanatory and/or a clarifying role with regards to the implementation of interventions. The second concept inclusion, refers to the way in which data from the 13

16 primary research is processed and dealt with in the review process; either aggregative-, integrative- or interpretative inclusion of primary reseach. The theoretical basis of the thesis, which is defined in chapter one, is Wilhelm Dilthey, Jürgen Habermas and the so-called complexity theories. The perspective of the complexity theories is presented, in particular, by Joseph A. Maxwell, Ray Pawson and Nancy Cartwrigth. In chapter two, the three so-called theories of truth are defined; this is the correspondence theory of truth, the coherence theory of truth and the pragmatic theory of truth. The three theories are equal to different perceptions of how, in a scientific sense, different hypotheses about the world are considered as evidence. In sum, the theories are used in understanding different priorities and considerations about the role of qualitative research as a research discipline and the inclusion of qualitative data in systematic reviews. With the theoretical frame from chapters one and two, chapter three and four examine perceptions about the role of qualitative research as a research discipline and perceptions about the inclusion of qualitative data in systematic reviews. These perceptions are analyzed in two materials; the first being, a selection of introductory books and articles about qualitative research. These books and articles are predominantly written by experienced and well-known qualitative researcher, such as Denzin and Lincoln (2005), Stake (2010) and Cohen, Manion et al. (2007). The second material is the literature concerning qualitative evidence synthesis. The aim here is to expose perspectives about the qualitative research as it is expressed by producers of systematic reviews, in particular the Cochrane Handbook for Systematic Reviews of Interventions (Higgins 2008). The perceptions from the above-mentioned materials about the role of the qualitative research and the inclusion of evidence from qualitative data in systematic reviews, are interesting when they are compared with how the qualitative primary research are used in actual systematic reviews. Therefore, the empirical basis of the dissertation is 19 systematic reviews. The methodological basis for the collection and analysis of the final 19 selected systematic reviews is presented in chapter 5. These 19 systematic reviews are produced by the Eppi-Centre, Institute of Education, University College London over a period of 5 years ( ). All 19 systematic reviews consider educational issues and include qualitative research in the synthesis of primary research. Chapter six presents the analysis of the 19 systematic reviews. The analysis is divided into two parts. The first part of the analysis is an examination of the role of research 14

17 that the qualitative primary research is given in the respected 19 reviews; that is the kind of insight being sought and answered by qualitative primary research. In the second part the focus is on examining how the qualitative data is specifically included, in terms of the treatment when data from the primary research is extracted individually (inclusion level 1), how the data are synthesized with other primary research (inclusion level 2) and how it is included in terms of answering the review questions (inclusion level 3). From the analysis of the 19 systematic reviews, it is clear that the qualitative primary research is given a role of research as clarifying effects of interventions. In connection with this, parallels can be drawn between understandings of effect, which also exists in certain introductory books and articles about the perceptions of the qualitative research, that focus on the effect and impact of interventions, in light of the meanings and perceptions from the participants. When the qualitative research is clarifying effects of interventions the systematic reviews are unable to comply a concept of effect, which is traditionally perceived to be associated with producers of systematic reviews. Furthermore, it is clear from the analysis that the qualitative research is included in other, more classical - roles of research. That is, the qualitative research is clarifying concepts and it is given a role of understanding processes of interventions and exploring questions of implementation. From the analysis of the 19 systematic reviews it is concluded that the qualitative primary research, must be able to both provide clarifying effects of interventions and gives insight into processes of interventions. These requests to the primary research may exclude some qualitative research that is not engaged within this particular framing and so is a risk that some qualitative research is essentially unsuitable to be included in the 19 systematic reviews. Furthermore, in keeping with the tradition of the review producer s perceptions of qualitative research in systematic reviews, the qualitative research in the 19 systematic reviews is given a role in clarifying the processes of interventions as well as insight into conditions of implementation. But the qualitative research does not achieve a separate role here, as a variety of primary research, including major (quantitative) surveys, also achieves a role in answering of questions of implementations and processes of interventions. Although the qualitative research is fulfilling several roles in answering many types of questions, the analysis of the 19 systematic reviews shows that, the inclusion of data from the primary research is in contrast methodical one-dimensional using only an aggregative approach to the synthesis of qualitative data. With the aggregative approaches 15

18 there are risks of distortions of qualitative data, as data is framed with the intention of being including, so that the history and context linked to the qualitative data are left out. With the aggregative approaches to include data, the focus is on frequency of data and identical data across the primary research. The way in which data is included is far from the comprehension of the interpretative approaches, which are expressed in the introductory articles and books about qualitative research. With the aggregated inclusion of qualitative data in the 19 systematic reviews, the role of the qualitative research discipline as understanding phenomena is stifled. The qualitative research cannot be compared with giving complete and unique descriptions of terms, processes and understanding of phenomena and processes underlying interventions. Chapter seven discusses some points of use for a further development of qualitative research in systematic reviews. The chapter starts with a suggestion for understanding the aggregative approaches of including qualitative data given in the 19 systematic reviews. The aggregating of data can be viewed as an expression of the struggles, which are being led with the intention of understanding what constitutes a good research in fields of education. This chapter also discusses that an insight into a black-box about processes and implementation of interventions are given with the 19 systematic reviews and this must be understood to deliver a basis for knowledge about processes and mechanisms, which are thought to be relevant in practice (e.g. Cartwright and Hardie 2012). This is considered as a relevant contribution to the discussion on the further development of systematic reviews in the fields of education, as the discussion at times seem one-sided with a focus on viewing systematic reviews such that it only deals with RCT-designs and metaanalysis. With the dissertation it is shown that it is possible with systematic reviews to relate to insights in knowledge about processes and implementation and other more classical - qualitative questions. Systematic reviews in the fields of education need no longer to be understood to refer exclusively to clarification of the effect of intervention in the meaning of efficacy (Cartwrigth and Hardie: 2012). If systematic reviews are to be regarded as relevant for practice and thus be relevant in the meaning of effectiveness (lbid.), it is in this context, that further discussions and development of qualitative research in systematic reviews can be focused. With this thesis, it has become clearer that the above-mentioned discussion concerning the role of RCT-designs and metaanalysis in systematic reviews should be more 16

19 precisely directed towards the methodological basis of how data from primary reseach is included in systematic reviews. The 19 systematic reviews involve different types of research and answer different types of questions; however, the methodological basis of the reviews is (still) heavily inspired by a processing of including data that can be found in the metaanalysis. With these approaches the qualitative data are treated with no value individualy and data loses their concrete (practical) meaning. If systematic reviews are supposed to be relevant for practice, systematic reviews with the synthesis of qualitative reseach has to relate to other methods for the synthesis of qualitative data. With the aggregative approach to include qualitative data the child is thrown out with the bathwater, that is, the practicebased insight from the qualitative research on local meaning of interventions qua the aggregative approach is diluted. The dissertation seeks future insight into other methods for the synthesis of qualitative primary research and more insight into, how data is treated in systematic reviews, so that the qualitative primary research can continue to serve the understanding of a situation and thus be relevant for practice. 17

20 Indledning Baggrund og formål Begreber som evidens og what works er højaktuelle i uddannelsesforskningen og nyder betydelig medvind i visse kredse. Derfor er reviewproducenter inden for de sidste 20 år blevet etableret fx i UK, Danmark, USA, Canada og New Zealand med henblik på at producere systematiske reviews om skole- og uddannelsesforhold. Udvikling af systematiske reviews blev indledt inden for den medicinske forskning, og arbejdsmetoder til at håndtere systematiske reviews har derfor en lang tradition med fokus på den kvantitative forskning (Chalmers, Hedges et al. 2002; Bhatti, Hansen et al. 2006). På uddannelsesområdet er forskningen imidlertid overvejende kvalitativ (Oakley, Gough et al ; Nordenbo, Jensen et al. 2008; Nordenbo, Hjort et al. 2009) eller præget af metodologisk diversitet (Suri and Clarke 2009), der i mindre grad har interesseret sig for at afklare effektstørrelser (Petticrew and Roberts 2006: ). Inddragelse af kvalitativ forskning i udviklingen af systematiske reviews er relativt ny, men også i hastig vækst. En tendens, Sandelowski og Barroso (2007) beskriver som The urge to Synthesize og henviser til, hvordan kvalitativ forskning og evidens: have become growth industries (Sandelowski and Barroso 2007: 1) 1. Den forøgede interesse for kvalitativ forskning i systematiske reviews skyldes flere forhold, hvoraf to skal nævnes her. For det første afhænger legitimitet i et systematisk review af, om reviewet faktisk inkluderer forskningen på et område (Booth 2001; Petticrew and Roberts 2006; Sandelowski and Barroso 2007). For det næste er kvalitativ forskning blevet knyttet til at være i stand til at bidrage med indsigt i implementeringsforhold og dermed understøtte den praktiske relevans af et systematisk review (Biesta 2007; Cartwright, Goldfinch et al. 2007; Krogstrup 2011; Cartwright and Efstathiou 2008 ). Ifølge hjemmesiden fra Dansk Clearinghouse for Uddannelsesforskning blev det i 2012 noteret, at der på daværende tidspunkt var produceret over 250 systematiske reviews 1 På Cochrane Collaborations hjemmeside under Cochrane Library kan der fremsøges forskellige artikler, der vedrøre kvalitativ forskning og systematiske reviews. ch=go 18

21 på uddannelsesområdet. Heri er der hos tre ud af syv producenter af systematiske reviews inkluderet kvalitativ primærforskning (Larsen 2010). Der synes således at være tilstrækkeligt materiale til at udarbejde mere systematiske analyser med henblik på at identificere etablerede arbejdsmetoder. Såfremt det er tilfældet, at systematiske reviews bliver - som det forholder sig i UK og USA - mere anvendt til formning af politik og praksis på uddannelsesområdet (Oakley, Gough et al. 2005), så er det vigtigt, at området bliver klart i forståelsen af dets metodiske grundlag. Et eksempel på et systematisk review, der har fået omfattende betydning i dansk skole- og uddannelsessammenhæng der dog ikke inddrager kvalitativ primærforskning - er Visible learning for teachers. Maximizing impact on learning (2012) af John Hattie. Den foreliggende afhandling tilbyder et overblik over en række muligheder for at anvende kvalitativ forskning i systematiske reviews. Samtidig undersøges faktiske systematiske reviews for, hvorledes de konkret har inddraget og forholdt sig til den kvalitative forskning. Det er formålet med afhandlingen at afklare og vække til diskussion, hvordan kvalitativ forskning indgår i udvikling af systematiske reviews på uddannelsesområdet. Det er med andre ord sigtet at gøre det forskningsmetodiske grundlag mere tilgængeligt, hvorunder producenter med deres systematiske reviews kommer med anbefalinger til politik og praksis. Fokus DET SYSTEMATISKE REVIEW Systematiske reviews er kendetegnet ved, at empirien er primærforskning på et givet forskningsområde. Systematiske reviews er derfor i stand til at bidrage med et overblik over denne primærforskning inden for et forskningsfelt, samtidig med at der - som resultat af en syntetisering af forskningsresultater fra individuelle forskningsrapporter - kan besvares en given problemstilling. Systematiske reviews bliver typisk knyttet til en forståelse af, at de er en videreudvikling af traditionelle litteratur-reviews i den forstand, at systematiske reviews set i forhold til litteratur-reviews - er knyttet til krav om øget systematik ved henholdsvis søgning, inklusion, eksklusion og kvalitetsvurdering af primærforskningen (Pope, Mays et al. 2007:1-18). Systematikken menes at sikre, at det systematiske review er forbundet med øget troværdighed i forhold til at udvælge og kvalitetsvurdere den enkelte og samlede 19

22 primærforskning på et felt, herunder øget troværdighed forbundet med at besvare et indledende forskningsspørgsmål/reviewspørgsmål. I den forbindelse defineres systematiske reviews typisk i forhold til, at de sikrer mod en række skævvridninger (bias) i forskningsprocessen (se fx Petticrew and Roberts 2006 ; Higgins and Green 2008:6; Gough, Oliver et al. 2012:2). Systematiske reviews vinder mere og mere indpas og efterspørges og produceres i større grad af en bred vifte af institutioner (Sandelowski and Barroso 2007). Systematiske reviews kan forstås som blot enhver anden forskningsmetode (Petticrew and Roberts 2006:10; Gough, Oliver et al. 2012:4). Den foreliggende afhandling knytter sig til en bestemt forståelse af systematiske reviews, dvs. som de tager sig ud med formationen af forskellige producenter af systematiske reviews, der blev indledt i starten af 90 erne. Først på det medicinske forskningsfelt med etablering af den globale organisation Cochrane Collaboration, dernæst med etablering af søsterorganisationen Campbell Collaboration på det sociale forskningsfelt. I kort tid efter etablering af henholdsvis Cochrane Collaboration og Campbell Collaboration - bliver Eppi-Centre (Evidence for Policy and Practice Information and Co-ordinating Centre) oprettet med henblik på udvikling af systematiske reviews på flere sociale områder. Eppi-Centre har især markeret sig med en større produktion af systematiske reviews på uddannelsesområdet. Siden slutningen af 1990 erne er flere organisationer med fokus på produktion af systematiske reviews på uddannelsesområdet blevet oprettet; deriblandt What Works Clearinghouse i USA, Canadian Council on learning i Canada, Education Counts i New Zealand m.m. Betegnelsen systematisk review hævdes at være den mest udbredte betegnelse for kernen i reviewproducenternes ydelser (Oakley, Gough et al s. 8), men de er gennem tiden også gået under andre betegnelser, fx systematiske forskningsoversigter, forskningssynteser (research synthesis) eller evidenssyntese (evidence synthesis) (Petticrew and Roberts 2006). Reviewproducenternes udvikling af systematiske reviews kan spores tilbage til attenhundredetallet med videreudvikling i diverse statistiske metoder til reducering af bias i forskningsprocessen (Chalmers, Hedges et al. 2002). Op gennem 60 erne og 70 erne er de centrale bidragsydere til forståelsen, dels den skotske læge Archie Cochrane med værket Effectiveness and Efficiency (1972), dels den amerikanske sociolog Donald T. Campbell med værkerne Eksperimental and Quasi-experimental Design for Research (1963) samt Reforms as experiments (1969). Begge har de lagt navn til de store internationale 20

23 revieworganisationer, henholdsvis Cochrane Collaboration og Campbell Collaboration. På uddannelsesområdet er udvikling af systematiske reviews længe blevet betragtet som relativt ung (Petticrew and Roberts 2006), men der kan spores systematiske reviews om uddannelses og skoleforhold helt tilbage i 70 erne i USA (Pope, Mays et al. 2007). Formationen af producenter af systematiske reviews på det medicinske og det sociale område bliver typisk forbundet med en række forestillinger, der bl.a. handler om muligheden for at opnå en mere effektiv og vidensbaseret social sektor (Bhatti, Hansen et al. 2006; Krogstrup 2011) 2. Produktion af systematiske reviews knyttes her til forhold, der angår udvikling af politik, forvaltning og praksis med afsæt i, hvilke indsatser der i primærforskningen af interventionsstudier har vist positive effektresultater. Systematiske reviews bliver inden for denne forståelsesramme ofte forbundet med sikker og troværdig viden, idet de systematiske reviews opfattes at levere et forskningsmæssigt bevis for en hensigtsmæssig og fremadrettet prioritering af en medicinsk og/eller social indsats. Samtidig er udvikling af systematiske reviews forbundet med en orientering mod at være relevant for policy og praksis (Bhatti, Hansen et al. 2006; Krogstrup 2011). De to forhold, der er grundlaget for bestræbelserne og formationen af producenter af systematiske reviews, udtrykkes typisk med termerne, at der med systematiske reviews indhentes den bedste tilgængelige viden, der skal tjene som grundlag for den bedste praksis a synthesis of the best evidence available to serve as the basis for best practices. (Sandelowski and Barroso 2007: 3). Udvikling af systematiske reviews bliver yderligere knyttet til andre forståelsesrammer, der nuancerer ovenstående. Det kommer til udtryk bl.a. med Systematic Reviews in Social Sciences af Petticrew og Roberts (2006), der nævner, at selvom det mest almindelige inden for udvikling af systematiske reviews stadig er vurdering af indsatsers effekt, er der alligevel mange muligheder for, at systematiske reviews kan anvendes i en bredere sammenhæng. Samme synspunkt kommer til udtryk i An introduction to systematic reviews (2012), skrevet af medarbejdere i Eppi-Centre, der mener, at det er forkert at 2 I modsætning til udvikling af systematiske reviews inden for det medicinske forskningsfelt, hævdes fremvæksten af systematiske reviews inden for flere sociale fagområder, herunder uddannelsesområdet, at være forløbet som en politisk initieret proces, altså en top-down-proces (Bhatti, Hansen et al. 2006; Krogstrup 2011). 21

24 betragte systematiske reviews som forskning, der udelukkende beskæftiger sig med effektspørgsmål. the logic of reviews can apply to many questions and methods (Gough, Oliver et al. 2012: 12) I samme litteratur problematiseres det yderligere, at systematiske reviews betragtes ubetinget at være i stand til at levere den mest troværdige viden om et forskningsfelt. Et systematisk review anskues at udtrykke en vurdering (judgement), der hviler på andres vurderinger, samtidig med at gennemførelse af et systematisk review i sig selv bør betragtes som en vurdering: reviews come to different conclusions because the people conducting them have different perspectives, priorities and understandings about what they understand the best to be. (Gough, Oliver et al. 2012: 2) Arbejdsprocessen i et systematisk review er omfattende og beskrevet af flere (fx Petticrew and Roberts 2006; Konceptnotat 2007; Rieper and Hansen 2007; Schlosser, Wendt et al ). En kortfattet oversigt over processen kan lyde sådan: 1. Udvælgelse af emne og problemstilling. 2. Identificering af alle relevante primærstudier, der omhandler en given problemstilling gennem litteratursøgning og abstractscreening. 3. Vurdering af primærstudiernes relevans for den omhandlede problemstilling gennem fuldtekstscreening. 4. Vurdering af forskningskvaliteten hos de enkelte studier ved fuldtekstscreening. 5. Syntetisering af den tilbageværende primærforskning. 6. Udarbejdelse af rapport. Med den foreliggende afhandling er der fokus på fase 5 i ovenstående gengivelse af faserne i et systematisk review. Det vil sige, at fokus er på synteseprocessen i systematiske reviews med henblik på at udlede, hvordan inddragelse og brug af kvalitativ primærforskning foregår. 22

25 Problemstilling Det oprindelige sigte med ph.d.-afhandlingen var, at den skulle fokusere på forskellige syntesemetoder, der måtte kunne anvendes i forbindelse med syntetisering af kvalitativ forskning. Det var hensigten dengang, at afhandlingen endeligt kunne udpege én eller flere synteseformer, der kunne hævdes at være mere hensigtsmæssige end andre til at begribe den kvalitative forskning 3. Producenter som Cochrane Collaboration og Campbell Collaboration har allerede udpeget én synteseform, dvs. metaanalysen, der vurderes som mest videnskabeligt troværdig til syntetisering af interventionsstudier. Inden for feltet angående syntetisering af kvalitativ forskning eksisterer der ikke en lignende etableret konsensus, ligesom der heller ikke findes et fælles udgangspunkt for kvalitetsvurdering af kvalitativ forskning (Booth 2001; Dixon-Woods, Bonas et al. 2006; Sandelowski and Barroso 2007). Jeg påbegyndte mit arbejde med at læse i litteraturen omkring kvalitative evidenssynteser (jf. kapitel 4). Jeg konstaterede, at der findes mange bud på forskellige syntesemetoder til kvalitativ forskning i den grad, at feltet forespørger om mere forskning i eksisterende metoder, fremfor udvikling af flere (Dixon-Woods, Agarwal et al. 2005). Sideløbende indledte jeg en gennemgang af systematiske reviews, produceret af visse reviewproducenter på uddannelsesområdet. Mit indblik i faktiske systematiske reviews ændrede imidlertid afhandlingens fokus, idet jeg konstaterede, at feltet tilbød et forholdsvis beskedent udvalg af syntesemetoder; overvejende "narrative analyser", "tematiske analyser" og "count analysis". Ingen af reviewproducenterne syntes at anvende metoder såsom metaetnografi, meta-syntese eller meta-study, der tilsammen skulle minde væsentligt om metoder til at begribe den kvalitative primærforskning (Evans 2002). Jeg oplevede en diskrepans mellem den teoretiske litteratur og de faktiske systematiske reviews, produceret af producenter af systematiske reviews. Forskning inden for kvalitative evidenssynteser om udvikling og afprøvning af forskellige syntesemetoder forekom at fungere uafhængigt af reviewproducenternes arbejde med at producere systematiske reviews. Frem for et fokus på 3 Tidligere lektor ved Monash University Harsh Suri indledte sin Ph.d-afhandling med en lignende problemstilling. Hun ender med at udvikle en ny syntesemetode, som hun mener, er mere egnet til at syntetisere forskning på uddannelsesområdet: Suri, H. and D. Clarke (2009). "Advancements in Research Synthesis Methods: From a Methodologically Inclusive Perspective." Review of Educational Research 79(1):

26 hensigtsmæssige syntesemetoder ændrede jeg derfor forholdsvis tidligt i ph.d.-forløbet kurs for at undersøge, hvordan den kvalitative primærforskning indgår og syntetiseres i faktiske systematiske reviews. Til trods for reviewproducenters ideal om transparens, er det min oplevelse, at transparens i mindre omfang angår bearbejdning af kvalitativ primærforskning i systematiske reviews. Min erfaring er, at det er vanskeligt at identificere den kvalitative primærforskning i eksisterende systematiske reviews. Mit nye fokus på faktiske systematiske reviews vakte imidlertid min interesse for at synliggøre den kvalitative forskning, hvilket skal betragtes som en gennemgående bestræbelse i afhandlingen. Afhandlingen fungerer dermed som en af de få undersøgelser, der rapporterer om etablerede arbejdsmetoder i reviewindustrien (Larsen 2010). Afhandlingen undersøger, hvordan kvalitativ primærforskning i systematiske reviews indgår og bearbejdes som en del af reviewprocessen. Samtidig undersøges en række funktioner i systematiske reviews, hvor den kvalitative forskning indgår og får en rolle og betydning. Som tidligere nævnt, er udviklingen af systematiske reviews traditionelt forbundet med et fokus på primærforskningen, der vedrør undersøgelser af interventionsstudier. Dette fokus afspejles deslige i de forskningsfunktioner for den kvalitative forskning, som er i spil i denne afhandling. Derfor er der med afhandling fokus på, hvilken funktion den kvalitative primærforskning kunne tildeles, når der med de systematiske reviews er tale om et fokus på interventionsstudier. Afhandlingen har følgende problemstilling: Hvordan kan kvalitativ primærforskning bruges i udvikling af systematiske reviews? Hvilke konsekvenser kan brugen af den kvalitative primærforskning i systematiske reviews være forbundet med? Metode BEGREBSAFKLARING I ovenstående problemstilling indgår begrebet bruges i sætningen Hvordan kan kvalitativ primærforskning bruges. Afhandlingens mere tekniske begreb for bruges er, som tidligere antydet, begreberne forskningsfunktion og inddragelse. Det er med andre ord forskningsfunktioner for og inddragelse af den kvalitative primærforskning i systematiske reviews, som er de tekniske betegnelser for, hvad der undersøges i denne afhandling. 24

27 Forskningsfunktioner angår spørgsmål om, hvorvidt den kvalitative forskning opfattes at skulle indtage én eller flere bestemte roller som forskningsdisciplin (i systematiske reviews), som fx forstående eller forklarende. Inddragelse angår måden, hvorpå data fra primærforskningen bearbejdes i reviewprocessen, dvs. at inddragelse angår det metodiske grundlag i bearbejdningen af kvalitative primærforskning i systematiske reviews, enten som aggregative, integrative eller interpretative tilgange i syntetisering af data (mere herom senere). Opfattelser om forskningsfunktioner og inddragelse af kvalitative primærforskning i systematiske reviews kan knyttes til overvejelser om, hvad der måtte være den kvalitative forsknings erkendelsesgrundlag (epistemologi), dvs. spørgsmålet om og opfattelser af, hvad det er om verden (ontologi), den kvalitative forskning kan sige noget om, og hvorfor den kvalitative forskning i udvikling af systematiske reviews skulle bruges til at besvare/ikke besvare bestemte typer spørgsmål, og hvordan kvalitative forskning tilgår (metodologisk) sit genstandsfelt. Det epistemologiske, ontologiske og metodologiske grundlag for den kvalitative forskning er derfor temaer som berøres i denne afhandling. En mere teknisk udlægning af problemstillingens første spørgsmål kunne derfor lyde: Hvilke forskningsfunktioner opnår den kvalitative primærforskning i udvikling af systematiske reviews, og hvorledes inddrages den i systematiske reviews? Særligt i afhandlingens sidste kapitler bruges i flæng betegnelser som inddragelse af kvalitativ primærforskning / kvalitative data / data fra kvalitativ primærforskning. Der er med disse forskellige betegnelser tale om samme betydning. Hermed menes, at når kvalitativ primærforskning bruges og indgår i udvikling af systematiske reviews udgør den et datagrundlag i systematiske reviews, hvorfor kvalitativ primærforskning ligeså vel bliver betegnet som kvalitative data. ANALYSER AF TRE MATERIALER Det er 19 systematiske reviews, der udgør afhandlingens empiriske grundlag. Disse 19 er produceret af Eppi-Centre 4 ved University College London, Institute of Education i en periode

28 på fem år ( ). De pågældende 19 systematiske reviews omhandler alle en uddannelsesmæssig problemstilling og inddrager kvalitativ primærforskning i syntesen. Det er som nævnt sigtet med afhandlingen at finde frem til forskningsfunktioner for og inddragelse af kvalitativ primærforskning, hvilket i afhandlingen bliver søgt udledt i en undersøgelse af de pågældende 19 systematiske reviews ( det første materiale ). I afhandlingen foretages også analyser af to øvrige materialer. I den forbindelse er der tale om, på den ene side, at udlede opfattelser om forskningsfunktioner for og inddragelse af den kvalitative forskning i et udvalg af introduktionsbøger og -artikler om kvalitativ forskning ( det andet materiale ). Disse bøger og artikler er overvejende skrevet af erfarne og velkendte kvalitative forskere (fx Denzin og Lincoln 2005; Stake 2010; Cohen, Manion et al. 2007). Med udgangspunkt i en analyse at dette materiale, er det sigtet at få frem, hvad den kvalitative forskning i disse introduktionsartikler og -bøger måtte mene er dens funktion og inddragelse i forsknings sammenhænge, herunder i systematiske reviews. På den anden side er der tale om analyser af opfattelser om den kvalitative forsknings funktioner og inddragelse som det kommer til udtryk i litteraturen om kvalitative evidenssynteser ( det tredje materiale ). Her er det sigtet at få perspektiver frem om den kvalitativ forskning, som de udtrykkes af producenter af systematiske reviews, særligt med udgangspunkt i Cochrane Handbook for Systematic Reviews of Interventions (Cochrane Handbook) (Higgins 2008). Håndbogen introducerer til udvikling af systematiske reviews på det medicinske forskningsfelt, herunder om den kvalitative forsknings rolle heri. Ovenstående to materialer (dvs. henholdsvis introduktionsbøger og artikler om kvalitativ forskning og Cochrane Handbook) kan betragtes som havende deres egne forståelsesrammer for, dels hvad kvalitativ forskning er, dels hvordan den skal betragtes og bearbejdes samt dens funktion i forskningssammenhænge. Desuden kan materialerne anskues med vidt forskellige argumenter for de respektive forforståelser. I afhandlingen vil det fremgå mere detaljeret, hvorfor det netop er disse materialer, der bliver brugt, og hvilken betydning dette valg af materialer får for perspektiverne i analyserne. Valget af de to materialer er tænkt at skulle fungere som et indspark til diskussionen om evidens og systematiske reviews i uddannelsesforskningen i den forstand, at afhandlingen endeligt som jeg ser det - udfordrer en række forestillinger om brugen af den kvalitative primærforskning i systematiske reviews. 26

29 Den første forestilling, jeg mener udfordres i afhandlingen, er opfattelsen, at den kvalitative forskning ikke kan bruges og/eller ikke er i stand til at blive brugt i systematiske reviews. Denne forestilling er måske efterhånden af ældre karakter, men antydes i fx Borgnakke, Mortensen et al. (2006). Sidst i afhandlingen vil der blive formuleret konkrete eksempler på, hvordan der i eksisterende systematiske reviews anvendes kvalitativ primærforskning. I forlængelse af disse eksempler mener jeg desuden, at forestillingen om, at den kvalitative forskning i systematiske reviews ikke (i eksisterende systematiske reviews) bliver brugt til at besvare uddannelsesmæssige spørgsmål om effekt af en indsats eller et program, også bliver udfordret. Denne sidste forestilling antydes i fx Krogstrup (2011) og er måske et resultat af reviewproducenternes holdning til effektforskning, hvoraf RCT-design fremtræder som den gyldne standard, mens kvalitativ forskning vurderes uhensigtsmæssig og typisk derfor genfindes langt nedad evidenshierarkiet (jf. kap. 4). Disse holdninger har - efter min mening - fået lov til at overskygge debatten om vilkårene for den kvalitative forskning i systematiske reviews. Jeg mener, at vi med denne afhandling fremover bør være i stand til at diskutere mere præcist og vedkommende, hvordan kvalitativ forskning bruges og kan/bør bruges i udvikling af systematiske reviews. De ovennævnte to materialers syn på forforståelser af den kvalitative forsknings rolle, som det tager sig ud i hhv. introduktionsbøger og - artikler om kvalitativ forskning samt Cochrane Handbook bliver i afhandlingen udfordret af den faktiske virkelighed, dvs. med afhandlingens analyser af de 19 systematiske reviews. De to materialers opfattelser af, hvor den kvalitative forskning hører hjemme, og hvordan den bedst forstås og bearbejdes, udfordres når den kvalitative forskning iagttages og analyseres i eksisterende systematiske reviews. Udover at en række forestillinger udfordres om den kvalitative forsknings rolle i systematiske reviews, bidrager materialerne desuden til diskussioner om, hvilke konsekvenser for den kvalitative primærforskning, der er i spil, når den faktiske brug af kvalitativ primærforskning (i analysen af de 19 systematiske reviews) kommer frem i lyset. På tværs bidrager de tre materialer derfor til diskussionen - som fremgår af problemstillingens sidste spørgsmål - om vilkårene for dels inklusion af den kvalitative forskning, dvs. spørgsmålet om, hvilken type kvalitativ primærforskning der synes at overleve reviewprocessen og endelig kommer med i de pågældende 19 systematiske reviews. Dels bidrager materialerne til en diskussion af, hvordan data fra den kvalitative primærforskning 27

30 endelig forstås/tolkes og efterfølgende indgå i reviewet som en del af besvarelsen på en uddannelsesmæssig problemstilling. TEORI FORSK NINGSFUNKTIONER Afhandlingens teoretiske fundament er Wilhelm Dilthey, Jürgen Habermas og de såkaldte kompleksitetsteoriers udlægning af forskningsfunktioner i forskningen. Kompleksitetsteoriernes perspektiver på den kvalitative forskning er i afhandlingen præsenteret af især Joseph A. Maxwell, Ray Pawson og Nancy Cartwright. Overordnet betragtet skal Dilthey, Habermas og kompleksitetsteorierne forstås som en analytisk position, der i afhandlingen indtages i forhold til at forstå og analysere de forskellige materialer i afhandlingen, deriblandt de 19 systematiske reviews. Teorierne kan betragtes som grundlag for de to begreber om forskningsfunktioner og inddragelse, der er omdrejningspunktet i afhandlingen. Dilthey og Habermas er begge optaget af at tildele forskellige videnskaber deres individuelle genstandsfelt og vidensproduktion. Den humanistiske videnskab knyttes til en forstående og tolkende vidensproduktion, mens naturvidenskaben knyttes til en forklarende funktion i forskningen. Den analytiske position, der indtages med afhandlingen i forhold til at forstå materialerne, kan kaldes for en hermeneutisk position. Kompleksitetsteorierne inddrages med henblik på at tilbyde visse nuancer til denne position i relation til at belyse kausalitets-begrebet, som det kommer til udtryk med Maxwell, Pawson og Cartwright. Den hermeneutiske position betyder, at de nævnte tre materialer analyseres ud fra de mange betydninger, materialerne lægger an til at betragte i forhold til at tildele den kvalitative forskning fx en forklarende, forstående/fortolkende funktion i forskningssammenhænge. I afhandlingen redegøres for tre såkaldte sandhedsteorier, hvoraf der tages udgangspunkt i en præsentation af korrespondanceteorien, kohærensteorien og pragmatismens teori om sandhed. De tre teorier er ensbetydende med forskellige udlægninger af, hvordan der i videnskabelig forstand produceres begrundede hypoteser om verden, vi lever i. De forskellige udlægninger kan knyttes til forskellige ontologiske og epistemologiske forforståelser. Sandhedsteorierne bruges i afhandlingen til at forstå en række forskelle prioriteringer og hensyn i forskningen, der kommer til udtryk på tværs i analyserne af de tre materialer. Fx bruges de til at forstå, hvorfor RCT-designs af visse reviewproducenter 28

31 vurderes hensigtsmæssig ved interventionsstudier. Sandhedsteorierne fungerer endvidere som et grundlag for at forstå afhandlingens væsentlige metodiske begreber om aggregative og interpretative tilgange ved syntetisering af primærforskningen i udvikling af systematiske reviews. IN DDRAGELSE Med udgangspunkt i samme tre materialer og ud fra samme teoretiske position, hvori der udledes forskningsfunktioner, bliver der udledt opfattelser om tilgang til inddragelse af data i systematiske reviews. I det følgende skal det afklares, hvad der mere præcist menes med inddragelse af data i systematiske reviews, der grundlæggende er et begreb for en række metodiske tilgange ved syntetisering af primærforskning i systematiske reviews. I afhandlingen tages der udgangspunkt i, at der under inddragelse af primærforskningen i et systematisk review er tre niveauer at tage højde for. Det første angår spørgsmålet om, hvordan kvalitative data fra primærforskningen indledningsvist inddrages i reviewet. Dette betegnes som inddragelsesniveau 1, der vedrører måden, hvorpå kvalitative data fra primærforskningens egen forståelsesramme indledningsvist inddrages og dermed oversættes til at indgå i reviewet. Det andet niveau angår spørgsmålet om, hvordan kvalitative data fra primærforskningen bearbejdes på tværs af den øvrige primærforskning. Det kan betegnes som inddragelsesniveau 2, der vedrører spørgsmålet om, hvordan den individuelle primærforskning syntetiseres med den øvrige primærforskning. Inddragelsesniveauerne 1 og 2 må betragtes successivt i den forstand, at niveau 1 nødvendigvis kommer før niveau 2, idet den kvalitative forskning fra primærforskningen nødvendigvis må inddrages, førend den indgår på tværs af den øvrige primærforskning. I modsætning til niveau 1 og 2 skal det tredje niveau betragtes som at gå på tværs. Inddragelsesniveau 3 vedrører forskningsspørgsmålet i reviewet (reviewspørgsmålet) og angår måden hvorpå, kvalitative data fra såvel niveau 1 og 2 bearbejdes i forhold til at besvare et reviewspørgsmål. Det centrale under inddragelsesniveau 3 er, hvorvidt det indledende reviewspørgsmål fastholdes i løbet af reviewprocessen, eller om der er mulighed for ændringer i begreberne og/eller strukturen i reviewspørgsmålet undervejs i reviewprocessen. Spørgsmålet er her, om reviewspørgsmålet anskues statisk, hvor begreber og strukturer i reviewspørgsmålet bevares nogenlunde intakt fra start til slut i et systematisk review. Et statisk reviewspørgsmål fungerer som en på forhånd defineret tilgang i 29

32 begrebsforståelser, der måtte sikre en klar transparent systematik i reviewprocessen, hvor forståelsen af begreber og strukturer i reviewspørgsmålet på forhånd er fastlagt og styrende for resten af processen og de valg, der foretages. Med et fleksibelt reviewspørgsmål er det derimod tilladt at ændre i begreber og strukturer i reviewspørgsmålet. Der kan være flere grunde til disse ændringer undervejs, hvor nogle er af mere principiel forskningsmetodisk karakter, som i fx den realistiske syntese (Pawson, R., T. Greenhalgh et al. 2004; Pawson 2002), mens andre relativt erfarne reviewproducenter rapporterer om, at det er umuligt ikke at skulle foretage ændringer i reviewspørgsmålet (og metoder undervejs), når primærforskningen gennemgås. Her peges der ofte på diversiteten i primærforskningen (Gough, Oliver et al. 2012). Til syntetisering af kvalitativ primærforskning er der, som tidligere nævnt, allerede udviklet flere syntesemetoder. Syntesemetoderne kan overordnet inddeles i tre grupper, som henholdsvis aggregative tilgange, integrative tilgange og interpretative tilgange, og de forholder sig hver især forskelligt til inddragelse af data i de tre inddragelsesniveauer. Nedenstående præsentation af henholdsvis aggregative, integrative og interpretative tilgange til syntetisering af primærforskning er hentet overvejende fra Saini og Schlonskys (2012) fremstilling af samme. Det er hensigten i det følgende at bidrage til en nærmere uddybning af afhandlingens begreb om inddragelse og herigennem vise, hvorledes inddragelse af data i de tre niveauer i synteseprocessen enten sker gennem en overvejende akkumulering (aggregative tilgange) eller en tolkning (interpretative tilgange) af data, men også kan ske gennem en blanding af både akkumulering og tolkning af data (integrative tilgange). AGGREGATIV E TI LGAN GE Aggregative tilgange er ensbetydende med akkumulering af data fra primærforskningen, ofte med henblik på kvantificering af samme. Målet er at afklare temaernes hyppighed ved at udvikle frekvensberegninger, fx procenter, statistisk signifikans og effekt-sizes to weight the findings (Saini and Shlonsky 2012: 27). Med aggregative tilgange akkumuleres og udtrækkes data fra den kvalitative forskning, som de umiddelbart forekommer i primærforskningen. Det søges ikke at gå bag om undersøgelsesfænomener i forhold til at anskue dem som et udtryk for et bestemt betydningsunivers, som begreber, tal, fænomener måtte være blevet tildelt i primærforskningen. Under inddragelsesniveau 1 betragtes undersøgelsesfænomener/begrebet derimod som tilstrækkeligt givet i primærforskningen. 30

33 Data betragtes som neutrale (Saini and Shlonsky 2012: 12) og tilstrækkeligt veldefinerede angående undersøgelsesfænomenets karakteristika data are assumed to be largely secure and well specified (Dixon-Woods, Agarwal et al. 2005: 46). Lignende betragtninger om undersøgelsesfænomenet findes ved inddragelsesniveau 2, hvoraf data lægges sammen på tværs for dermed at øge populationen i reviewet to add up findings (Gough, Oliver et al. 2012: 8). Det betyder, at den samlede primærforskning anskues at beskæftige sig med et nogenlunde overensstemmende fænomen/begreb, som den individuelle primærforskning beskæftiger sig med, hvorfor de netop sammenlægges som udtryk for ét og det samme. Ligeledes forholder det sig med aggregative tilgange ved inddragelsesniveau 3. Akkumulering af kvalitative data betyder, at primærforskningen betragtes som at indgå - såvel individuelt som på tværs - i forhold til, at den og de beskæftiger sig med samme fænomen, som det systematiske review indledningsvist har sat sig for at undersøge. Reviewspørgsmålet ændrer sig m.a.o. ikke i forhold til primærforskningens begreber på området. Derimod opfattes fænomenet, som reviewet har sat sig for at undersøge, som svarende til fænomenet, som det udtrykkes henholdsvis i den enkeltstående primærforskning og primærforskningen på tværs: Predefined and focused research questions drive the analysis and synthesis (Saini and Shlonsky 2012:27). INT EGR ATIV E TI LGANGE Integrative tilgange henter elementer fra aggregative tilgange i den forstand, at data akkumuleres, men med udgangspunkt i en række bestræbelser om interpretativt at udvikle nye forståelser og teorier på baggrund af primærforskningen. Under inddragelsesniveau 1 indgår undersøgelsesfænomener - som ved aggregative tilgange som de umiddelbart fremtræder i primærforskningen: Integrative methods for qualitative synthesis, like aggregative methods are focused on summarizing findings. (Saini and Shlonsky 2012:29). Forskellen mellem aggregative og integrative tilgange opstår ved inddragelsesniveau 2: Fremfor at oversætte data til effektmål eller procenttal indsættes primærforskningens begreber i fx taksonomier over et udvalg af begreber. Begreberne kan være meget tæt på primærforskningens originale bestemmelser, men udgør - eller er genstand for en videreudvikling (Ibid.). I modsætning til aggregative tilgange, der så at sige - lægger fænomener sammen, bevirker interpretative tilgange under inddragelsesniveau 2 et tolkningsmæssigt aspekt i den forstand, at der foregår en udvikling af nye begreber på 31

34 baggrund af den samlede primærforskning. Der udvikles m.a.o. mere omfattende begreber med henblik på at rumme den samlede primærforskning. Integrative methods create conceptual findings and provide the foundation for the development of conceptual descriptions of phenomena across studies (Saini and Shlonsky 2012:29). I relation til inddragelsesniveau 3 er integrative tilgange ligesom aggregative tilgange - forbundet med at betragte begreber/undersøgelsesfænomener henholdsvis i den enkelte primærforskning og på tværs af primærforskningen, som tilsvarende begreberne i reviewspørgsmålet, dvs. som reviewet indledningsvist havde sat sig for at undersøge: integrative methods relay on predetermined questions to guide the analysis (Saini and Shlonsky 2012:31). INT ERPRETAT IVE TILGAN GE Modsat aggregative og integrative tilgange er interpretative tilgange forbundet med at betragte fænomener som uafsluttede under samtlige inddragelsesniveauer. Der er tale om, at interpretative tilgange går bag om data going beyond data (Thomas and Harden 2008). Under inddragelsesniveau 1 anskues undersøgelsesfænomener/-begreber fra de individuelle studier som en konsekvens af de kontekstuelle betingelser, som er givet de enkelte studier. Forskningsresultater fra de individuelle studier betragtes som en konsekvens af de omstændigheder, der er givet i de enkelte studier. Ved interpretative tilgange foregår der derfor en nærmere undersøgelse af den enkelte primærforskning: fx deltagerne i de individuelle studier, herunder studiernes individuelle metoder og resultater (Saini and Shlonsky 2012:33). Forskellige interpretative syntesemetoder har lagt navn til, hvordan der under inddragelsesniveau 1 kan undersøges en række betingelser, som den individuelle primærforskning kan anskues at være et udtryk for. For eksempel er meta-interpretation knyttet til undersøgelser af primærforskeres forforståelse, idet de enkelte studier herunder deres forskningsfund - anskues at være knyttet til en række tidsmæssige, sociokulturelle og paradigmatiske forforståelser: meta-interpretation includes not only the context within the included studies, but also the context in which the research was produced and written (Saini and Shlonsky 2012:35). Ved inddragelsesniveau 2 inddrages data på tværs gennem en videreudvikling af de allerede fortolkede - begreber fra primærforskningen. Som det er 32

35 tilfældet ved integrative tilgange, foregår der en højere ordens forståelse af undersøgelsesfænomener på baggrund af den samlede primærforskning (higher-order theoretical struture) (Dixon-Woods, Agarwal et al. 2005: 46). For eksempel med syntesemetoden metaetnografi (Noblit and Hare 1988) foregår fortolkningsprocessen således, at de individuelle studier relateres til hinanden ved oversættelse (translate). I den sammenhæng handler det om at forbinde (interconnection) primærforskningen gennem en tolkningsmæssig proces (reciproical og refutational translation), der i korte træk går ud på at finde frem til forskelle og ligheder i datamaterialet variations within and between studies (Saini and Shlonsky 2012: 34). Denne bearbejdning af primærforskningen resulterer i a line of argument, der i syntesen udgør nye forståelser af eller teorier om fænomenet (Noblit and Hare 1988). I forhold til inddragelsesniveau 3 er interpretative tilgange kendetegnet ved et iterativt forløb, hvor fænomener i reviewspørgsmålet ændrer karakter og opstår ud af materialet - i forhold til at imødekomme betydninger i datamaterialet. For eksempel med den føromtalte syntesemetode realistisk syntese, hvor der udvikles en indledende programteori som et delvist styrende men ikke lukket - reviewspørgsmål, hvis teori og hypotese efterhånden i reviewprocessen ændrer karakter for at imødekomme teorier fra primærforskningen om processer og mekanismer med henblik på udvikling og generering af en endelig (ny) teori: refine programme theories in the light of evidence (Pawson, Greenhalgh et al. 2004). The process is, within each stage and between stages, iterative. There is a constant to-ing and fro-ing as new evidence both changes the direction and focus of searching and opens up new areas of theory (Pawson, Greenhalg et al. 2004:V) ET KONTINU U M Aggregative, integrative og interpretative tilgange til syntetisering af primærforskning bearbejder data forskelligt i de tre inddragelsesniveauer. Forskellen kan illustreres med graden i forhold til, hvorvidt data fra primærforskningen i synteseprocessen betragtes og behandles som afsluttet vs. uafsluttet. Betegnelsen afsluttet henviser til, at forskningsresultater fra primærforskningen betragtes som et tilstrækkeligt udtryk for genstanden, der søges belyst i et systematisk review. Betegnelsen uafsluttet henviser til, at 33

36 primærforskningens forskningsresultater opfattes at skulle ses i lyset af en kontekstuel sammenhæng, der er medskabende og bidragende til resultaterne. Figur 1. Aggregative, integrative og interpretative tilgange er, som nævnt, overordnet syntesetilgange. Individuelle syntesemetoder såsom fx metaanalyser, tematiske analyser, narrative analyser, meta-etnografi kan placeres på linjen i ovenstående figur 1 i forhold til, hvorvidt de overvejende forholder sig aggregativt, integrativt eller interpretativt, dvs. om de bearbejder data fra primærforskningen som afsluttede og/eller uafsluttede i syntesen. Figuren skal forstås sådan, at syntesemetoder kan ligge mellem fx integrative og interpretative tilgange eller mellem aggregative og integrative tilgange i forhold til, hvorvidt syntesemetoderne overvejende trækker mere i den ene eller den anden retning. Det er gennem en analyse af inddragelsen af data i de tre niveauer, at det bliver tydeligt, om en syntesemetode er mere eller mindre aggregativ, integrativ eller interpretativ. Centralt for denne afhandling er analyserne af de 19 systematiske reviews, hvoraf det søges afklaret, hvordan inddragelse af kvalitative data i de tre niveauer foregår. Forskningen på feltet Der er foretaget en undersøgelse af hvad tidligere forskning, som denne ph.d. afhandling skriver sig ind i, har skrevet om feltet. Der er søgt efter feltets litteratur i to centrale databaser, henholdsvis EBPP Bibliography 5 og Cochrane Library 6. I EBPP Biblography blev

37 anvendt følgende søgestreng: qualitative research AND systematic review OR synthesis OR AND research methodology. I Cochrane Library er det muligt, dels at søge efter referencer om udelukkende metodiske spørgsmål, dels efter metodologiske emner rettet mod kvalitativ forskning i systematiske reviews. Derudover er der søgt i centrale tidsskrifter, Evidence and policy, Review of Research in Education, Educational Research Review og Review of Educational Research (Larsen 2010; Suri and Clarke 2009). Endvidere er der søgt i tidsskriftet Research Synthesis Methods. Antal referencer Antal tidsskrifter Fuldtekst EBPP Bibliography Cochrane Library Evidence and policy 53 2 Review of Research in Education 43 0 Educational Research Review 26 0 Review of Educational Research 45 0 Research Synthesis Methods 22 1 Tabel 1: Andel af referencer fordelt på kilder Ovenstående tabel 1 viser de enkelte referencer og tidsskrifter, som er gennemgået samt andelen af referencer og tidsskrifter som er behandlet på baggrund af studiers abstract og titel. Endvidere viser tabellen andelen af studier, som er fundet relevante, hvoraf referencerne i deres fundtekst-format er gennemgået. Af tabellen fremgår det, at det især er de to store emnemæssigt-generelle baser, hvor potentielle relevante referencer er fundet frem. Det fremgår endvidere, at der ikke er dukket relevante referencer frem fra de tre tidsskrifter, der specifikt er rettet mod uddannelsesområdet. Det skal endvidere nævnes, at tidsskriftet Evidence and Policy har flere referencer, der er rettet mod implementerings spørgsmål, end mod metodologisk spørgsmål i forbindelse med udarbejdelse af systematiske reviews. Tidsskriftet Research Synthesis Methods omhandler metodologiske spørgsmål i bred forstand, men tidsskriftet har en overvægt af artikler inden for emnerne omkring syntetisering og kvalitetsvurdering af kvantitative interventionsstudier, fx RCT-designs og andre kontrolgruppe-designs. 35

38 Kravet til de relevante referencer er, at de skal vedrøre uddannelsesområdet og de skal forholde sig til en undersøgelse af eksisterende systematiske reviews. Derudover skal studierne forholde sig til problematikken omkring vilkår for den kvalitative forskning i systematiske reviews. Flere referencer er sorteret fra, fordi de vedrører udvikling af specifikke redskaber som fx kvalitetvurderingsredskaber eller udvikling af specifikke syntesemetoder. Flere af de fremfundne referencer er endvidere sorteret fra, fordi de vedrører systematiske reviews inden for sundhedsforskningen. Selvom flere studier inden for sundhedsforskningen beskæftiger sig med undersøgelser af den kvalitative forsknings rolle i systematiske reviews, er det typisk gjort med udgangspunkt i udvikling af bestemte syntesemetoder, fx meta-syntese, realistisk syntese eller meta-etnografi. Inden for sundhedsforskningen er også fundet referencer, der adresserer afhandlingens mere generelle problematik om vilkår for den kvalitative forskning i systematiske reviews (fx Lewin, Glenton et al og Lorenc, Pearson et al. 2011). Der i alt fundet tre studier, der tager udgangspunkt i eksisterende systematiske reviews inden for uddannelsesområdet og som undersøger vilkår for den kvalitative forskning i systematiske reviews. Alle tre studier tager udgangspunkt i systematiske reviews fra Eppi- Centre. I det følgende gives et kort resume af studierne og efterfølgende reflekteres der kort over, hvordan denne afhandling bidrager til studiernes konklusioner. Det første studie er: Systematic Reviewing the call centre version of research synthesis. Time for a more flexible approach (Torrance 2004). Det er formålet med studiet at undersøge, hvorfor systematiske reviews på uddannelsesområdet er ensbetydende med en mindre andel af inkluderede primærforskning. Forfatteren tager udgangspunkt i systematiske reviews fra Eppi-Centre, hvoraf det ikke fremgår hvor mange eksisterende systematiske reviews, forfatteren baserer sin undersøgelse på. Forfatteren fremholder, at systematiske reviews fra Eppi-Centre inkluderer en begrænset mængde primærforskning og primærforskningen der endelig er inkluderet er vurderet (af forfatterne til de systematiske reviews) at være af lav kvalitet. Forfatteren mener, at den begrænsede mængde inkluderet primærforskning og den tilsyneladende lave kvalitet skyldes metodologiske begrænsninger i udvikling af systematiske reviews. Forfatteren efterspørger mere fleksibilitet angående inklusion af primærforskning, specifikt i forhold til at inkludere ikke-empirisk forskning. Denne afhandling kan læses i forlængelse af Torrance (2004), idet afhandlingen i analysen af de 19 systematiske reviews giver et indblik i og et bud på, hvad det er som opstår i 36

39 reviewprocessen, der måtte bevirke at noget kvalitativ primærforskning som udgangspunkt ikke inddrages. I forlængelse af Torrance (2004) gives der i afhandlingen en række forklaringer på, hvad det er for en type kvalitativ forskning, der vurderes endeligt kommer med i de 19 systematiske reviews. Samtidig antydes det i afhandlingen, at denne type kvalitativ forskning kunne være af en særlig karakter (jf. kap 6). Det næste studie er: Issues in synthesizing research in education (Andrews & Harlen 2006). Studiet tager udgangspunkt i en undersøgelse af systematiske reviews fra Eppi- Centre, overvejende med udgangspunkt i et enkelte systematisk review som en illustrativ case, men undersøgelsen forholder sig også til andre systematiske reviews udviklet af Eppi- Centre. Formålet med studiet er at nuancere en udbredt opfattelse omkring systematiske reviews, der går på at udvikling af systematiske reviews favoriserer RCT-designs og prioriterer konklusioner baseret på statistiske målinger: Objections have been based on the assumption that systematic research favour positivist research prioritizing randomized controlled trials and using standardized tests as measures of outcomes (Andrews & Harlen 2006: 288). Studiet finder, at de fleste systematiske reviews, der er udarbejdet af Eppi-Centre er syntetiseret ved narrative synteser ikke metaanalyser. Studiet konkluderer, at uddannelsesforskningen er præget af diversitet i metoder, designs og forskningsspørgsmål, hvorfor den i systematiske reviews bedst lader sig præsentere gennem andre syntesemetoder end metaanalyser som fx narrative synteser. Denne afhandling supplerer ovenstående studie ved, at den undersøger mere indgående bearbejdning af variable i primærforskningen konkret med udgangspunkt i 19 systematiske reviews fra Eppi-Centre. I analyserne af databearbejdning konkluderer afhandling, at det fortsat til trods for anvendelse af narrative synteser - er relevant at tale om, at data bearbejdes lig bearbejdning af data, som det foregår i fx metaanalyser af RCTdesigns, dvs. med aggregative tilgange. Det tredje studie: Clarity bordering on stupidity: where s the quality in systematic review? (MacLure 2004) undersøger i alt 30 systematiske reviews udarbejdet af Eppi-Centre. Undersøgelsen er yderligere baseret på analyser af introduktions-litteratur om systematiske reviews hentet fra Eppi s hjemmeside. Formålet er at undersøge diskursen i disse materialer; hvordan der i materialerne forholdes til systematiske reviews som en forskningsproces, og hvad forskning i bred forstand opfattes at være ensbetydende med. Forfatteren opfatter læsning og skrivning (reading and writing) som nødvendige og centrale akademiske og 37

40 intellektuelle handlinger, der kræver fortolkning, argumentation og analyse. Forfatteren konkluderer, at disse handlinger ikke kan genfindes i de pågældende systematiske reviews eller i introduktionsmaterialerne. De intellektuelle handlinger som fortolkning, argumentation og analyser er derimod udskiftet med fastlagte procedurer for og buzzwords, så som data extraction, synthesis, key-wording, mapping, weighting, inclusion and exclusion criteria, screening m.m. Ligeledes ved rapportskrivning er de systematiske reviews kendetegnet ved samme fastlagte procedurer på tværs af de systematiske reviews. This imposes a dreary pattern of identical chapter and section headings, overstuffed methods sections, and overflowing appendices detailing search strategies, coding decisions, application of inclusion criteria, quality weightning ect. (MacLure 2004: 13) Forfatteren viser, at disse fastlagte procedurer the EPPI-lexicon fungerer som the EPPI-way og opfattes som right way, såvel af Eppi-Centret selv som af flere andre aktører. Forfatteren konkluderer, at de fastlagte procedurer er ensbetydende med manglende anderkendelse af metodologisk diversitet i reviewprocessen, hvor tolkning og analyse af data samt argumentation for syntesen ikke anderkendes som en del af et videnskabeligt arbejde. De fastlagte procedurer skjuler derimod over disse videnskabelige processer i reviewarbejdet. Derfor konkluderer forfatteren, at reviewprocessen i Eppi s systematiske reviews ikke er transparent, hvorfor man som læser ikke bliver bekendt med baggrunden for konklusionerne i deres systematiske reviews. Acts such as keywording, mapping, data-extracting or synthesizing stand in marked contrast to those annoyingly clandestine acts of reading, analyzing and interpreting, which happen inside people s heads, are less easy to break down into auditable stages, and are prone to contextual or individual variation, complexity, indirection and qualification (MacLure 2004: 7). I denne afhandling forholdes til tolkning og interpretative tilgange som overordnede syntesetilgange, herunder som tilgange der kan vælges til/vælges fra i synteseprocessen. Disse tilgange skal selvfølgelig forinden accepteres som grundlag i systematiske reviews, men de er ikke udelukkede i systematiske reviews. I denne afhandling vises, hvordan disse 38

41 interpretative tilgange i synteseprocessen i 19 systematiske reviews ikke er valgt til og afhandlingen understøtter budskabet i artiklen om manglende metodologisk diversitet i systematiske reviews fra Eppi-Centre. Afhandlingen viser imidlertid, at der er diversitet i de funktioner, den kvalitative primærforskning tildeles og den bidrager til en betragtning af systematiske reviews med langt flere metodiske redskaber til rådighed end perspektiverne, de er givet i ovenstående artikel. Afhandlingens opbygning I kapitel 1 præsenteres Diltheys og Habermas teorier om funktioner i forskningen knyttet til begreberne forståelse og forklaring. Endvidere gennemgås kompleksitetsteoriernes betragtninger af den kvalitative forsknings rolle som afklarende omkring kausale relationer. I kapitlet gøres opmærksom på nuancer i teorierne knyttet til, hvad teorierne synes at lægge an til om roller og funktioner knyttet til forskellige forskningsdiscipliner. Der fremhæves følgende funktioner for den kvalitative forskning; at den har en forstående funktion, en kritisk normativ og en effekt-afklarende funktion. Kapitlet er det første ud af to, der redegør for afhandlingens analytiske position, dvs. at tolkninger og forståelser af afhandlingens empiri og øvrige materialer i udgangspunktet rammesættes af disse teorier. I kapitel 2 præsenteres forskellige såkaldte sandhedsteorier, dvs. korrespondanceteorien, kohærensteorien og pragmatismens teori om sandhed. De tre teorier er ensbetydende med forskellige opfattelser af, hvordan der i videnskabelig forstand produceres begrundede hypoteser om verden, vi lever i. Dette kapitel er det sidste ud af to, der angiver afhandlingens analytiske position. I kapitel 3 præsenteres analyser af forskellige introduktionsartikler og bøger af relativt anderkendte kvalitative forskere. Der er fokus på en fremstilling af den kvalitative forskning, som den gives af især Denzin og Lincoln (2005), Robert E. Stake (2010) og Starrin (1994), mens også andre bøger og artikler har betydning for fremstillingen. Det er sigtet at få frem, hvad den kvalitative forskning er ensbetydende med og ifølge et udvalg af kvalitative forskere, hvad der er dens funktion og rolle som forskningsdisciplin. Det er yderligere idéen med kapitlet at få frem, hvorledes disse perspektiver kan knyttes til inddragelse af den kvalitative forskning i udvikling af systematiske reviews. Det konkluderes, at det særligt er den interpretative opfattelse af genstandsfeltet, som er kendetegnet for den kvalitative 39

42 forskning. Det interpretative kan knyttes til udvikling af systematiske reviews i den forstand, at data inddrages interpretativt og dermed tolkende ud fra en betragtning af de betydninger og kontekster, som data i reviewprocessen er og bliver tildelt. I kapitel 4 præsenteres analyser af Cochrane handbook om kvalitativ forskning samt et udvalg af litteraturen om kvalitative evidenssynteser. Det er sigtet at få frem, hvordan reviewproducenter opfatter, at den kvalitative forskning kan inddrages i udvikling af systematiske reviews. Det konkluderes, at der er fokus på funktionen for den kvalitative forskning i systematiske reviews, at den i systematiske reviews tildeles henholdsvis en procesafklarende funktion til præcisering af effektresultatet i interventionsstudier og til belysning af interventioners implementeringsforhold samt en eksplorativ funktion i definering og præcisering af relevante reviewspørgsmål. I kapitlet argumenteres der endvidere for, at materialet er optaget af en idealisering af aggregative tilgange til inddragelse af primærforskningen i udvikling af systematiske reviews. I kapitel 5 gennemgås metoderne i udvælgelse af afhandlingens empiriske materiale, dvs. metoderne, der resulterer i de udvalgte 19 systematiske reviews, produceret af Eppi-Centre. Samtlige 19 systematiske reviews omhandler en uddannelsesmæssig problemstilling og inddrager kvalitativ forskning i syntesen. De 19 systematiske reviews er fremfundet gennem en sortering af Eppi-Centres femårige arbejde med udvikling af systematiske reviews fra perioden Det begrundes, hvorfor afhandlingen tager udgangspunkt i netop disse reviews, og i hvilken udstrækning de kan anskues som eksemplariske for feltet. Der redegøres endvidere for de analytiske greb i analysen af materialet. I kapitel 6 præsenteres analysen af de 19 systematiske reviews. Analysen er inddelt i to overordnede undersøgelser. I den første undersøges det, hvad det er for en funktion, den kvalitative forskning opnår i de pågældende 19 reviews. I den næste undersøges det, hvordan den kvalitative primærforskning inddrages og bearbejdes metodiske. Til den første analyse konkluderes det, at den kvalitative forskning opnår en effekt-afklarende forskningsfunktion, samtidig med at den også tildeles andre mere klassiske kvalitative funktioner. Den kvalitative forskning bruges i forbindelse med begrebsafklaringer, til afklaringer af indsatsers processuelle karakteristika i forbindelse med præcisering af indsatsers effektresultater, og den bruges til belysning af implementeringsforhold. Set i relation til perspektiver fra reviewproducenters forståelse af den kvalitative forsknings rolle i 40

43 systematiske reviews (jf. kap. 4), er det særligt den effekt-afklarende funktion, der er kritisk. De 19 systematiske reviews er indbegrebet af et effekt-begreb, der ikke er i overensstemmelse med reviewproducenters betragtninger af systematiske reviews. Til den næste analyse konkluderes det, at den kvalitative primærforskning inddrages og bearbejdes akkumulerende, dvs. aggregativt. Set i relation til perspektiverne fra introduktionsbøger og - artikler om den kvalitative forskning (jf. kap. 3), er dette kritisk. Der konkluderes risiko for simplificering af primærforskningens data og risiko for, at noget kvalitativ primærforskning frem for andet medtages i de pågældende reviews. I kapitel 7 perspektiveres fundene i analyserne til en forståelse af kampe, der bliver ført med henblik på at vinde forståelsen af, hvad der udgør den gode forskning om uddannelsesmæssige problemstillinger. Endvidere diskuteres en række fremadrettede fokuspunkter for den videre udvikling af feltet omkring systematiske reviews med brug og inddragelse af kvalitativ primærforskning. I den sammenhæng efterspørges øget accept og bevidsthed omkring, hvad det er for indsigter om verden, som den kvalitative forskning bidrager med i systematiske reviews. Derudover efterspørges øget indsigt i metoder til syntetisering af kvalitativt data, der sikre et vidensgrundlag i systematiske reviews om indsigt i praksissammenhænge. 41

44 Kapitel 1: Forskning og dens forskellige funktioner Formålet med kapitel 1 er at etablere det teoretiske fundament, den hermeneutiske position i afhandlingen, der konkret tager udgangspunkt i to teorigrupperinger. Den første gruppering bliver båret frem af to tyske professorer, henholdsvis Wilhelm Dilthey ( ) og Jürgen Habermas, sociolog og filosof (født 1929). Den næste gruppe udgør nyere teorier om kvalitativ forskning, der i afhandlingen betegnes som kompleksitetsteorier. Kompleksitetsteoriernes perspektiver på den kvalitative forskning er i afhandlingen præsenteret af især professor Joseph A. Maxwell, professor i sociologi Ray Pawson og professor i filosofi Nancy Cartwright. Det er hensigten med kapitlet at udtrække teoriernes forståelser af og begrundelse for, hvordan typer af forskning kan forstås at være knyttet til forskellige funktioner i forskningssammenhænge. Vidensproduktion for ånds- og naturvidenskaben DILTHEY OM FORSTÅELSE OG FORKLARING Diltheys tildeling af åndsvidenskaben som forstående (Verstehen) 7 skal ses i lyset af, at Dilthey mener, at hvad der er værd at vide om verden, findes i menneskehedens levede liv (Erlebins). Her findes alle sande regler og normer, som naturen og menneskets liv er 7 Begrebet forståelse inden for videnskabsteorien kan trækkes tilbage til den antikke filosofi, hvor forståelse betragtes som noget, der er forud eller er en forudsætning for sand praktisk erkendelse. En lignende betydning findes hos (den senere) Wittgensteins filosofi, hvor forståelse betragtes som en beherskelse af den sproglige praksis. Forståelse er desuden centralt inden for hermeneutikken. Før 1600-tallet blev forståelse stort set opfattet som en aktivitet, der var rettet mod at afdække sandhed i teologiske tekster gennem en fortolkningskunst. Ligeledes med Husserl, hvor begrebet optræder som noget mere objektivt tilgængeligt i menneskers omgivelser. I nyere tid inden for fænomenologien tildeles begrebet tillige noget kulturskabt eller naturligt, der er i menneskets omgivelser (Lübcke 1983: 138, 184ff). Inden for videnskabsteorien blev begrebet forståelse for første gang tildelt en (anden og) særlig erkendende betydning med Wilhelm Dilthey i 1800-tallet med værket Einleitung in die Geisteswissenschaften (1883)/Introduction to the Human Sciences Dilthey, W. (1988). Introduction to he Human Sciences - an attempt to Lay a Foundation for the Study of Society and History, Harvester Wheatsheaf. Diltheys indskrivning af forståelse adskiller sig fra den tidligere brug/betydning af begrebet (Lübcke 1983: 138). Max Weber og Jürgen Habermas er siden blevet inspireret af Diltheys indplacering af begrebet forståelse som en særlig erkendende vidensproduktion inden for den humanistiske forskning. 42

45 forbundet med. Reglerne er kulturelt overleverede, men også individuelt (kulturelt) konstruerede. Det levede liv er yderst komplekst; det viser sig kun som udtryk (Ausdruck) og kan aldrig i sin fulde helhed erkendes. Med Dilthey erkendes det levede liv forskelligt på tværs af henholdsvis natur- og åndsvidenskaberne, hvilket er Diltheys grundlæggende udgangspunkt, når han tildeler de to videnskaber deres individuelle vidensproduktion, herunder deres forklarende og forstående rolle i videnskaben. DILTHEY O M N AT UR VIDEN SK ABEN S FORK LAR ENDE RO LLE Med Dilthey opfattes naturen som noget ydre, der har en udstrækning og kan måles og vejes, mens menneskets liv består af indre processer (innewerden) som følelser, tænkning m.m. 8 Dilthey mener, at mennesket ikke har lige adgang til at erkende henholdsvis naturen og menneskets psykiske liv (Dilthey 1988: 80). Den manglende adgang betyder, at mennesket ikke er i stand til at erkende nogle dybere strukturer, som naturens fænomener, ifølge Dilthey, også menes at indeholde (Makkreel 2012: 7). Den begrænsede adgang begrundes med, at erkendelserne skal gå ad omveje via sanserne. These limits are situated in the very conditions of our experience itself, limits existing at every point in natural science; they are not external constraints our knowledge of nature clashes with, but conditions of knowledge immanent in experience itself (Dilthey 1988: 81). For naturvidenskaben betyder begrænsningen i adgang til viden om verdens fysiske forhold, at den ydre verden kun kan erkendes stykvis, som tegn og som repræsentationer (Vorstellung) for bevidstheden. Dette resulterer i en subjekt-objekt-relation, hvor mennesket (subjektet) ønsker at opnå et kendskab til naturen (objektet) i den udstrækning, det kan have betydning for menneskets overlevelse (Dilthey 1988: 23). 8 Dilthey begrunder sondring mellem det fysiske (naturvidenskaben) og det psykiske (åndsvidenskaben) klassisk ontologisk, hvilket Dilthey tillige selv gør opmærksom på (Dilthye 1988: 82). I hans bestræbelser på at selvstændiggøre ånds- og naturvidenskaben fra hinanden, er denne ontologiske opfattelse om verdens beskaffenhed en grundlæggende forudsætning - og således også for begrebet verstehen. 43

46 The confusing phenomena of life are analyzed into a clear conception of dependencies whose effect is to lead the process of nature to introduce changes which touch man himself (Dilthey 1988: 85) Dilthey begrunder naturvidenskabens metoder ved at hævde, at dets fokus på effekt, interventioner og hypoteseafklaring m.m. er givet i kraft af den nødvendige abstraktion fra genstandsfeltet, hvor den kun metodologisk kan fokusere på ét faktum ved et fænomen ad gangen, mens den udelader andre (Makkreel 2012: 7). Dilthey betegner dette som en formel adgang til genstandsfeltet, hvor sammenkædning af variable i naturvidenskaben er udtryk for, at menneskeheden essentielt set har et behov for at forklare naturens sammenhænge - hvordan den fungerer og virker - for dermed at overleve den. I modsætning til åndsvidenskabernes bestræbelser om verstehen betegner Dilthey naturvidenskabens målsætninger med begrebet verstand (Makkreel 2012: 8). DILTHEY O M ÅN DSVI DENS K ABERN ES FO RS TÅENDE RO LLE Dilthey mener, at muligheden for erkendelser af det menneskelige, psykiske og kulturelle er anderledes åben end menneskets begrænsede erkendelser af naturen, idet mennesket opfattes at have langt større adgang til fænomeners dybde, som optræder i den indre verden. Menneskets tænkning, følelsesliv og egen vilje which we call Goethe s life (Dilthey 1988: 80) udgør grundlaget for samtlige fænomener i verden. Fænomenerne er enestående for åndsvidenskaben, og Diltheys tænkning går på, at menneskets komplekse følelsesliv og tænkning er selvsamme bevis på, at mennesket har en større adgang til det indre univers og dermed til de sande erkendelser, menneskeheden skaber om sig selv. Dilthey taler om, at helheden i det levede liv ligger åben for mennesket, idet dets fænomener er en del af mennesket i dets umiddelbare komplekse helhed. Til forskel fra naturens fænomener, der ikke på samme vis er i stand til at optræde i sin fulde helhed fra start i mennesket selv, men kun er givet stykkevist og delt gennem sansning af noget udefra (Dilthey 1988: 23). FORST ÅELS E FOR MENN ES K ETS HISTORI SK E S K AB ELSE En væsentlig pointe med Dilthey er, at åndsvidenskaberne på baggrund af deres erkendelsesgrundlag - metodologisk ikke bør begribe et genstandsfelt med samme abstrakte tilgang, som naturvidenskaben er tvunget til. Dilthey argumenterer for en mere analytisk fremgangsmåde inden for åndsvidenskaberne, hvori forskningen fra start må begribe en 44

47 større flerhed af faktorer om menneskets daglige liv. Med Diltheys filosofi kan strukturerne i det levede liv ikke erkendes af mennesket selv gennem introspektion, men de giver sig først til kende, som udtryk, ved hjælp af en anden. Dette synspunkt er centralt for Diltheys filosofi, der netop hermed begrunder åndsvidenskaberne i rollen som den anden, der så at sige skal udrede genstandsfeltets levede liv, der tillige er i stand til at blive udredt gennem undersøgelser af kunstværker, bygninger, rets love og regler mv. Metodologisk taler Dilthey om, at forskeren bevidstgøres gennem en objektificering af sit genstandsfelt, hvilket betyder, at forskeren indføler og/eller afprøver det undersøgte på sig selv og derefter genskaber (nachbilden) og genoplever (nacherleben) det pågældende (Lübcke 1996: 31; Makkreel 2012: 12). Det er opfattelsen, at indføling med det andet/den anden på den ene side giver mulighed for originale og enestående versioner om det levede liv (Makkreel 2012: 8). På den anden side, at det forskningsmæssigt er muligt at levere mere eller mindre identiske deskriptioner af det psykiske og sociale liv, hvilket begrundes med, at mennesker i bund og grund ligner hinanden; a rediscovery of the I in the thou (Dilthey 1988: 24) 9. Med Dilthey er det ikke tilstrækkeligt, at forskeren gengiver evt. holdninger og synspunkter, idet forståelse refererer til en genskabelse i en såkaldt højere forståelse, hvor forskere betragter enkelte udtryk af det levede liv med henblik på at lade det indgå i en større helhed af levede liv (Makkreel 2012: 12ff). Med Dilthey forstås denne helhed som en fælles historisk helhed. Forskeren bliver i den sammenhæng et medium, der relaterer til menneskets fortid (Ibid.). Dilthey taler om, at der ved denne type forståelse kræves en særligt intim (højere) forståelse mellem forsker og genstandsfelt, hvor det som forstås samtidig er det, som udgør det, der i udgangspunktet er blevet konstrueret som sandt (Makkreel 2012: 21). Forskningens højere forståelser kan hjælpes på vej af teorier, udviklet af åndsvidenskaben selv, der vedrører fx sociale, politiske, økonomiske, kulturelle og religiøse forhold (Makkreel 2012: 18). Det er opfattelsen, at der herigennem bliver skabt en bedre forståelse for det i udgangspunktet originale og kulturhistoriske om den menneskelige tilværelse: 9 Mulighed for overensstemmelse mellem genstandsfeltets levede liv og forskerens opdagelse og gengivelse af disse, begrundes med Diltheys kulturhistoriske menneskesyn, hvormed forskeren hævdes at have dispositioner til at erkende den andens levede liv. Forskeren udtrækker i den forbindelse informationer, ikke kun af psykologisk art, men også om mennesket som social og historisk konstrueret (Makkreel 2012: 3). 45

48 Verstehen is thus the mode of understanding all things human, both on the individual or interpersonal levels and on the level of societal bodies (Dilthey 1988: 24) Dilthey betragter grundlæggende strukturerne i det levede liv sådan, at helheden strukturelt set er målrettet. Det vil sige, at menneskets værdier, følelser og vilje ikke er frit svævende eller substansløse, men bundet til et formål, der giver mening i en eller anden forstand (Makkreel 2012: 15-16). Et fænomens indre struktur er dermed dets mening, formål og betydning, og skabes qua menneskets ifølge Dilthey altid meningsfulde og formålstjenlige - omgang med verden. Dilthey taler om, at målet med åndsvidenskaben er at samstemme ydre perceptioner (fænomener) med indre følelser. Dilthey taler om, at forståelse skal levendegøre et fænomen (Makkreel 2012). Gennem en højere forståelse er det åndvidenskabens opgave at forstå fænomeners indre, der i første omgang viser sig som et komplekst ydre (Makkreel 2012: 12). Forståelse udgør en proces, hvor der refereres fra et ydre fænomen til fænomenets virkelige indre (Makkreel 2012: 16). De ydre fænomener er tillige i stand til at gøre opmærksom på og synliggøre noget nyt indre (Ibid.) Det sanselige ydre må forstås som ydre fænomener i den psykiske verden, der er blevet sanselige gennem (den forskningsmæssige) objektificering (Makkreel 2012: 12). Nedenstående model illustrerer forskellen mellem de to videnskaber i relation til, at deres målsætning er henholdsvis det forklarende og det forstående. 46

49 Årsag Virkning Den naturvidenskabelige forskning forklarer sammenhænge mellem fænomener/variable. Det levede liv Åndsvidenskaben forstår et enkelt fænomens karakteristika. Figur 1.1 illustrerer Diltheys forståelse af, hvordan henholdsvis naturvidenskaben og åndsvidenskaben begriber deres genstandsfelt forskelligt. Naturvidenskaben undersøger ved at forklare fænomeners mulige sammenhæng med andre fænomener, mens åndvidenskaben forstår sit genstandsfelt. Qua det erkendelsesmæssige grundlag - der er illustreret med cirklen - giver Dilthey åndsvidenskaben en direkte adgang til at begribe fænomeners komplekse indre substans. Substansen angår de egenskaber, menneskeheden tillægger fænomener i forhold til, hvilken betydning, mening og formål de tilskrives. Indholdet af fænomener er givet i menneskets univers, både som historisk overleveret og individuelt (historisk) konstrueret. ÅN DSVI DEN SK ABEN S INDR E FORK LARI NGER I starten af forfatterskabet er Dilthey optaget af at begrunde, at åndsvidenskaben - i lighed med naturvidenskaben - kan lykkes med mere generelle årsagsforklaringer. Åndsvidenskaben er i stand til at udlede såkaldte indre forklaringer. Fremgangsmåden er, at der indledes med en forståelse for genstandsfeltets indre, som vist med modellen for åndsvidenskaben. Indre forklaringer udspringer - til forskel fra forklaringer inden for naturvidenskaben fra det levede liv og udgør dermed fænomeners indre, sammenhængende strukturer. Fremfor at hævde, at åndsvidenskab kun har mulighed for at forstå enkelte fænomeners karakteristika, 47

50 kan det betydningsindhold, fænomenerne tilskrives, tillige fungere som en mere generel forklaring på samme fænomen. Det vil sige som en slags forklaring i form af nogle formål, motiver eller nogle hensigter, knyttet til en given handling (fænomen). Muligheden for at udlede generelle forklaringer inden for humanvidenskaben skal med Dilthey ses i sammenhæng med hans opfattelse, at det enkelte menneske er bærer af almene kulturhistoriske love, der bestemmer dets muligheder for handling. Oplysninger fra det enkelte individ har dermed relevans for en større gruppe af mennesker (Makkreel 2012: 9). Senere i forfatterskabet tager Dilthey afstand fra at tilskrive store dele af åndsvidenskaben muligheden for det forklarende. Dilthey begrunder, at det levede liv skal forstås som værende i konstant formation og forskydning. Indre forklaringer resulterer i abstrakte og teoretiske begreber, som Dilthey mener, er på bekostning af sandheden i form af de love og regler om verden, som udspiller sig i det komplekse, levede liv. Det er netop åndsvidenskaben beskåret at begribe denne kompleksitet, hvilket kan stå i vejen, såfremt fænomenerne søges teoretiseret gennem forklaringer. HABERMAS OM FORSTÅELSE OG FORKLARING Jürgen Habermas er i nyere tid med til at forsvare en lignende opfattelse, der findes i Diltheys sondringer mellem naturvidenskab og åndsvidenskaben. Med Habermas begrundes det med videnskabernes erkendelsesinteresser: Erkendelse henviser til, at menneskeheden er udstyret med en fornuft og evne til at udvikle idéer og producere viden. Interesse henviser til, at menneskeheden er i besiddelse af umiddelbare drifter og affekter, hvis grundlæggende bestræbelser orienterer sig i forhold til det enkelte menneske og menneskeartens mulige reproduktion og selvkonstituering (Glebe-Møller 1996: 39; Habermas 2005: 132). Habermas henviser til, at erkendelse og interesse traditionelt og fejlagtigt er blevet opfattet som inkongruente og ofte i diskussioner om viden og videnskab er blevet modstillet gennem begreber som teori vs. praksis, objektivitet vs. subjektivitet samt normativitet vs. deskription 10. For Habermas fungerer erkendelse og interesse i et nødvendigt (dialektisk) 10 Habermas mener at kunne spore den opfattelse, at erkendelse hævdes at bunde i det interesseløse hos Platon og frem til Husserl (Habermas 2005) 48

51 samspil, som han, i tråd med en dialektisk materialistisk verdensforståelse, 11 begrunder naturhistorisk; henholdsvis ud fra, hvad mennesket er for en art, og hvad der skal til for, at mennesket kan eksistere. Det livsnødvendige samspil mellem erkendelse og interesser betyder, at menneskehedens interesser er styret af et grundlæggende behov for at sikre overlevelse mod en overlegen og udefra truende natur. Menneskets mulighed for erkendelse fungerer som et aktivt redskab, der medierer menneskets interesser i forhold til, hvad der end måtte finde sted af erkendelser for at sikre menneskehedens fortsatte eksistens. Den dialektiske materialisme mellem erkendelse og interesse beskriver Habermas således: Den erkendende virksomhed er redskab for selvopretholdelsen, i samme grad som den transcenderer den blotte selvopretholdelse (Habermas 2005: 131). Habermas identificerer tre grundlæggende typer interesser, der gennem tiden har sikret menneskehedens fortsatte eksistens, henholdsvis en teknisk, en praktisk og en emancipatorisk erkendelsesinteresse. Det er gennem disse medier, at menneskeheden gennem tiden har organiseret og indrettet sit liv (Glebe-Møller 1996: 36). Erkendelsesinteresserne gør sig gældende inden for videnskaben, hvor de på tværs af forskellige videnskaber er styrende i forhold til prioriteringer af forskningsmetoder og produktionen af forskellige typer viden. I det næste afsnit skal vi se, hvordan Habermas - ligesom Dilthey - knytter en forklarende rolle til de empirisk-analytiske videnskaber (naturvidenskaben) og en forstående til de historisk-hermeneutiske videnskaber (åndsvidenskaben). Habermas er også optaget af en tredje videnskab, de emancipatoriske videnskaber (samfundsvidenskaben), hvor såvel det forstående og det forklarende såvel 11 Den dialektiske materialisme er en bestemt ontologisk og erkendelsesteoretisk verdensanskuelse, der fungerer som et mere eller mindre grundlæggende videnskabsteoretisk syn for de mange skoler, der filosofisk og forskningsmæssigt på forskellige vis har ladet sig inspirere af Karl Marx og Friedrich Engels værker. En af disse skoler er den såkaldte Frankfurterskole grundlagt i som Habermas filosofisk og forskningsmæssigt typisk forbindes med. Mennesket som et produkt af naturlove og samfundsstrukturer skal i den dialektiske materialisme anskues således, at det er menneskeheden selv, der har været med til at definere samfundsformationer (og naturlove) (Kjørup 1996). Dette perspektiv på samfundsudviklingen gives gennem det dialektiske ; dvs. ud fra en opfattelse af, at menneskeheden og samfundet (og naturlovene) ændrer og udvikler sig gennem et vekselvirkningsforhold mellem mennesket og de materialistiske omgivelser via den sociale praksis (Keld 1996). Samlet set er den dialektiske materialisme optaget af at karakterisere de dialektiske systemer i udvikling og forklare, hvorledes mennesket gennem dets egen udvikling bliver opretholdt i disse (Keld 1996: 196, 214). Dialektisk materialisme udgør ikke den komplette tænkning hos Habermas, men der er relevante paralleller mellem den dialektiske materialisme og hans idéer om erkendelsesinteresser i den videnskabelige vidensproduktion. 49

52 metodologisk som erkendelsesmæssigt mødes i en kritisk vidensproduktion. Habermas tredeling af videnskaberne kan måske forstås som en konsekvens af en historisk udvikling, hvor de marxistiske strømninger gjorde sig mere og mere gældende siden Dilthey. DE EMPI RISK- AN ALYTI SK E VIDEN SK ABER SO M FORKLARENDE Habermas karakteriserer den videnskabelige vidensproduktion inden for de empiriskanalytiske videnskaber sådan, at den skal sætte menneskeheden i stand til at forudsige, hvad der vil ske på givne tidspunkter. Derfor har den karakter af solide regler for forudsigelser, en prognostisk viden (Habermas 2005: 126), der søger at frembringe informationer med henblik på at opnå nomologiske indsigter (Habermas 2005: 128: 131). Anvendelsen af det eksperimentelle design som forskningsmetode har netop til hensigt at afprøve forudsigelserne med henblik på at afdække lovmæssige sammenhænge mellem naturfænomener (Habermas 2005: ). DE HISTORI SK-HERMENEUTISKE VI DEN S K ABER SO M FO RS TÅEN DE For Habermas handler det for de historisk-hermeneutiske videnskaber om at tildele vores omgivelser betydning. Det vil sige en slags orden således, at mennesket får et praktisk grundlag for - fx gennem sproget, kendskab til traditioner og andre kulturer - at forstå sine omgivelser og i sidste ende tildele det en mening og betydning med henblik på udvikling af et fælles referencesystem. Habermas benævner karakteren af viden i de historiskhermeneutiske videnskaber for tolkning (Habermas 2005: 131), der er en anden videnstype end informationer om, hvad der lovmæssigt opstår i en given handlingssammenhæng (jf. de empirisk-analytiske videnskaber). Hvorledes menneskeheden tillægger sine omgivelser betydning, skal med Habermas forstås således, at disse bestræbelser kommer forud for de iagttagelige lovmæssige sammenhænge: De lovmæssige sammenhænge forudsætter en (fælles) forståelse for, herunder en kendsgerning af, hvad enkelte dele i konstruktionen af de lovmæssige sammenhænge i udgangspunktet betyder. Det er dette betydnings- og begyndelsesniveau, som de historisk-hermeneutiske videnskaber bidrager med til menneskeheden og dermed til menneskehedens grundlæggende overlevelse som art (Habermas 2005: ). Dette betydnings- og begyndelsesniveau kan sammenlignes med Diltheys forestillinger om åndsvidenskabens undersøgelser af det levede liv, der tillige forstås 50

53 at være grundlaget for og ensbetydende med alt, hvad der er værd at vide om den verden, vi lever i. Habermas nævner ikke en konkret forskningsmetode, der måtte gøre sig gældende inden for de historisk-hermeneutiske videnskaber, men skildrer derimod en generel tilgang, der synes at være identisk med Diltheys objektificering i åndsvidenskaben. Med Habermas skal forskeren få fat om et genstandsfelts betydning ved, at forskeren sætter sig personligt ind i det pågældende univers, hvorfor betydningerne åbner sig for fortolkeren, efterhånden som hans egen verden oplyses. forskeren sætter sig ind i verdens eller sprogets horisont, som en overleveret tekst får sin betydning fra Den tranderede verden af betydninger åbner sig først for fortolkeren, efterhånden som hans egen verden oplyses. Fortolkeren skaber en kommunikation mellem begge verdener; han begriber det tranderede saglige indhold, idet han anvender traditionen på sig selv og sin situation (Habermas 2005: 128). DE EMAN CIPATORI SK E VI DEN SKABER SO M KRI TISK NO RMATI V For Habermas har de emancipatoriske videnskaber - fælles med de empirisk- analytiske videnskaber - til hensigt at frembringe nomologisk viden om samfundsmæssige forhold, men de er samtidig i stand til kritisk at formidle selvsamme regler, der såfremt de antages uhensigtsmæssigt fastlåste - i princippet opfattes at være samfundsskabte og dermed foranderlige. Vidensformen er analyse (Habermas 2005: 131). Målet med analysen er det emancipatoriske, det frisættende og det kritiske, der skal give menneskeheden mulighed for selvstændigt at kunne forholde sig til samfundsformationer. Habermas forudsætning for at tildele menneskets erkendelse en mulighed for frisættelse fra dogmatiske samfundsformationer kan betragtes som et resultat af en inspiration fra Freuds psykoanalyse (Widell 1996). Med Habermas er det de emancipatoriske videnskaber, der tildeles muligheden for at formidle en kritisk viden, hvis analyse kan skitsere eksisterende (og uhensigtsmæssige) samfundsmæssige mønstre. Den gode forsker vil være i stand til at løsrive sig fra sin afhængighed af hypostaserede magter, hvilket sker gennem forskerens evne til selvreflektion (Habermas 2005: ). De emancipatoriske videnskaber er et møde mellem det forklarende og det forstående, hvor det forstående giver adgang til at gå bagom og 51

54 kritisk forholde sig til normativitet (forklaringer) (Cohen, Manion et al. 2007:28). Med den udlægning bør den forstående tilgang i forskningen ikke udelukkende være knyttet til at udlede mening og betydning som i Diltheys filosofi - men bør også bidrage med at identificere processuelle magtinteresser med henblik på at ændre på determinerende kræfter og kausale love i samfundet (Ibid.). Habermas kan dermed siges at indsætte den kvalitative forskning i forhold til, at den skal være kritisk normativ, dvs. at den kvalitative forskning skal kunne forholde sig kritisk til forklaringer i videnskaben: Its purpose is not merely to understand situations and phenomena but to change them (Cohen, Manion et al. 2007:26). Habermas begrunder det kritiske i de emancipatoriske videnskaber med menneskehedens nødvendige interesser i at opbygge et samfund, der bygger på demokrati og frihed for dets medlemmer (Habermas 2005). Kompleksitetsteorier En måde at forstå Dilthey og Habermas sondring mellem naturvidenskaben og åndsvidenskab/historisk-hermeneutiske videnskaber på er, at de er indbegrebet af en bestemt kausalitetsopfattelse. Opfattelsen angår en lineær opfattelse om kausalitet, der typisk sættes i forbindelse med David Humes filosofi i 1700-tallet og betegnes som regularitetsteori. Det lineære henviser til antagelsen, at kausalitet angår regularitet mellem to fænomener: årsag og virkning. Opfattelsen er dels, at en hændelse mellem a (årsag) og en hændelse b (virkning) er kausal, hvis og kun hvis b følger umiddelbart efter a; dels at enhver hændelse af samme type a (årsag) efterfølges af en hændelse af samme type som v (virkningen). Heri ligger et krav om, at hændelsen mellem a og b skal være forbundet i tid og rum (Lübcke 1983). I nyere tid er kvalitativ forskning blevet knyttet til såkaldte kompleksitetsteorier 12. Kompleksitetsteorierne er her en samlet betegnelse for retninger inden for den kvalitative forskning, der samlet set argumenterer for en mere multipel, frem for en lineær, opfattelse af kausalitet (Cohen, Manion et al. 2007:33). Teorierne har rødder i filosofien med bl.a. Roy Bhaskar og Wesley C. Salmon, men også i sociologien med Lawrence B. Mohr (Pawson, Greenhalgh et al. 2004; Dowe 2008; Maxwell 2012). Kompleksitetsteoriernes 12 Betegnelsen kompleksitetsteori (complexity theory) bruges af Cohen, Manion et al. (2007:33-34). 52

55 alternative opfattelse af kausalitet betyder, at den kvalitative forskning opnår en mere forklarende for at bruge Diltheys og Habermas begreb - funktion i forskningen. Kompleksitetsteorierne tager afsæt i et grundsyn om, at kausalitet er lokal for (næsten) alle videnskaber, også den medicinske forskning (Cartwright & Hardie 2012). The generative model calls for a more complex and systemic understanding of connectivity. It says that to infer a causal outcome (O) between two events (X and Y) one needs to understand the underlying generative mechanism (M) that connects them and the context (C) in which the relationship occurs (Pawson, Greenhalgh et al. 2004) Yderligere forstås kausalitet som direkte observérbar, ikke som en black-box, og opfattes at kunne begribes i enkeltstående studier (single events or cases) (Maxwell 2004; Maxwell 2004). Kausalitet betragtes som en konsekvens af kontekstuelle mekanismer og processer (Maxwell 2004). Det vil sige, at en lang række processer i en given situation og sammenhænge skal medtages i spørgsmålet om kausale sammenhænge. Virkning er ikke knyttet til én årsag, men til en lang række processer (øvrige årsager); These contexts can t be reduced to a set of extraneous variables without misrepresenting the nature of the causal process (Maxwell 2012:657). Cartwright & Hardie (2012) illustrerer pointen med eksempler fra en sundhedsindsats (TINP) 13, der er blevet tilbudt forskellige steder i verden. Modsat andre steder havde indsatsen ingen succes i Bangladesh. Cartwright og Hardie (2012) forklarer det med kausalitetsopfattelsen, at indsatsens succes er afhængig af tilstedeværelsen af en lang række (kulturelle og sociale) processer. Årsagen kan ikke udskilles fra den kontekst, hvori virkningen påvises, og såfremt en enkelt proces ændrer karakter, indvirker det på de øvrige processer, og dermed på selve grundlaget om kausalitet mellem årsag og virkning. First, the program or policy (årsag, red.) under consideration will seldom be sufficient by itself, no matter how much effort has been taken to include in its description Second, the team in which the policy figures will not generally be the only thing that could contribute to the outcome (virkninger, red.) a 13 Tamil Nadu Integrated Nutrition Project 53

56 number of other teams that may or may not contain the policy can also contribute (Cartwright & Hardie 2012:25). Kausalitet opfattes knyttet til dens specifikke kontekstuelle betydning: Causation is thus fundamentally local (Maxwell 2012:657). Kausalitet kan være midlertidig og ikke umiddelbart eksisterende for alligevel at dukke frem igen (Woodward 2011). Kausalitet opfattes at variere fra situation til situation og kan være mere eller mindre generel, mere eller mindre dyb (Cartwright & Hardie 2012:23). Dermed bliver der fokus på spørgsmål som, hvad der virker for hvem, under hvilke omstændigheder, på hvilke måder og hvordan (Pawson, Greenhalgh et al. 2004:3; Cartwright & Hardie 2012). Kompleksitetsteorierne bryder med opfattelsen, at kausalitet kan betragtes ud fra et spørgsmål om udelukkende to variables tilstedeværelse, årsag og virkning (jf. regularitetsteorien). Derimod er der tale om, at hændelsen b (virkning) er et resultat af en lang række hændelser a(1), a(2), a(3) (årsager). I modsætning til regularitetsopfattelsen bliver det med kompleksitetsteoriernes kausalitetsteori dermed vanskeligt på den ene side at isolere hændelsen a (årsagen), der medfører hændelsen b (virkningen), på den anden side at (be)vise kausalitet gennem numerisk generalisering af årsag og virkning. KOMPLEK SITET ST EO RI OG KVALI TATI V FO RS KN ING Maxwell (2004) argumenterer for, at kvalitativ forskning med dens fokus på at undersøge kompleksiteten i et enkelt fænomen Complex network of events and processes in a situation (Maxwell 2004:6) er i stand til at bidrage med forklaringer til forskningen. For den kvalitative forsker handler det om at identificere de faktiske processer, der resulterer i en specifik virkning i en bestemt kontekst (Maxwell 2012:556). Maxwell fortæller, at forklaringer inden for kvalitativ forskning udledes gennem den kvalitative forskers forståelse for fænomeners dybere karakteristika, idet fænomener/mekanismer/processer altid er et resultat af fysiske og sociale forhold i en given situation, men også et resultat af en bredere social og kulturel kontekst (Maxwell 2012:657). Med kompleksitetsteorierne er det opfattelsen som hos den tidligere Dilthey med åndsvidenskabens indre forklaringer at mennesket handlingsmæssigt er styret af værdier, intentioner, overbevisninger og betydninger. Menneskets adfærd opfattes som et resultat af de betydninger, værdier og intentioner, som mennesket tillægger omgivelserne. Ved forskningsmæssigt at forstå disse meninger og 54

57 betydninger mener kompleksitetsteorierne, at den kvalitative forskning er i stand til at udlede kausale forklaringer, idet kausalitet betragtes som et resultat af selvsamme tillagte meninger (Ibid.). Dette synspunkt står i kontrast til Habermas og den senere Dilthey, der udskiller muligheden for det forklarende gennem det forstående, idet de begge knytter forklaringer til tekniske, abstrakte eller praktiske konstruktioner af genstandsfeltets kompleksitet. Forklaringer opfattes at bestå, som vi har set, i en simplificering, teoretisering af viden, der (udelukkende) med Habermas er i stand til at bidrage til den fælles forståelse med henblik på opbygning af en fælles orden af betydninger og sprog. Med kompleksitetsteorierne kan mening og årsagsforklaringer ikke udskilles fra forklaringer. Derimod anskues menneskets handlinger at være behæftet med mening, betydning og erfaring. Kausalitet opfattes som en konstruktion, der har indflydelse og betydning for vores hverdag, og disse konstruktioner bliver væsentlige i forhold til at forklare kausale processer. Seeing our understanding of causation as a construction does not make it Fictional a concept held by real human beings, this construction is itself real: It influences our actions (Maxwell 2012:657) Opsamling Med dette kapitel er vi stødt på forskellige funktioner, som typer af forskning hævdes epistemologisk og metodologisk - at være forbundet med. Samlet set er der tale om i alt tre: henholdsvis den forstående funktion, den kritisk normative og den effekt-afklarende funktion. Med Dilthey er forståelse som funktion i forskningen knyttet til åndsvidenskaben med henblik på undersøgelser af fænomeners historiske og kulturelle bestemmelser, der opfattes allerede at eksistere i menneskets psykiske tilværelse. Med Dilthey skal begrebet forståelse ikke kun betragtes som en funktion, men også som en metodologisk fremgangsmåde i forskningen. Der henvises til, at forskeren begriber en større flerhed af faktorer hos den/det, som undersøges. Dette gøres gennem indføling og afprøvning, hvoraf fænomener levendegøres hos forskeren. Forskeren udvikler højere forståelser om genstandsfeltets kompleksitet, hvoraf det, som forstås, er det, som udgør det, der i udgangspunktet er blevet konstrueret som sandt. Med Habermas knyttes forståelse til de historisk-hermeneutiske videnskaber, der ligeledes angår en bestemmelse af fænomeners menings- og betydningsindhold. Med 55

58 Habermas skal forståelses-begrebet ses i lyset af hans dialektisk-materialistiske verdensforståelse, og forståelse knyttes her til en praktisk vidensproduktion med formålet om at opbygge kendskab til andre traditioner og kulturer, herunder at udvikle fællessystemer og redskaber som fx sprog. Med Habermas tildeles forskningen yderligere en kritisk normativ funktion i den forstand, at typer af forskning menes at være i stand til at identificere normativitet i et samfund med henblik på at ændre kausalt determinerende love. På tværs af teorierne, der præsenteres i kapitlet, fremtræder opfattelsen, at det ikke er opgaven for den humanistiske forskning/kvalitative forskning at forklare afklare effekt - om forhold i verden, der tager udgangspunkt i en betragtning om regularitet mellem to variable. Det fremgår bl.a. af Dilthey, at dette ville være det samme som at åndsvidenskaben fraskriver sig mulighed for indsigt om verden, idet der herigennem opstår en abstraktion fra genstandsfeltet, der bevirker en simplificering af erkendelsesgrundlaget. Ud fra en regularitetsteoretisk betragtning tilkender Habermas og Dilthey udelukkende naturvidenskaben denne effekt-afklarende forskningsfunktion. Med kompleksitetsteorier bliver det opgaven for den kvalitative forskning som for åndsvidenskaben og de humanistisk-historiske videnskaber hos Dilthey og Habermas - at bestemme og forstå fænomeners betydnings- og meningsindhold. Med dette som afsæt indsætter kompleksitetsteorierne modsat Dilthey og Habermas - den kvalitative forskning en effekt-afklarende forskningsfunktion. Dette gøres ud fra en kompleksitetsteoretisk forståelse af, hvorledes der er sammenhænge mellem variable, hvormed den kvalitative forskning opfattes at være kausalitetsafklarende. Vidensproduktionen for den kvalitative forskning opfattes her at være afgørende for identificering af mekanismer og processer, der indgår i enhver slutning om sammenhæng mellem variable. Denne funktion for den kvalitative forskning skal ses i lyset af kompleksitetsteoriernes ikke-lineære forståelse af kausalitet, men langt mere komplekse udgangspunkt. I dette kapitel er gennemgået en række teorier, der tilskriver typer af forskning én eller flere roller, funktioner og overordnede metodologier i forskningsmæssige sammenhænge. Med henblik på at opstille et grundlag for, hvordan kvalitativ primærforskning kan indgå og bruges i udvikling af systematiske reviews, vil idéen om særlige funktioner og metodologier i forskningen være udgangspunktet og grundlaget for de mange analyser og refleksioner, gjort i afhandlingen. Teoriernes bud og begrundelser for samme får betydning for det blik i analyserne af de tre materialer (Cochrane Handbook, 56

59 introduktionsbøger og artikler om kvalitativ forskning samt i analyserne af de 19 systematiske reviews). De muligheder for forskningsfunktioner og bearbejdning af data (inddragelse), der analyseres i de tre materialer bliver derfor udfoldet og samtidig afgrænset med teorierne, der er præsenteret i dette kapitel. Et lignende perspektiv for analyserne i afhandlingen er givet det næste kapitel om sandhedsteorier. 57

60 Kapitel 2: Teorier om sandhed I dette kapitel redegøres for tre såkaldte sandhedsteorier. Teorierne er ensbetydende med forskellige opfattelser af, hvordan der i videnskabelig forstand produceres begrundede hypoteser om verden, vi lever i. Selvom den gennemgående målsætning for forskningen er at udlede hypoteser med henblik på at opnå indsigt i verden, vi lever i, eksisterer der forskellige opfattelser af, hvordan hypoteserne bedst er begrundet. Det er disse opfattelser, som det er sigtet at få frem i dette kapitel. Inden for videnskabsteorien er der formuleret flere forskellige forståelser af, hvad der udgør grundlag for hypoteser om verdens beskaffenhed. De mest centrale kommer til udtryk gennem henholdsvis korrespondanceteori, kohærensteori og den pragmatismens teori om sandhed (Christensen 2002: 37ff; Glanzberg 2009 :2). Hver især kan sandhedsteorierne betragtes som at forudsætte nogle antagelser om, hvad virkeligheden består i (ontologi), og hvordan mennesket erkender denne (epistemologi) (Glanzberg 2009: 2). En komplet redegørelse for sandhedsteorierne, herunder deres ontologiske og erkendelsesteoretiske ståsted, er ikke intentionen med kapitlet 14. Korrespondanceteorien om sandhed Den basale idé med korrespondanceteorien 15 om sandhed er, at hypoteser om verden er begrundet, så længe det svarer til, hvad der herom dømmes. Thomas Aquinas har formuleret det således: Sandheden består i en overensstemmelse mellem tingen og intellektet (Lübcke 1983: 381). Med Moore og Russell bliver det formuleret således: A belief is true if and only if it corresponds to a fact. Grundlæggende kan korrespondanceteorien betragtes som en teori om, 14 Ud over ontologiske og erkendelsesteoretiske anskuelser hævdes sandhedsteorierne at indeholde betragtninger fra fx lingvistikken og matematikken. Disse betragtninger kan hos nogle af sandhedsteoriernes forskellige forgreninger have en langt mere dominerende rolle end det mere ontologiske og erkendelsesteoretiske, som tegnes med det foreliggende kapitel (Glanzberg 2009: 13ff). 15 Korrespondanceteorien om sandhed har rødder tilbage i den antikke filosofi og bliver i den forbindelse ofte associeret med græske filosoffer som Sokrates, Plato og Aristoteles samt den italienske filosof og teolog Thomas Aquinas (David 2009). I den moderne udgave bliver teorien typisk sat i sammenhæng med opbygningen af den analytiske filosofi i begyndelsen af det 20. århundrede i USA med fx filosofferne G. E. Morre og Bertrand Russell i spidsen. Den analytiske filosofi er udledt af den tyske-østrigske filosofi; den logiske positivisme, også kaldt nypositivisme, hvis udgangspunkt er et opgør med den opfattelse, at erkendelse om verdens beskaffenhed kan nås gennem den rene tænkning (Lübcke 1983: 277) 58

61 hvordan noget kan være i overensstemmelse med noget andet. I den moderne udgave af teorien diskuteres det således, hvad denne overensstemmelse består i; fx om det udgør en afspejling eller noget, der er strukturelt identisk med noget andet. Yderligere diskuteres det, om sandhedsbærerne (primary bearers of truth) udgøres af sætninger, overbevisninger eller udsagn (sentences, propositions, beliefs) (Glanzberg 2009 ). Korrespondanceteorien antager ontologisk set, at der eksisterer en fysisk virkelighed, der samtidig er uafhængig af, hvordan mennesket erkender den. Korrespondanceteorien afgør, om hypoteser er tilstrækkelig begrundet ved, at den pågældende fysiske entitet enten er eller ikke er eksisterende (Glanzberg 2009: 5). Med korrespondanceteorien er det dermed den fysiske verden uden for menneskets bevidsthed, der bidrager med entiteter og afklarer, hvad sandhed består i. Kohærensteorien om sandhed Kohærensteorien 16 antager, at menneskets muligheder for at få adgang til den fysiske verden er begrænset, idet den fysiske verden opfattes som at ligge uden for menneskets muligheder for erkendelse (Young 2008: 3). Modsat korrespondanceteorien opfatter kohærensteorien ikke den fysiske verden som det, der er i stand til at afgøre/verificere, hvad der er sandt eller falsk: Coherentists deny that any sentences are made true by objective conditions (Young 2008: 8). Frem for en fysisk virkelighed mener kohærensteorien, at tro eller overbevisninger (beliefs) er et anliggende, hvor sandhed kommer til udtryk. Et relevant spørgsmål for en sandhedsteori er så, hvorledes kohærensteorien så at sige mener at kunne verificere enkelte sætninger, eftersom de ikke kan verificeres i forhold til en overensstemmelse med en fysisk virkelighed. Dertil opfatter kohærensteorien, at sandhedsværdien af sætninger skal afgøres i forhold til deres relation til en større overensstemmende helhed af andre overbevisninger. Inden for teorien betegnes det samlede system fx som the whole complete truth eller the significant whole (Glanzberg 2009 : 7). Dette samlede system af sandheder består af den 16 En kohærensteoretisk opfattelse af sandhed har, som korrespondanceteorien, rødder i hele filosofihistorien og betragtes som et modstykke til en korrespondanceteoretisk opfattelse af sandhed. I den tidligere version af teorien er den blevet associeret med flere filosoffer som Spinoza, Kant, Flichte og Hegel. I vor tid bliver den typisk sat i forbindelse med britiske filosoffer fra første halvdel af det 20. århundrede som F. H. Bradley og P. B. Blanshard (Young 2008). 59

62 største mængde udsagn, der på et givet tidspunkt er enighed om er sande (Young 2008: 10). Eller den største mængde udsagn, som afgøres af et flertal af mennesker, som med deres afgrænsede kognitive færdigheder formår at betragte sandhed på denne vis: people like us have reached some limit of inquiry (Young 2008: 2, 10). Kohærensteorien er kun i stand til at henvise til størrelsen af sandhedssystemet, og ikke, hvad der (objektivt) skal til for at gøre den overensstemmende, idet dette ville være det samme som at påstå eksistensen af en fysisk verden (Young 2008: 5). Kohærensteorien argumenterer for sin sandhedsteori med, at vi aldrig kan vide, om det fysiske korresponderer med virkeligheden, men vi er derimod i stand til at nå til indsigt i, hvorvidt en overbevisning er i overensstemmelse med andre overbevisninger (Young 2008: 3). Det samlede system af sandheder betragtes således, at systemet i sig selv ikke udtrykker en objektiv sandhed, idet kohærensteorien grundlæggende hævder, at der ikke findes nogen garanti for, at det samlede system netop udtrykker en objektiv sandhed (Ibid.). Pragmatismens sandhedsteori Pragmatismens sandhedsteori 17 er fra sin klassiske periode udsprunget af et ønske om at overkomme et dilemma, der opstår på tværs af henholdsvis korrespondance- og kohærensteorien. Dilemmaet består i, at pragmatismen opfatter de to nævnte sandhedsteorier sådan, at de præsenterer et ultimatum om et enten-eller; enten et fokus på, at sandhed er forbundet med menneskets egne erkendelser (kohærensteorien), eller det modsatte: at sandhed findes i erkendelsen af en fysisk virkelighed i sin egen form (korrespondanceteorien) (Hookway 2010: 2). Pragmatismen ønsker at opløse dilemmaet ved på den ene side modsat korrespondanceteorien ikke at anskue fysiske entiteter sådan, at de i sig selv udtrykker den endelige sandhed. I modsætning til kohærensteorien opfatter pragmatismen på den anden side ikke menneskets egne erkendelser sådan, at de er fuldstændig selvbestaltet (Hookway 2010: 17). Med pragmatismens sandhedsteori er 17 Set i forhold til korrespondance- og kohærensteorien om sandhed er pragmatismens sandhedsteori forholdsvis ung med dannelse af teoriens klassiske fundament omkring Henholdsvis Charles Sanders Peirce, William James samt John Dewey bliver ofte fremhævet som traditionens klassiske tænkere. I 1970 erne oplevede pragmatismen en genkomst med bl.a. Richard Rorty, Hilary Putnam og Robert Brandom, der repræsenterer teoriens mere moderne udgave (Hookway 2010: 1). Med det foreliggende afsnit om pragmatismens sandhedsteori er det overvejende Peirce og James, der præsenterer principperne i teorien. 60

63 løsningen, at der knyttes et erfaringsbegreb til menneskets perception af virkeligheden. Mennesket erkender ikke fysiske entiteter i deres rene form, derimod erkendes genstanden med et indhold; i form af fx viden om genstandens begreber og dens anvendelsesmuligheder. Mennesket erkender nogle erfaringer (experiences), der består af strukturer, knyttet til genstanden. De erfaringer, der er knyttet til genstandens indhold, er skabt af menneskets bevidsthed. Det, som løfter dem til noget andet end menneskets egne forestillinger om genstanden, er givet ved, at menneskets tanker formes på baggrund af den praktiske anvendelse af selvsamme genstand. Den rolle genstande får, når vi bruger dem, bestemmer m.a.o. dens væsen (Hookway 2010: 15-17). Bestemmelsen opfattes ikke-statisk, men de ændres, såfremt genstanden opnår nye betydninger i praksissammenhænge (Hookway 2010: 11-14). Sandhed er, ifølge pragmatismen, forbundet med den rolle, en genstand får i praktiske sammenhænge. Mere konkret handler det om, at et fænomen tilskrives dets betydning i forhold til fx hvorledes mennesket finder frem til konkret at håndtere det (what we do with it) eller i forhold til, hvilken forståelse mennesket tillægger det (how we interpret it). Disse praktiske tolkninger er bestemt af menneskets ønsker og erfaringer med fænomenet (our desires and background knowledge), der igen er stærkt knyttet til fænomenets praktiske karakter (Hookway 2010). Eftersom genstandssiden giver mening i forhold til dens praktiske betydning, betragter pragmatismen menneskets tro og overbevisning.. and other mental states som et udtryk for menneskets vaner (habits) (Hookway 2010: 5-8), der er skabt på baggrund af menneskets praksis. Menneskets erkendelser er således stærkt knyttet til fænomeners praktiske betydning (og dermed deres genstand), hvorfor pragmatismen mener, at videnskaben går galt, hvis den som udgangspunkt betvivler menneskers erkendelser (Hookway 2010: 17). Eftersom sandhed først viser sig i forbindelse med et fænomens praktiske betydning, anskuer pragmatismen videnskabelige teorier og hypoteser således, at disse på ingen måder kan opfattes sådan, at de er i stand til at udtrykke eller oversætte virkeligheden. Videnskabelige teorier betragtes derimod som et muligt brugbart instrument, der kan facilitere og øge forståelsen af praksis (Hookway 2010: 17). Mens det hos pragmatismen er fænomenets rolle i praktiske sammenhænge, er det med kohærensteorien menneskets fortolkninger af et fænomen, som er forudsætninger for sandhed. Modsat korrespondanceteorien hævder pragmatismen ikke at være i stand til at gengive den fysiske virkelighed. Derimod anskuer den i højere grad forskningsresultater som 61

64 afhængig af menneskers erkendelser, mind-depended (Christensen 2002: 39; Hookway 2010: 8). SANDHED HVORDAN? Pragmatismen mener, at en afklaring af virkeligheden (sandhed) kan ske gennem eksplicitering af aspekter af menneskets praksis, hvor menneskets implicitte vaner og dispositioner, som tidligere nævnt, spiller en rolle. En central del af pragmatismens sandhedsteori er et pragmatisk maksime, der er en metode til at identificere praktiske konsekvenser. Maksimet menes at kunne afklare hypoteser, teorier eller indholdet af begreber (Hookway 2010: 5). Det er centralt for pragmatismen, at de praktiske konsekvenser, der fremsættes med maksimet, bliver foretaget på baggrund af en observation af, hvorledes fænomenet præsenterer sig i praksis. Peirce beskriver i sin bog How to make our Ideas Clear (1878) den videnskabelige fremgangsmåde, hvor der med maksimet først skal gives en præliminær redegørelse for en hypotese, for dernæst at observere, om denne redegørelse er i overensstemmelse (begrundet) med, hvorledes fænomenet optræder i virkeligheden: to observe that the object represented in is the real (Peirce 1878). Pierce fremhæver eksperimentelle forsøg som forskningsmæssig strategi, der med maksimet kan afklare begreber, teorier og hypoteser. Peirces antagelse er, at hvis en hypotese ikke er sand, så viser det sig ved, at man med eksperimentet ikke er i stand til at udlede nogle af de pragmatiske konsekvenser, som man med maksimet indledningsvist havde forudset (Ibid.). SANDHED NYTTE VS. KONSENSUS Pragmatismen forbindes med to typer sandhedsteorier, der begge må forstås sådan, at der indledningsvist fremsættes (sande) påstande på baggrund af en udøvelse af pragmatismens maksime og den eksperimentelle afprøvning. Derefter er det spørgsmålet, hvad der med pragmatismen, der så at sige afgør, at noget er sandt. Den ene type sandhedsteori benævnes konsensusteorien om sandhed og er fremholdt af bl.a. Pierce (Lübcke 1983: 382; Christensen 2002: 38). Med konsensusteorien hævdes en påstand at være sand, såfremt den i tråd med kohærensteorien - har den største tilslutning hertil. Peirce understreger betydningen af, at mange forskellige mennesker (different minds) med forskellige forskningsmetodiske tilgange er enige om samme (sande) påstand. Det er såvel menneskets pragmatiske forståelse som 62

65 tilgang til genstanden samt den eksperimentelle undersøgelse, der med Peirce hævdes at tvinge (force) flertallet i den samme retning (Hookway 2010: 9). I den anden betydning af pragmatismens sandhedsteori, der er fremført af bl.a. filosof og psykolog William James, afgøres sandheden ved sin nytteværdi (goodness of belief). Det angår i hvilken udstrækning noget bidrager til glæde og tilfredsstillelse value for concrete life (Hookway 2010:10). I forhold til Peirce ønsker James at forstå sandhed således, at sandhed kan være mere pluralistisk og være sand i betydning af, at noget giver mening for den enkelte (Hookway 2010: 8). I den forbindelse er det ikke en enighed blandt et flertal, der bestemmer sandhed, men mere den konkrete nytteværdi af en påstand, der dog skal kunne vurderes sand sammenlignet med nytteværdien i andre påstande. I den sammenhæng er en påstand først sand, når den ikke er i konflikt med andre påstande, der (evt. på længere sigt) kan forhindre afgørende fordele (vital benefits). Troen på julemanden er derfor ikke nødvendigvis sand, fordi julemanden betragtes at bidrage til umiddelbar glæde (Hookway 2010: 10). Opsamling I dette kapitel er forskellige teorier præsenteret om, hvordan forskningen kan lykkes med at udlede begrundede hypoteser om verden. Korrespondanceteorien er knyttet til en opfattelse af, at der eksisterer en virkelighed uden for menneskets bevidsthed, som mennesket er i stand til at erkende. Med korrespondanceteorien er sandhed derfor forbundet med, at forskningen skal nærme sig en gengivelse af en virkelighed, der er uafhængig af menneskets erkendelse. Kohærensteorien er knyttet til en opfattelse af, at virkeligheden ikke kan erkendes i sin rene form, men er overladt til menneskets erkendelser. Derfor knytter kohærensteorien sandhed til et spørgsmål om overbevisninger, hvor sandhed afgøres i forhold til sin relation til en større overensstemmende helhed af andre overbevisninger. Pragmatismens sandhedsteori ønsker at bygge bro mellem korrespondance- og kohærensteorien ved, på den ene side, at hævde modsat korrespondanceteorien - at mennesket ikke kan erkende fysisk entiteter i sin rene form. På den anden side knyttes et erfaringsbegreb til erkendelsen, således at menneskets erkendelser ikke er overladt til som det er tilfældet i kohærensteorien menneskets fortolkninger af verden. For pragmatismen er sandhed forbundet med den rolle, 63

66 en genstand får i praktiske sammenhænge, der endeligt kan verificeres som i kohærensteori i et fællesskab. Sammen med afhandlingens kapitel 1 om forskningsfunktioner vil sandhedsteorierne fungere som et analytisk udgangspunkt for at forstå afhandlingens tre materialer om de opfattelser, som udtrykkes i introduktionsbøger og artikler om den kvalitative forskning (kapitel 3), opfattelser fra producenter af systematiske reviews om den kvalitative forskning (kapitel 4) og endelig i analysen af de 19 systematiske reviews (kapitel 6). Sandhedsteorierne vil i den sammenhæng fungere som et udgangspunkt for at forstå nogle forskelle og prioriteringer i opfattelserne på tværs af materialerne, fx materialernes forskellige opfattelser af, hvad kausalitet består i, og hvordan kausale sammenhænge identificeres forskningsmæssigt. Prioriteringer af bestemte forskningsdesigns såsom fx RCTdesigns kan ligeledes knyttes til disse teorier. Det samme gælder for prioritering af aggregative og interpretative syntesetilgange, som metoder brugt i forbindelse med syntetisering af primærforskningen i systematiske reviews. Disse kan ligeledes forstås - som det bliver gjort i denne afhandling - i lyset af forskellige teorier om, hvordan forskningen når til begrundede hypoteser om det, den undersøger. 64

67 Kapitel 3: Introduktionsbøger om kvalitativ forskning Kapitel 3 har fokus på at få perspektiver frem om kvalitativ forskning, som de fremtræder i et udvalg af introduktionsartikler og - bøger om kvalitativ forskning. Tolkning af det pågældende materiale tager udgangspunkt i teorier om henholdsvis forskningsfunktioner og teorier om sandhed fra de to foregående kapitler. Det er formålet med kapitlet endeligt at knytte introduktionsartiklerne og - bøgerne til nogle opfattelser af, herunder begrundelser for, hvilke forskningsfunktioner og metodologier om inddragelse, den kvalitative forskning kan tænkes ind i, når kvalitativ primærforskning skal bearbejdes og indgå i systematiske reviews. Helt grundlæggende skal der med dette kapitel besvares, hvorledes introduktionsartikler og - bøger om kvalitativ forskning måtte mene, at den kvalitative forskning kan indgå og bruges i systematiske reviews. Forinden analysen skal de udvalgte introduktionsartikler og - bøger præsenteres og begrundes. Metodisk grundlag for analysen Afhandlingens fokus på at udlede perspektiver om kvalitativ forskning fra introduktionsartikler og - bøger om den kvalitative forskning, skal ses i lyset af, at det er vurderet, at dette materiale i én eller anden udstrækning formidler forståelsen af den kvalitative forskning, som en flerhed af kvalitative forskere måtte kunne tilslutte sig. På den måde er det vurderet, at afhandlingen får mulighed for at få perspektiver frem om den kvalitative forskning, som den måtte blive forstået inden for sit eget felt. Som nævnt har udvikling af systematiske reviews en længere tradition for at forholde sig til kvantitativ forskning. Det er vurderet, at introduktionsartikler og - bøger om kvalitativ forskning som analytisk materiale kan bidrage til at skubbe en udvikling i gang med fokus på den kvalitative forskning i systematiske reviews. I forhold til at få perspektiver frem om den kvalitative forskning har i alt syv artikler og bøger fået betydning: - Kvalitativ metode En innføring med fokus på fenomenologi, etnografi og kasusstudier (2005) af May Britt Postholm. 65

68 - An Introduction to Qualitative Research (2006) af Uwe Flick. - Udvalgte artikler fra The Sage Handbook of Qualitative Research (2005) af Norman K. Denzin, Yvonna S. Lincoln og Egon G. Guba (2005). - De sociologiske metoders epistemologi (2006) af Ole Bjerg. - Kvalitativ metod och vitenskapsteori (1994) af Bengt Starrin & Per-Gunnar Svensson. - Qualitative Research Studying how things work (2010) af Robert E. Stake. - Research Methods in Education (2008) af Louis Cohen, Lawrence Manion og Keith Morrison. Ovenstående artikler og bøger indskriver den kvalitative forskning ud fra en bred vifte af fagtraditioner. For eksempel er Postholm (2005) uddannet antropolog, mens skildringerne af Flick (2006) samt Denzin & Lincoln (2005) kan betragtes som en konsekvens af deres respektive psykologiske og sociologiske forforståelser om den kvalitative forskning. Bjerg (2006) trækker fortrinsvis på filosofien i sine bestræbelser på at bestemme den kvalitative forskning. Materialets bredde kan anskues som værende relevant i forhold til at bestemme den kvalitative forskning, som den måtte gøre sig gældende i uddannelsesforskningen, idet uddannelsesforskning typisk forstås som en mere ny fagtradition, der trækker på ældre fagtraditioner som fx psykologi, sociologi og filosofi 18. Yderligere har - som vi skal se senere - flere af de pågældende forfattere beskæftiget sig med kvalitativ forskning i relation til at undersøge forskellige uddannelsesrelaterede problemstilinger. Med afhandlingen er det forsøgt at få perspektiver frem om den kvalitative forskning, som den måtte gøre sig gældende inden for uddannelsesforskningen. Ved udpegning af litteraturen til bestemmelserne af den kvalitative forskning har visse prioriteringer gjort sig gældende. Der er lagt vægt på, at enkelte introduktionsbøger er genudgivet ad flere omgange, dersom dette kunne udtrykke en bred accept af, hvordan det pågældende materiale fremstiller den kvalitative forskning. Grundbogen af Denzin & Lincoln 18 Forståelsen af, at uddannelsesforskning er repræsenteret gennem en flerhed af andre fagtradtioner er fx tydelig i RUCs præsentation af institut for Psykologi og Uddannelsesvidenskab : d4b4d3f323).html 66

69 (2005) er tredje udgave, mens grundbogen af Flick (2006) også er tredje udgave. Introduktionsbogen af Cohen, Manion et al. (2007) er sjette udgave. Frem for introduktionsbøger, der alene bestemmer den kvalitative forskning, kunne bestemmelserne have taget udgangspunkt i introduktionsbøger om henholdsvis kvalitativ og kvantitativ forskning, dvs. om litteraturen, der beskriver såkaldte mixedmethod. Materialet ville være nærliggende, da afhandlingens empiri består af systematiske reviews, der både inkluderer kvalitativ og kvantitativ primærforskning. Introduktionsbøger om mixed-method er imidlertid valgt fra, idet der med afhandlingen har været en opmærksomhed rettet mod, at opfattelser af og bestemmelser om den kvalitative forskning kan antages at ændre karakter, såfremt den tager udgangspunkt i, hvordan kvalitativ og kvantitativ forskning kan supplere hinanden forskningsmæssigt (se fx Denzin & Lincoln 2005:9). Det er dermed vurderet, at det i introduktionsbøger til kvalitativ forskning ville kunne udeledes en anden forståelse som en flerhed af (udlukkende) kvalitative forskere kunne tilslutte sig. Det er denne forståelse af den kvalitative forskning, der med afhandlingen søges trukket frem i forhold til at udvikle en teori om funktionen for og inddragelse af kvalitativ primærforskning i systematiske reviews. Med et fokus på perspektiver om den kvalitative forskning fra de nævnte introduktionsbøger er der lagt vægt på analyser af materialets introducerende kapitler, der typisk udgør de indledende kapitler eller det første kapitel - i bøgerne. I de nævnte kapitler skriver forfatterne introducerende om, hvad de mener, den kvalitative forskning består i, hvad der er dens karakteristika, hvad den gennem tiden er blevet brugt til m.m. Det er denne vinkel, det er valgt at få frem om den kvalitative forskning. Vinklen er ikke nødvendigvis overensstemmende med bestemmelser, der måtte være knyttet til den kvalitative forskning, som den kunne tage sig ud i forbindelse med en analyse af fx faktiske metoder og designs til rådighed og anvendt inden for den kvalitative forskning eller den faktiske og konkrete forskningsmæssige udøvelse af kvalitativ forskning. Det er vanskeligt at afgøre, hvad der måtte ligge til grund for karakteristikken i introduktionsbøgerne af den kvalitative forskning, som den kommer til udtryk i de pågældende introducerende kapitler. De fleste introducerende kapitler synes på den ene side at have til hensigt efter forfatternes mening - at bidrage med et bredt blik på den kvalitative forsknings muligheder, idet de diskuterer den i forhold til forskellige paradigmer, der er, har været og stadig er relevante for forståelsen af den kvalitative forskning (se Denzin & Lincoln 2005; Postholm 2005; Flick 2006; Cohen, 67

70 Manion et al. 2007). På den anden side må det pågældende materiale anskues at karakterisere den kvalitative forskning, der favoriserer, hvorledes den måtte gør sig gældende inden for de pågældende forfatteres fagområder. Under analysen af materialet er der derfor lagt vægt på kort at karakterisere enkelte af forfatterne i forhold til det faglige miljø, forfatterne selv påpeger, er udgangspunktet for deres forståelse af den kvalitative forskning. Med præsentationen af analysen er der lagt vægt på variationer i materialet. Analysen præsenteres derfor med fokus på variationer om den kvalitative forsknings med vægt på introduktionskapitlerne af henholdsvis Starrin (1994), Denzin og Lincoln (2005) og Stake (2010). Analyse af den kvalitative forskning DEN KVALITATIVE FORSKNING IFØLGE STARRIN Forfatterne til bogen Kvalitativ metod och vetenskapsteori (1994) fortæller, at deres udlægning af den kvalitative forskning skal betragtes som et resultat af en række erfaringer, forskellige svenske forskere har gjort i deres arbejde med kvalitativ forskning. Forfatterne fortæller endvidere, at deres afdækning spænder over den kvalitative forskning, som den har gjort sig gældende inden for en bred vifte af fagområder som pædagogik, psykologi og sociologi (Starrin 1994:6). Forfatternes udlægning gengives i det følgende med udgangspunkt i bogens første kapitel: Om distinktionen kvalitativ-kvantitativ i social forskning af Bengt Starrin (1994). Starrin mener, at den kvalitative forskning er forbundet med, at den beskæftiger sig med det kvalitative betydningsindhold i fænomener: Att undersöka beskaffenheten hos ett fenomen bör därför, som jag ser det, vara fokus för den kvalitativa analysen (Starrin 1994:21). Den kvalitative forskning identificerer ukendte eller ikke-tilfredsstillende kendte begreber, fænomener og egenskaber (Starrin 1994:21). Starrin fortæller, at alle empiriske fænomener er kvalitative, og det er netop, efter hans mening, den kvalitative forsknings målsætning at godtgøre for fænomeners indledningsvise beskaffenhed og sammensætning (Starrin 1994:21). I forhold til at afdække fænomeners betydningsindhold fortæller Starrin, at den kvalitative forskning har fokus på at afklare spørgsmål som: hvad indebærer dette? Hvad kendetegner denne hændelse eller dette fænomen? Herigennem vil den kvalitative forskning være i stand til at afdække fænomenets variationer, strukturer og processer; att nå en 68

71 djupare förståelse av de underliggande processerna och mekanismerna för socialt liv som t ex gruppers liv (Starrin 1994:24). Starrin fortæller om den kvalitative analytiske proces, at den er indholdssøgende (innebördssökande anlys) og godtgør for et fænomens indre relationer (invändigt relationer). Delene, som (forskeren) identificerer i den kvalitative analyseproces, er internt relaterede, der tilsammen danner en ny fremvoksende helhedsforståelse af fænomenet. Det samlede hele af de enkelte dele præsenterer noget nyt, som de enkelte dele alene ikke besidder (Starrin 1994:26). Starrins beskrivelser af den kvalitative forsknings funktion synes at være overensstemmende med Diltheys og Habermas indskrivning af henholdsvis åndsvidenskaben og de historisk-hermeneutiske videnskabers forstående vidensproduktion. Med Dilthey afklarer åndsvidenskaben fænomeners indre sande strukturer gennem forskerens højere forståelse for genstandsfeltet. Med Habermas er de historisk-hermeneutiske videnskaber ensbetydende med tolkning af de betydninger og meninger, menneskeheden tillægger sine omgivelser. Videre mener Starrin, at den kvantitative forskning modsat den kvalitative forskning - har til opgave at fokusere på fænomeners ydre relationer (utvändiga relationer), hvilket forstås sådan, at den kvantitative forskning skal afklare spørgsmål om sammenhæng mellem fænomener/variable og fordeling/frekvensberegninger af fænomener: Målsättningen med en kvalitativ analys är att identifier ännu okända eller otillfredsställande kända företeelser, egenskaper och innebörder Målsättningen med en kvantitativ analys är att a) undersöka hvu på förhand definierade företeelser, egenskaper och innebörder fördelar sig b) att undersöka om det förligger något samband mellan två eller flera företeelser, egenskaper eller innbörder och om dessa eventuelt kan leda till slutsatser om kausala relationer (Starrin 1994: 22) Starrins perspektiver om forskellige forskningsfunktioner for henholdsvis kvalitativ og kvantitativ forskning kan forstås som en fortsættelse af Habermas og Diltheys sondring mellem naturvidenskaben og åndsvidenskaben/de historisk-hermeneutiske videnskaber. Starrin nævner, at den kvalitative forsknings opdagelse af fænomeners indre relationer kan være udgangspunktet for og må utsätteas för en mer rigorös prövning just genom en kvantitativ analys (Starrin 1994:28). Hermed anlægger Starrin for det første et eksplorativt 69

72 syn på den kvalitative forsknings rolle, der er i tråd med den tidligere Dilthey om indre forklaringer samt Habermas forestillinger om, at lovmæssige sammenhænge forudsætter en bestemmelse af fænomeners begyndelses- og betydningsniveau. For det næste skriver Starrin med det pågældende citat den kvalitative forskning frem således, at den ikke har en funktion i forhold til at afklare sammenhænge mellem fænomener/variable. Dette kunne forklares med, at Starrin - ligesom Dilthey og Habermas er optaget af regularitetsteoriens forståelse om sammenhæng mellem fænomener/variable. Starrins udlægning af den kvalitative forsknings rolle står dermed i kontrast til kompleksitetsteoriernes langt mere dynamiske og komplekse tilgang til, hvorledes sammenhænge kausalt identificeres mellem variable. Kompleksitetsteorierne må forstås sådan, at de argumenterer for, at en afklaring af kausalitet lige såvel bør anskues som et anliggende knyttet til undersøgelser af fænomeners indre relationer og ikke de ydre relationer. Starrin fortæller, at fundet af en ydre relation kan bestå i, at (den kvantitative forskning) finder frem til fx, at der er sammenhæng mellem sundhed og beskæftigelse. Andelen af personer i beskæftigelse synes m.a.o. at have en bedre sundhed sammenlignet med andelen af personer uden beskæftigelse. Starrin nævner, at det som kan vise sig at være en ydre relation (korrelation) mellem fænomener på ét niveau (beskæftigelse og sundhed), kan fremtræde som en indre relation på et andet niveau. Starrin mener, at en videre analyse kunne vise, at sammenhæng mellem beskæftigelse og sundhed er det omvendte i et andet samfund, således at andelen af personer uden beskæftigelse (i et andet samfund) pludselig viser sig at have en bedre sundhed. Starrin fortæller, at denne type forskning kræver en ny analyse, hvor det handler om at få svar på, hvorfor det falder forskelligt ud for de to typer samfund. Starrin mener, at den pågældende analyse angår fænomeners indre relationer, der påkalder kvalitativ forskning. Starrin fortæller, at under den pågældende kvalitative analyse handler det om at tolke, hvad det er for sammenhænge i de to typer samfund, der meningsfuldt gør forskellen (Starrin 1994:27). Starrin er i ovenstående inde omkring en for afhandlingen ny forskningsfunktion, som han tilkender den kvalitative forskning, der i afhandlingen vil blive betegnet som en procesafklarende funktion. Kompleksitetsteorierne vil mene, at det netop er disse kvalitative analyser, der mere præcist afklarer kausalitet. Som vi har set, knytter Starrin i overensstemmelse med de klassiske teorier udelukkende kausale strukturer til et spørgsmål om fænomeners ydre relationer. Kvalitativ forskning som procesafklarende 70

73 henviser til, at den kvalitative forskning tildeles en rolle, hvori den afdækker processer og mekanismer, dog ikke i betydning af årsager. Den kvalitative forskning opfattes i den sammenhæng som værende i stand til at afklare med yderligere variable, hvorfor to regularitet (to ydre fænomener) er/ikke er kausalt forbundne. Den kvalitative forskning som procesafklarende er en ny kategori til listen af roller. Kategorien er imidlertid overensstemmende med det syn på den kvalitative forskning, at den skal afdække betydninger, menneskeheden tildeler et genstandsfelt. I dette tilfælde består undersøgelsen i at afdække betydninger om sundhed og beskæftigelse i to forskellige samfund. DEN KVALITATIVE FORSKNING IFØLGE DENZIN & LINCOLN Norman K. Denzin er professor i sociologi ved Illinois universitet, og Yvonna S. Lincoln er professor i pædagogik ved Texas Universitet. De er redaktører på bogen og forfattere til flere af kapitlerne i det omfattende værk af en introduktionsbog om kvalitativ forskning: The Sage Handbook of Qualitative Research (2005). Derudover er de forfattere til bogens introducerende kapitel Introduction The Discipline and Practice of Qualitative Research, som foreliggende analyse tager udgangspunkt i. Forfatterne fortæller, at for hver ny genudgivelse af værket er det ambitionen at spænde over eksisterende og nye metoder, teorier og paradigmer i den kvalitative forskning. Introduktionsbogen bliver flittigt citeret af andre forfattere til introduktionsbøger/artikler om kvalitativ forskning (se fx: Postholm 2005; Flick 2006; Maxwell 2012). Denzin og Lincoln påpeger, at deres skildring er fokuseret omkring udviklingen af den kvalitative forskning, som den har gjort sig gældende i Nordamerika (Denzin & Lincoln 2005:2-3). Denzin & Lincoln fortæller i bogen, at den kvalitative forskning fra ca tallet og frem til i dag har gjort sig gældende gennem flere forskellige paradigmer, der hver udtrykker forskellige forforståelser af, hvad sand viden består i, herunder hvordan den kvalitative forskning endeligt skal indhente sit genstandsfelt (metodologi). Denzin & Lincoln taler om, at både positivisme, postpositivisme, kritisk teori, konstruktivisme og forskeren som deltagende observatør (participatory) er relevante og tilsammen præsenterer en mangfoldighed - i forhold til at forstå den kvalitative forskning (se også Guba & Lincoln 2005). I modsætning til Starrin, der i sin udlægning af den kvalitative forskning skelner skarpt mellem kvalitativ og kvantitativ forskning, mener Denzin og Lincoln, at kvalitativ forskning skal forstås i forhold til, at der både indgår kvalitative og kvantitative metoder: Kvalitative 71

74 forskere har gennem tiden både anvendt semiotik, narrative analyser, diskursanalyser, men også statistik, tabeller og grafer: No specific method or practice can be priviledged over any other (Denzin & Lincoln 2005:7). Forfatterne begrunder det mangfoldige udbud af multiple metoder inden for kvalitativ forskning med, at den skal sikre en fortsat dyb forståelse (indepth understanding) for menneskets individualiserede og pluraliserede livsverden (Denzin & Lincoln 2005:7). I overensstemmelse hermed taler Flick (2006) om, at de kvalitative metoder er karakteriseret ved at være fleksible om genstandsfeltet, som undersøges. I den forbindelse påpeger Flick, at de mange metoder til rådighed inden for den kvalitative forskning ikke må være determinerende om genstandsfeltet. Derfor findes der mange metoder, fordi den skal følge med et foranderligt genstandsfelt (Flick 2006:15). Denzin og Lincoln mener alligevel til trods for de forskellige paradigmer, teorier og mange metoder at være i stand til at karakterisere nogle gennemgående perspektiver for den kvalitative forskning. Forfatterne mener, at selvom kvalitative forskere inden for en postpositivistisk tradition har anvendt statistiske målinger og metoder og har lokaliseret en større gruppe af en population, har de dog sjældent rapporteret deres forskningsresultater med udgangspunkt i komplekse statistiske redskaber som regressions- og lineære analyser (Denzin & Lincoln 2005:11). Yderligere fortæller forfatterne, at selvom kvalitativ forskning betyder mange ting for mange mennesker - qualitative reseach is many things to many people (Denzin & Lincoln 2005:10) - forstår den sig, som at den udgør en skarp kritik af (kvalitative og kvantitative) forskningstilgange inden for det postpositivistiske forskningsparadigme (Denzin & Lincoln 2005:10). I forhold til at definere den kvalitative forskning på tværs af paradigmer og metoder mener Denzin & Lincoln, at den kvalitative forskning make the world visible ved at benytte fortolkende tilgange (interpretive approach). Den kvalitative forskning har fokus på genstandsfeltets socialt konstruerede virkelighed (Denzin & Lincoln 2005:12), men også på, hvordan forskningssituationen og forskningsmetoderne er med til at skabe undersøgelsen (Denzin & Lincoln 2005:4). I den forbindelse taler Denzin og Lincoln om, at den kvalitative forskning er kendetegnet ved forskerens situerede aktivitet (situated activity) i felten (Denzin & Lincoln 2005:3). I forhold til at forstå, hvad der menes her, taler forfatterne om at betragte den kvalitative forskning i en krystalliseringsproces. Krystaller er prismer, der reflekterer såvel det ude-frakommende (externalities) som fraktioner i selve krystallen. I krystallen er der støbt forskellige farver, mønstre og former, der peger i forskellige retninger. Forfatterne fortæller, at den kvalitative forsker beskriver det samme ud 72

75 fra forskellige vinkler, men der er ikke nogen korrekt fortælling. Hver fortælling er knyttet til det lys udefra, der rammer krystallen. Det, som krystallen sender tilbage, udgør m.a.o. en del af det lys, forskeren indledningsvist har betragtet krystallen i: Each telling, like light hitting a crystal, reflects a different perspective on this incident (Denzin & Lincoln 2005:6). Resultatet af den kvalitative forskning er a series of representations (Denzin & Lincoln 2005:3). Denzin og Lincoln fortæller om den kvalitative forskningsproces, at den kan sammenlignes med at lave film og montager. Forfatterne kalder den kvalitative forsker for en bricoleur. Den kvalitative forsker producerer en bricolage, der er enkelte dele sat sammen til et hele. Dette hele er en konstruktion under udvikling (emergent construction), der ændrer sig afhængigt af metoder og forskerens teoretiske tilgange i forhold til at forstå genstandsfeltet (Denzin & Lincoln 2005:4) I sammenligning med Diltheys perspektiver angående åndsvidenskabens opgave med at indfange genstandsfeltets levede liv bliver vi med Denzin og Lincoln præsenteret for et langt mere komplekst møde mellem forskeren og genstandsfeltet; hvor feltets oplevelser i én eller anden udstrækning er afhængige af forskerens perspektiver (se også Postholm 2005). Denzin & Lincoln fortæller, at for hver af de historiske epoker har den kvalitative forskning været influeret af egne politiske håb og ideologier samt fundet forskningsresultater, der har bekræftet forskerens indledende teorier og overbevisninger (Denzin & Lincoln 2005:14). Til sammenligning med Starrin, samt især Diltheys udlægning af åndsvidenskaben, er Denzin og Lincoln, med deres præsentation af kvalitativ forskning, langt mere fokuserede på at fremstille den kvalitative forskning således, at genstandsfeltets meninger og betydning, det levede liv, præsenteres gennem en teoretiseret forskerposition. Hermed menes, at forskeren som person og fagperson har stor betydning for, hvilke resultater der udledes fra et genstandsfelt. Mødet mellem forskeren og genstandsfeltet er også et emne, der optager forfatterne til de øvrige introduktionsbøger/artikler. Bjerg (2006) argumenterer for et inddragelsesrationale som karakteristisk for den kvalitative forskning modsat et udskillelsesrationale for den kvantitative forskning. Bjerg (2006) mener, at kvaliteten i en kvalitativ undersøgelse er afhængig af, om der er sørget for inddragelse af såvel feltet som forskeren, idet kvalitativ forskning, ifølge Bjerg, handler om at bruge de ressourcer, der er til stede i forskningssituationen. Bjerg taler om, at det er subjektiviteten, der er en integreret del af det videnskabelige arbejde. Bjerg mener, at feltet inddrages i forhold til, at det er 73

76 informantens subjektivt oplevede livsverden, som undersøges (Bjerg 2006:23), og forskeren inddrages i den forstand, at forskeren under indsamling og analyse af datamaterialet er en aktiv medspiller i forståelsen heraf (Bjerg 2006:24). Både Flick (2006) og (Stake 2010) er tillige optaget af at præsentere den kvalitative forskning ved at betragte forskerens personlige tolkninger i genstandsfeltet som væsentlige elementer i tolkningen af og forståelsen for genstandsfeltet: the researcher and of those being studied becomes part of the research process Researchers reflections on their actions and observations in the field, their impressions, irritations, feelings and so on, becomes data in their own right, forming part of the interpretation and are documented in research diaries or context protocols (Flick 2006:16). For qualitative research the research him- or herself is an instrument, observing action and contexts, often intentionally playing a subjective role in the study, using his or her own personal experience in making interpretations (Stake 2010:20) Postholm (2005) udtrykker det på en lidt anden måde. Hun taler om som Denzin og Lincoln, Bjerg og Flick at forskning altid er teoretiseret, men at det for den kvalitative forskning handler om at fremlægge - så vidt muligt det teoretiske blik. Postholm fastholder, at teorier fungerer som analytiske redskaber til at begribe, åbne og bidrage til en højere forståelse for genstandsfeltet: Teorier blir på den måten den kvalitative forskerens redskap for forske på og dermed forstå praksis i sin sosical, historiske og kulturelle kontekst (Postholm 2005: 32). Postholm mener, at den kvalitative forskningsproces skal forstås som værende i en konstant interaktion mellem teori, som bliver studeret, og data, som bliver indsamlet og analyseret. I interaktionen mellem teori og data bliver usynlige hverdagslivet bli synliggjort (Postholm 2005:32). Derudover er Postholm (2005) - ligesom de fleste øvrige forfattere til introduktionsbøgerne - optaget af, hvordan forskeren selv er bærer af en række individuelt konstruerede teorier, der har betydning for det blik, genstandsfeltet betragtes med. 74

77 Samspillet (eller konflikten) mellem at fastholde teoriernes tilstedeværelse og samtidig sikre en fremstilling af genstandsfeltets levede liv mener Postholm (2005) forløser sig ved, at teorierne i den kvalitative forskningsproces tilbyder udgangspunktet, retningen og redskaber til forståelse og fortolkning i feltet, mens genstandsfeltet i sig selv leverer indholdet. Selv om aktivitetssystemet gir retning for forskerblikket og hvilket material som skal samles inn, er det likevel forskningsstedet som gir innhold til de ulike faktorerene i aktivitetssystemet. Forskningen er på den måten induktiv (Postholm 2005: 32). I lyset af ovenstående synes Postholm at indskrive teorier og brug af teorier i et mere praktisk og for forskningens forstående proces - nyttigt lys. Postholms udlægning må imidlertid betragtes som stående i kontrast til Diltheys idéer om en ikke-teoretiseret (ikke-abstrakt) og uformel tilgang til at få det levede liv frem i forskningen. I den forbindelse taler Bjerg om, at den kvalitative forskning i dag er kendetegnet ved go with the flow og inddrager de ting i forskningsprocessen, der alligevel ikke kan udskilles (Bjerg 2006:23). DEN KVALITATIV E FORSK NING SO M IKK E-EKSPLORATIV Med Starrin har vi set, hvordan han samler al forskning, såvel kvalitativ som kvantitativ, i forhold til, at den samlet set beskæftiger sig med fænomener på forskellige måder. Denzin og Lincoln samler tillige al forskning under ét i forhold til, at den, efter deres mening, er forbundet med fortolkende tilgange: All research is interpretiv (Denzin & Lincoln 2005:22). Med dette mener de, at al forskning, herunder såvel den kvalitative som den kvantitative, skal betragtes som værende styret af forskerens overbevisninger, teorier og tanker om verden (Ibid.). Denzin og Lincoln mener ikke, at den kvalitative forskning kan anskues som havende en eksplorativ forskningsfunktion i den forstand, at den kvantitative forskning herigennem som fx med Starrin tildeles en bekræftende rolle i forhold til endeligt at bevise en (i betydningen objektivt sand) kausalitet mellem to fænomener. The mixed-methods movement takes qualitative methods out of their natural home It divides inquiry into dichotomous categories: exploration versus confirmation (Denzin & Lincoln 2005: 9). 75

78 En måde at forklare perspektivet på, som kommer til udtryk i ovenstående citat, er at Denzin og Lincoln ikke blot indskriver den kvalitative forskning, men al forskning, til et spørgsmål om at betragte hypoteser i forskningssammenhænge knyttet til menneskers erkendelser (jf. forrige kapitel). For Denzin og Lincoln bør ingen forskning betragtes sådan, at den er ensbetydende med en udredning af og endelig korrespondance med noget, der er subjekt-uafhængigt objektivt sandt (jf. korrespondanceteorien). Derfor er det for Denzin og Lincoln meningsløst at tale om, at kvalitativ forskning kan karakteriseres som eksplorativ i betydning af før-bevist til kvantitativ forskning. Dette syn på forskning står i modsætning til Starrin, der til sammenligning med Denzin og Lincoln i højere grad forstås at tilkende forskning (den kvantitative forskning) mulighed for at korrespondere med en objektivt fysisk substans. Denzin og Lincoln taler om, at den kvalitative forskning fremhæver det værdiladede i forskningen: emphasize the value-laden nature of inquiry (Denzin & Lincoln 2005:12). Den kvalitative forskning har fokus på at forstå, hvordan erfaringer bliver skabt og giver mening, og den har gennem historien vist, at dens mission er at analysere og forstå sociale processer i samfundet. Dette mener forfatterne står i kontrast til den kvantitative forskning, der påstår en værdifri forskning, og som derudover er kendetegnet ved at måle og analysere kausale relationer mellem variable, ikke processer som den kvalitative forskning (Denzin & Lincoln 2005:10). Lignende karakteristik af den kvalitative (og kvantitative) forskning kan desuden ses i Postholm og Flicks udlægning, hvor den kvalitative forskning på intet tidspunkt diskuteres i forhold til at være i stand til at udlede kausalitet. En lignende sondring genfindes i Habermas og Diltheys forståelse af naturvidenskaben og åndsvidenskabens rolle i forskningen. Kompleksitetsteorierne kan i den sammenhæng hævdes at argumentere for, at den interpretative, værdiladede, kvalitative forskning sagtens kan spille sammen med undersøgelser om kausalitet. Forstået på den måde, at fokus på genstandsfeltet og (forskerens) meninger og betydninger måtte kunne afklare kausale processer. En måde at forstå Denzin og Lincolns perspektiver - samt øvrige i afsnittet nævnte forfattere - om kvalitativ forskning på er, at de indskriver forskningen i en kohærensteoretisk forståelse af sandhed. Hypoteser betragtes som noget, der er knyttet til mennesket og menneskehedens tildeling af betydninger i verden. Fysiske intiteter opfattes ikke at kunne erkendes i absolut form, hvorfor begrundede hypoteser om verden knyttes til menneskets 76

79 overbevisninger og tolkninger af verden. Dette syn på begrundede hypoteser i forskningsmæssige sammenhænge er i det ovenstående kommet til udtryk bl.a. i forhold til at betragte den kvalitative forskning i en krystalliseringsproces, hvor hver ny forsker med sine individuelle teorier og metoder opfattes at indfange noget nyt (og begrundet) om genstandsfeltet, som undersøges. Det er også kommet frem med Bjerg, der knytter den kvalitative forskning til et inddragelsesrationale, hvor forskeren og genstandsfeltets fortolkningsressourcer bliver en integreret del af det videnskabelige arbejde. Yderligere er det kommet til udtryk i Denzin og Lincolns diskussioner om sondringerne mellem kvalitativ og kvantitativ forskning. En måde at forstå Denzin og Lincolns sondring på er, at kvalitativ forskning først kan bestemmes som (rigtig) kvalitativ forskning, såfremt genstandsfeltet i forskningsundersøgelser betragtes subjekt-afhængigt. DEN KVALITATIVE FORSKNING IFØLGE STAKE Robert E. Stake er professor emeritus ved Illinois universitet i USA. Stake fortæller, at hans udlægning af den kvalitative forskning i bogen: Qualitative Reseach Studying how things work (2010), skal betragtes som en konsekvens af hans mange års erfaringer med udvikling af evalueringsprogrammer på uddannelsesområdet. Stake fortæller, at hans forskning har været domineret af kvalitativ forskning gennem case-studier (Stake 2010). Stake indleder sin afdækning af den kvalitative forskning med nogle overordnede betragtninger om, at al forskning, såvel kvalitativ som kvantitativ, handler om at undersøge, hvordan ting virker: studying how things work. I den forbindelse mener Stake, at den kvalitative forskning har en selvstændig måde at undersøge, hvordan ting virker. Stake anvender både begrebet forståelse (understanding) og fortolkning (interpretation) og mener, at fortolkning i dag fungerer som den gængse betegnelse for, hvorledes den kvalitative forskning undersøger, hvordan ting virker: But perhaps the most distinctive feature of qualitative reseach is that it is interpretive, a struggle with meanings (Stake 2010:36). Stake fortæller, at begrebet verstehen af William Dilthey er et centralt begreb for den kvalitative forsker: The German word for personal understanding, verstehen, may come to be one of the most important words for you as a qualitative researcher (Stake 2010:48). Stake fortæller, at kvalitativ forskning handler om at gå i dybden med ét fænomen. 77

80 Much qualitative research aims at understanding one playground, one band, one Weight Watchers group. Or one phenomenon, such as the relationship among siblings as to clothing choices (Stake 2010:27). Stake (2010) mener, som Dilthey, at den kvalitative forskning har fokus på menneskets værdier, følelsesliv, refleksion og oplevelser (feelings, thoughts and happenings) (Stake 2010:40): qualitative research gives emphasis to human values and experiences (Stake 2010:36-37). Stake skriver, at den kvalitative forskning er orienteret mod det personlige: Qualitative research is special in its personalistic orientation (Stake 2010:40), og at den kvalitative forskning opnår et nært og intimt indtryk af genstandsfeltet (look at things closely, becoming sensivtive) (Ibid.). Stake beskriver, hvordan den kvalitative forskning skal forstås som kontekstafhængig: På den ene side har den kvalitative forskning fokus på den individuelle viden (individuel knowledge), hvilket betyder, at den kvalitative forskning præsenterer viden om én ting, på ét bestemt tidspunkt og på ét bestemt sted - knyttet til, hvordan ting virker (Stake 2010). På den anden side fortæller Stake (2010), at betegnelsen fortolkning om den kvalitative forskning henviser til, at forskningens fundament er forskeren såvel som deltagernes egne defineringer og redefineringer af meninger og betydninger: Qualitative research draws heavily on interpreting by researchers and also on interpreting by the people they study and by the readers of the research reports (Stake 2010:37). For Stake (2010) henviser betegnelsen fortolkning om den kvalitative forskning til, at det er det observerede, det sete, det fortolkede, der er fundamentet i den kvalitative forsknings bestræbelser på at forstå, hvordan ting virker: what humans think and feel as to how things work (Stake 2010:48). Gennem det fortolkede mener Stake (2010), at den kvalitative forskning lykkes med at indfange noget virkeligt. Dette synspunkt om den kvalitative forskning synes at stå i kontrast til Denzin og Lincolns betragtninger, der vælger at fremstille den kvalitative forskning således, at dens forskningsresultater karakteriseres som en serie af repræsentationer. In qualitative research we write about what actually happened, not about fiction, but we write also about what people say they experience. There is more than a pinch of fiction in what people say. And in what we research writers say as well (Stake 2010:48). 78

81 Stakes (2010) fremstilling af den kvalitative forskning er på flere måder enslydende med kompleksitetsteoriernes, idet han knytter menneskets (forskerens og deltagernes) tillagte betydninger og erfaringer til et spørgsmål om at forklare, hvordan ting virker. Ligesom kompleksitetsteorierne knytter Stake (2010) dermed mening i forhold til at være i stand til at forklare menneskets adfærd og handling. Dette ses med ovenstående citat, hvor mening og adfærd knyttes til de tillagte meninger og betydninger, tingene får i forhold til, hvordan tingene fungerer for os. Stake (2010) nævner, at den kvalitative forskning typisk bruger begreber som influences, inhibits, facilitates, and even causes om kausalitet (Stake 2010:23). Stake mener, at det er afgrænset, lokal og partikulær kausalitet, som den kvalitative forskning lykkes med at afdække (Ibid.). Stake (2010) taler om, at den kvalitative forskning forholder sig fortolkende til konteksten og situationen i en undersøgelse. I den sammenhæng omskriver Stake verstehen fra Diltheys filosofi og knytter det til en eksperimentel forståelse for kontekst og handling: Verstehen is an experiential understanding of action and context (Stake 2010:48). Stake (2010) taler om, at konteksten og situationen ikke udgør det centrale i forskningen, men de er vigtige elementer til at forstå det pågældende genstandsfelt. Der findes adskillige kontekster, og for at forstå genstandsfeltet må forskeren forstå det med udgangspunkt i disse kontekster, fx familiens kontekst, skolens kontekst, religionens kontekst. Kvalitativ forskning bruger kræfter på at forstå disse kontekster, der med Stake (2010) betragtes som en central del af at forklare, hvordan ting virker. For Stake (2010) handler den kvalitative forskning om at udlede erfaringer og oplevelser: Qualitative researchers reach many (perhaps most) of their interpretations through experimential understanding. Forskeren knytter oplevelser i forhold til, hvordan ting virker. Det vil sige, at den kvalitative forsker udleder, hvordan ting virker i forhold til, hvordan deltagerne oplever, at det virker: Experimental reseachers seek multiple realities, the different meanings that different people give to how things work (Stake 2010:63). En måde at forstå Stake på er, at han til sammenligning med de øvrige introduktionsbøger - er indbegrebet af pragmatismens sandhedsforståelse i sin udlægning af den kvalitative forskning. Med pragmatismen har vi set, at viden om verden opfattes at udspille sig i praktiske sammenhænge, idet strukturer fra genstanden erkendes gennem menneskets praktiske erfaringer og omgang med genstanden. Stake knytter den kvalitative forskning til et spørgsmål om eksperimentelt at undersøge, hvordan ting virker. Med pragmatismen har vi set, at sandhed om verden skal findes i de praktiske konsekvenser, der 79

82 kan udledes på baggrund af en observation af, hvordan fænomenet udspiller sig i praksis. Således kan forskningsresultater fra den kvalitative forskning med Stake ikke karakteriseres blot som repræsentationer (jf. Denzin og Lincoln), idet de opfattes med langt større substans fra virkeligheden, der udspilles. KVALITATIV FORSKNING OG FORSKNINGSDESIGN I dette kapitel præsenteres forskellige udlægninger af den kvalitative forskning. Det er tidligere nævnt, at forfatternes udlægning må betragtes i lyset af de forskellige opfattelser og erfaringer, forfatterne har gjort med den kvalitative forskning. Grundlaget for præsentationerne kan fx skyldes forfatternes individuelle erfaringer med betemte typer af forskningsdesigns, knyttet til den kvalitative forskning. Det vil sige forskellige måder kvalitativt at tilgå sit genstandsfelt på og indhente data; different styles, kinds of, and approaches to, research, separating them from metods instruments for data collection (Cohen, Manion et al. 2007:165). Der tænkes særligt på betydning og erfaringerne med anvendelse af forskellige forskningsdesigns, set i relation til forskellen i præsentationen, som den er givet med henholdsvis Stake samt Denzin og Lincoln. Cohen, Manion et al. (2007) fremstiller den kvalitative forskning således, at den udmærker sig ved fire overordnede typer af forskningsdesigns, hhv. case-studier og aktionsforskning samt det naturalistiske og etnografiske design og historiske dokumentanalyser. Case-studier har fokus på et deltagerperspektiv, dvs. vilkår for deltagerne om, hvordan det er at være i en bestemt situation: to catch the close up reality and thick descriptions of participants lived experiences (Cohen, Manion et al. 2007: 254). Der er fokus på enkeltstående cases eller fænomener in its real-life context, og designet fremhæves for at bruge kontekstens betydning til afklaring af årsager og virkning: powerful determinant of both causes and effects (Cohen, Manion et al. 2007: 253). Ligeledes med aktionsforskning, der defineres som a small-scale intervention of the real world and a close examination of the effects of such an intervention (Cohen, Manion et al. 2007: 297). Aktionsforskning forstås dog som havende et forandrings- og et forbedringsperspektiv for deltagerne i forskningen, idet aktionsforskningen har fokus på praktiske emner, identificeret af deltagerne. Emnerne opfattes som problematiske, men samtidig vurderes problematikkerne at være i stand til at blive ændret: self-reflective enquiry by participants (Cohen, Manion et al. 2007: 298). 80

83 Som vi har set, indsætter Stake den kvalitative forskning således, at den vedrører en eksperimenterende tilgang til sit genstandsfelt. Denzin og Lincoln mener i den sammenhæng, at det eksperimenterende om den kvalitative forskning skal ses i lyset af en udpræget moderne diskurs med brug af begreber som eksperimenter om den kvalitative forskning (Denzin & Lincoln 2005:20). Ifølge Denzin og Lincoln behøver der således ikke at være tale om, at Stake taler ud fra én bestemt type kvalitativ forskning og Denzin og Lincoln ud fra en anden. Cohen, Manion et al. (2007) mener imidlertid, at kompleksitetsteoriernes forståelse af kausalitet har medført øget brug af og popularitet blandt særlige typer af designs som case-studier, aktionsforskning og andre former for deltagende forskning. Maxwell (2004) mener dog, at al kvalitativ forskning bør betragtes som beskæftigende sig med kausale fremstillinger, og at det blot er et spørgsmål om, at den kvalitative forskning anderkender sig selv for det samme (Maxwell 2004; Maxwell 2012). Selvom Cohen, Manion m.fl. forholder sig til forskellige opfattelser af kausalitet, relevant for forståelsen af den kvalitative forskning, fremstiller de alligevel dog uden yderligere diskussioner eller begrundelser herfor at der findes kvalitativ forskning, der ikke er i stand til at afklare årsager og virkning (se fx Cohen, Manion et al. 2007:33), mens der samtidig findes kvalitativ forskning, der kan/gør (se Cohen, Manion et al. 2007:33-34). Stakes udlægning af den kvalitative forskning kunne i den forbindelse forstås som værende knyttet til en fremstilling af (udelukkende) (hans egne erfaringer med) case-studier og/eller aktionsforskning. Omvendt med Denzin og Lincoln, hvis fremstilling måske snarere skal ses i lyset af en præsentation af naturalistiske og etnografiske designs samt historiske dokumentanalyser. Historiske dokumentanalyser har fokus på at udlede nye forståelser af fortiden, som gøres relevante i nutiden og i fremtiden. Det betyder, at designet fx kan bruges til at forstå, hvorfor pædagogiske teorier og praksisser opstår, og bidrage til udvikling af nye (Cohen, Manion et al. 2007: 192). Gennem historiske dokumentanalyser tages der ikke afsæt i direkte observationer eller ekperimenter, men derimod i rekonstruktioner og kritiske analyser af data. Det etnografiske design (naturalistic and ethnographic research) fremstilles således, at det med dette design ikke er opgaven at udlede årsag og virkning: it is impossible to distinguish causes from effects (Cohen, Manion et al. 2007: 167). Det etnografiske design forstås at have til formål at udvikle teorier om et genstandsfelt, dog ikke med fokus på at forudsige, men på udelukkende beskrivelser om feltet: The intention of the research is to create as vivid a reconstruction as possible of the culture of groups being studied (Cohen, 81

84 Manion et al. 2007: 168). Det er sigtet at få deltagernes perspektiver frem, men det er yderligere opgaven at kunne fremlægge og afsløre disse meninger anskuet i en større sammenhæng (uncovering meanings) (Ibid). Med et etnografiske design er det bestræbelserne, at der forholdes til samtlige relevante fænomener for undersøgelsen - ikke kun fragmenter (Cohen, Manion et al. 2007:167). I sammenligning med fx det etnografiske forskningsdesign og historiske dokumentanalyser kan case-studier forstås således, at der ikke er samme krav om, at forskeren forholder sig til (alle) relevante historiske og kulturelle fænomener til forståelsen af genstandsfeltet. Case studies the logically weakest method of knowing but also studying individual cases, careers and communities is a thing of the past, and that attention should be focused on patterns and laws in historical reseach (Cohen, Manion et al. 2007: 257). Case-studier og aktionsforskning kunne i sammenligning med naturalistiske og etnografiske designs samt historiske dokumentanalyser - forstås sådan, at de udgør mere afgrænsede designs. Det er spørgsmålet, om netop det afgrænsede bevirker, at disse i højere grad lykkes med at afklare - herunder lykkes med at være i stand til at udskille - årsager og virkning. Omvendt kunne bestræbelserne om den fulde og totale forståelse i etnografiske designs og historiske dokumentanalyser måske betyde, at udskilningen er mere vanskelig. Kvalitativ forskning i systematiske reviews Nedenstående figur skal betragtes som et teoretisk bud på, hvorledes den kvalitative forskning - i lyset af de perspektiver om kvalitativ forskning, der er kommet frem i dette kapitel skulle indgå i synteseprocessen i udvikling af systematiske reviews. 82

85 Figur: 3.1. Den kvalitative forskning om dens funktion og inddragelse i systematiske reviews. I ovenstående figur 3.1 skal X-aksen forstås som, at den angår inddragelse af data, enten som overvejende aggregative, integrative og interpretative, mens y-aksen er forskningsfunktioner, som henholdsvis forklaringer/effekt og forståelse/fortolkning. Forskningsfunktioner som henholdsvis forklarende/effekt og forstående/fortolkning har i afhandlingen været genstand for flere perspektiver og nuancer. I ovenstående figur vedrører det forstående/fortolkende det forhold, at den kvalitative forskning opfattes som undersøgende kvaliteten i et fænomen, mens forklaringer/effekt angår opfattelsen, at den kvalitative forskning anskues som værende i stand til at afklare sammenhænge mellem fænomener, dvs., at den her tænkes ind i en effekt-afklarende forskningsfunktion (jf. kapitel 1). Stake (2010) og kompleksitetsteorierne ville i den forbindelse mene, at forståelse/fortolkning og forklaring/effekt er det samme. I ovenstående figur er funktionerne 83

86 imidlertid adskilte for dermed at rumme en flerhed af opfattelser om denne forskningsfunktion for den kvalitative forskning. Figuren viser, at inddragelse af den kvalitative forskning i systematiske reviews ifølge introduktionsartikler og bøger om den kvalitative forskning skulle foregå interpretativt, hvilket er markeret med firkanter i figuren. Figuren illustrerer en teori om, at hvad enten forskningsfunktionen er forklaring eller forståelse, må inddragelse af den kvalitative forskning foregå interpretativt, dvs. tolkende. Ovenstående figur udtrykker dermed en teori om, at den kvalitative forskning uafhængig af sin forskningsfunktion betragter sit genstandsfelt interpretativt. Det interpretative kommer særligt til udtryk i beskrivelserne af Denzin og Lincoln samt i Stake og henviser til, at den kvalitative forskning anskuer sit genstandsfelt i den sammenhæng (kontekst), den er tilknyttet, dvs. at fænomener og begreber har en historie, hvis betydning er knyttet til selvsamme mening i fænomenet og begreber. Dette perspektiv kommer fx til udtryk i præsentationen af Denzin og Lincoln i deres betragtninger af, at grundlaget for forskningen - fx metoder og forskerens teoretiske tilgange anskues stærkt knyttet til selvsamme resultatet i forskningen. Ligeledes med Stake i hans aftegninger af genstandsfeltet og sitationens betydning. En måde at forstå det interpretative perspektiv i den kvalitative forskning på er i afhandlingen givet med sandhedsteorierne. Hypoteser om verden anskues subjektafhængigt, hvilket betyder, at perspektiver i primærforskningen ikke er tilstrækkelige som i sig selv, dvs, som afsluttede data. Primærforskning opfattes derimod som værende behæftet med betydninger og derfor skal inddragelse af primærforskningen i systematiske reviews foregå gennem en tolkningsproces, der i tråd med kohærensteorien og pragmatismens sandhedsteori danner en ny fremvoksende helhedsforståelse af primærforskningen. Med de interpretative tilgange bliver primærforskningen betragtet som, at den indeholder en række betydninger, der bevirker, at ved inddragelsesniveau 1, 2 og 3 må undersøgelsesfænomener behandles som uafsluttede (jf. figur 1), dvs., at data må forholdes til og skal betragtes i de betydninger og den kontekst, som primærforskningen bliver eller er blevet tildelt. Ved inddragelse af primærforskning i systematiske reviews må data således anskues kontekstafhængigt, både når data behandles enkeltvis (inddragelsesniveau 1), og når de indgår på tværs af de indsamlede data (inddragelsesniveau 2). Det interpretative ved inddragelsesniveu 3 angår reviewspørgsmålet, der som nævnt i indledningen skal bestå i en fremvoksende teori. Med udgangspunkt i en interpretativ tilgang til udvikling af systematiske 84

87 reviews må forskeren til de systematiske reviews tillige betragtes i lyset af de dispositioner, han eller hun har i forhold til at bearbejde syntesen af primærforskningen. Opsamling Formålet med dette kapitel er at knytte nogle opfattelser om den kvalitative forskning i introduktionsbøger og artikler, der kunne tages med over i udvikling af systematiske reviews. Perspektiverne om den kvalitative forskning skal betragtes som værende knyttet til dets grundlag, hvorfor der i kapitlet diskuteres det udvalgte materiale, der anvendes til at udlede perspektiver om den kvalitative forskning. Centrale artikler i introduktionsbøger om kvalitativ forskning er vurderet at formidle en forståelse af den kvalitative forskning, som en flerhed af kvalitative forskere kunne tænkes at tilslutte sig. Sådanne artikler er derfor grundlaget i afhandlingen med henblik på at få perspektiver frem om den kvalitative forskning. Endvidere er introduktionsbøgerne udvalgt for deres relevans i relation til at skulle bestemme perspektiver om den kvalitative forskning på uddannelsesområdet. I kapitlet præsenteres perspektiver om den kvalitative forskning gennem tre præsentationer: Starrin (1994), Denzin & Lincoln (2005) og Stake (2010). Analysen af artiklerne tager afsæt i det blik på forskning, som er skabt i afhandlingens kapitel 1 og 2 om forskningsfunktioner for den kvalitative forskning og sandhedsteorier. På baggrund af analysen udledes kvalitative perspektiver om den interpretative tolkende tilgang til inddragelse af primærforskningen i udvikling af systematiske reviews. Med denne tilgang opretholdes et kontekstafhængigt blik på forskning, der på tværs af præsentationerne synes central for forståelsen af den kvalitative forskning. I kapitlet diskuteres artiklernes perspektiver om funktioner for den kvalitative forskning, hvoraf især Stake (2010) i tråd med kompleksitetsteoriernes teori om kausale relationer indskriver den kvalitative forskning i en effekt-afklarende forskningsfunktion. I den forbindelse diskuteres det, hvilken betydning det har, at opfattelser af funktionen for den kvalitative forskning er knyttet til forfatternes erfaringer med bestemte typer af kvalitative forskningsdesigns, hvoraf fx Stakes udlægning knyttes til case-studier og aktionsforskning. Starrin (1994) bidrager til en - for afhandlingen ny funktion for den kvalitative forskning, en såkaldt proces-afklarende forskningsfunktion, hvor den kvalitative forskning tildeles en rolle, hvori den afdækker processer og mekaniser, men ikke i betydning af årsager som i 85

88 kompleksitetsteorierne og Stakes (2010) betragtninger af den kvalitative forskning. Gennemgående præsenterer forfatteren såvel enslydende og divergerende opfattelser af den kvalitative forsknings funktion, men det er særlig det interpretative forhold til genstandsfeltet, som kommer frem på tværs i analyserne. Det interpretative angår det forhold, at genstandsfeltet betragtes kontekstafhængigt, dvs. ud fra de betydninger, data tildeles. I afhandlingens næste kapitel er det tillige bestræbelserne at nå frem til en konklusion om, hvorledes kvalitativ forskning kan/bør indgå i udvikling af systematiske reviews. Konklusionen tager afsæt i materialer, forfattet af litteraturen om kvalitative evidenssynteser, hvoraf det skal udledes, hvorledes producenter af systematiske reviews måtte placere ligeledes i et koordinatsystem om inddragelse og forskningsfunktioner - den kvalitative forskning i systematiske reviews. Senere i afhandlingen analyseres 19 systematiske reviews for, hvordan der konkret indgår kvalitativ forskning. De perspektiver om den kvalitative forskning, der er kommet til udtryk i dette kapitel, vil senere i afhandlingen blive inddraget i diskussionen af analyserne af disse øvrige materialer. Det bliver her interssant at finde frem til i hvilken udtrækning perspektiverne fra introduktionsbøger og artikler om den kvalitative forsknings funktion og inddragelse i systematiske reviews, kan genfindes i de 19 systematiske reviews. 86

89 Kapitel 4: Reviewproducenter om kvalitativ forskning Kapitel 4 har fokus på at få perspektiver frem om den kvalitative forskning, som det kommer til udtryk i en række materialer, der ligger til grund for producenter af systematiske reviews. Analysen tager udgangspunkt i det blik på forskningsfunktioner og teorier om sandhed, der i afhandlingen er blevet skabt i kapitel 1 og 2. Formålet med kapitlet er, som i det forrige, at udvikle en teori på baggrund af en opfattelse af den kvalitative forskning, udtrykt af producenter af systematiske reviews - om forskningsfunktioner for og inddragelse af den kvalitative forskning i systematiske reviews. Helt grundlæggende skal det med dette kapitel besvares, hvorledes producenter af systematiske reviews opfatter, at den kvalitative forskning kan indgå i og bruges i systematiske reviews. Forinden analysen skal det udvalgte materiale i analysen indledningsvist præsenteres og begrundes. Metodisk grundlag for analysen Forskning, der angår spørgsmålet om inddragelse af kvalitativ forskning i systematiske reviews, betegnes i dag undertiden som kvalitative evidenssynteser (qualitative evidence synthesis) (Hannes & Lockwood 2012). Den dateres typisk tilbage til 80 erne med udvikling af meta-etnografi af Noblit & Hare (1988). Siden slut-90 erne har forskningen specifikt søgt at tildele den kvalitative forskning en plads inden for udvikling af systematiske reviews, som de produceres i Cochrane Collaboration og Campbell Collaboration, idet forskningen er blevet båret frem af to metodeudviklingsgrupper inden for henholdsvis Cochrane Collaboration og Campbell Collaboration (Dixon-Woods & Fitzpatrick 2001; Sandelowski & Barroso 2007). Op gennem nullerne menes forskningen at være inspireret af udviklingen inden for mixedmethod (Paterson 2012: 4). Metodegrupperne omfatter henholdsvis Cochrane Qualitative Research Methods Group, etableret 1998, samt Campbell Process Implementation Methods Group, der menes at være etableret i 2001 (Dixon-Woods & Fitzpatrick 2001). Metodegrupperne fungerer som rådgivende organer om anvendelse af kvalitativ forskning i reviews, produceret af henholdsvis Cochrane Collaboration og Campbell Collaboration. Forskningen om kvalitative evidenssynteser forbindes yderligere med andre skoler, der har 87

90 samme interesse, fx udvikling af metastudy (Paterson, Thorne et al. 2001) og udvikling af kvalitative meta-synteser (Sandelowski, Docherty et al. 1997; Sandelowski & Barroso ) Med henblik på at indfange forskningsperspektiverne inden for udvikling af kvalitative evidenssynteser er der med afhandlingen overvejende taget udgangspunkt i anvisninger om inddragelse af kvalitativ forskning, som det fremgår af Cochrane handbook om systematiske reviews af henholdsvis J. Noyes, J. Popay, A. Pearson, K. Hannes og A. Booth i Higgins & Green (2008: ). Kapitlet om kvalitativ forskning er forfattet af den omtalte kvalitative metodegruppe i Cochrane Collaboration. Kapitlet må betragtes som en slags direktiv om, hvordan kvalitativ forskning kan/skal inddrages, såfremt et systematisk review kan godkendes som et Cochrane-review. Det pågældende kapitel udtrykker samtidig nogle forståelser af, hvad den kvalitative forskning er i forhold til at udfylde nogle forskningsfunktioner i et systematisk review. Det er disse forståelser, som det er sigtet at få frem i analysen. I forhold til at underbygge håndbogens perspektiver om den kvalitative forskning, bliver den i analysen uddybet med perspektiver fra litteratur, publiceret af de pågældende medlemmer, herunder antologien Synthesizing Qualitative Research af bl.a. K. Hannes og A. Pearson (Hannes & Lockwood 2012) og Synthesizing Qualitative and Quantitative Health Evidence af bl.a. J. Popey (Pope, Mays et al. 2007). Håndbogen bliver endvidere underbygget af perspektiver fra Systematic Synthesis of Qualitative Research af Saini & Shlonsky (2012) fra den kvalitative metodegruppe i Campbell Collaboration. Derudover indgår yderligere perspektiver fra henholdsvis Systematic reviews in the Social Sciences A Practical Guide af Petticrew & Roberts (2006) samt artiklen Mixed methods synthesis: a worked example af bl.a. Angela Harden og James Thomas fra Eppi-Centre (Kavanagh, Campbell et al. 2012). Særligt de sidste to nævnte materialer kunne betragtes som litteratur, hvoraf diskussioner om kvalitative evidenssynteser er funderet i erfaringer fra og diskussioner om systematiske reviews på uddannelsesområdet. Dette, fordi forfatterne har tilknytning til udvikling af systematiske reviews på uddannelsesområdet. Med ovenstående vinkel for en undersøgelse af producenters forståelse af kvalitativ forskning er der således lagt vægt på perspektiver, som de udtrykkes i Cochrane handbook. Disse perspektiver søges, som nævnt, uddybet med den øvrige litteratur på feltet. Denne vinkel i analysen er vurderet relevant, fordi Cochrane Collaboration har fungeret som væsentlig inspirationskilde for opbygningen af andre producenter af systematiske reviews 88

91 (Bhatti, Hansen et al. 2006). Cochranes perspektiver om kvalitative evidenssynteser opfattes som havende stor betydning for, hvordan andre producenter af systematiske reviews forholder sig til den kvalitative forskning. Vinklen er yderligere vurderet relevant, idet det er hensigten med afhandlingen at få perspektiver frem om den kvalitative forskning med reference til netop producenter af systematiske reviews. Derfor indeholder analysen ikke en undersøgelse af, hvordan den nævnte øvrige litteratur om kvalitative evidenssynteser måtte forstå den kvalitative forskning anderledes, end Cochrane handbook giver anledning til. Henvisninger i afhandlingen til det foreliggende kapitels undersøgelse af, hvordan producenter af systematiske reviews mener, at den kvalitative forskning kan inddrages i udvikling af systematiske reviews, skal ses i lyset af den vinkel, som er valgt. Hermed menes der, at der med analysen er fokus på Cochrane handbook, hvorfor der må være tale om reviewproducenter i betydning af først og fremmest Cochrane Collaboration, dernæst øvrige reviewproducenter, der måtte være inspireret af Cochrane Collaboration i forhold til at inddrage kvalitativ forskning i systematiske reviews. Denne vinkel er interessant, idet afhandlingens empiri som nævnt består i en analyse af, hvordan kvalitativ forskning anvendes og indgår i faktiske systematiske reviews på uddannelsesområdet. Afhandlingen vil dermed kunne bidrage til en præcisering af, hvordan henholdsvis Eppi-Centre på uddannelsesområdet i faktiske systematiske reviews og Cochrane Collaboration på direktivniveauet på det medicinske område forholder sig (forskelligt) til anvendelse af kvalitativ forskning i systematiske reviews. Det er med et fokus på vilkår for den kvalitative forskning i faktiske systematiske reviews (og ikke kun på direktivniveau), at den foreliggende afhandling er tænkt at kunne bidrage til at gøre debatten om brugen af den kvalitative forskning i systematiske reviews mere vedkommende og præcis. Den nævnte litteratur forholder sig primært til bestemmelser om forskningsfunktioner for den kvalitative forskning, hvor den har, som vi skal se, stærke holdninger til funktionen for den kvalitative forskning i systematiske reviews. Den nævnte litteratur forholder sig også til inddragelse af primærforskning, men i lyset af, hvorledes data fra RCT-designs ideelt set opfattes at skulle indgå. Det er med udgangspunkt i disse perspektiver, at det i dette kapitel vil blive forsøgt endelig at opstille en teori om forskningsfunktioner for og inddragelse af kvalitativ forskning ud fra perspektiver fra producenter af systematiske reviews. 89

92 Forskningsfunktioner for kvalitativ forskning DEN KVALITATIVE FORSKNING DEFINERER ET EFFEKT-REVIEW I Cochrane handbook gives en (kort) definition på kvalitativ forskning. Det fremgår, at den kvalitative forskning undersøger sit genstandsfelt i sit naturlige miljø med henblik på at forstå, hvilken betydning mennesket tillægger sine omgivelser: in terms of the meanings people bring to them (Higgins & Green 2008:572). Endvidere fremgår det, at kvalitativ forskning gennemskuer (penetrate) den dybere betydning (significance), som deltagerne i undersøgelsen tilskriver emnet for en given undersøgelse. Cochranes definition synes at være overensstemmende med nogle grundantagelser om den kvalitative forskning, der findes på tværs af de udvalgte introduktionsbøgers forståelse af den kvalitative forskning. I den sammenhæng tænkes der på, hvordan den kvalitative forskning i forrige kapitel sættes i forbindelse med, at den undersøger verden ud fra de erfaringer og opfattelser, menneskeheden gør og har med den, herunder de betydninger, den tillægges. I næste omgang fremgår det af håndbogen, at den kvalitative forskning opfattes som værende ensbetydende med, at den bidrager med viden, der er central i forbindelse med udformning af nye forskningsspørgsmål (reviewspørgsmål). Denne forståelse af kvalitativ forskning forekommer væsentlig, idet den kommer til udtryk i forlængelse af forfatternes definition på kvalitativ forskning: It involves an interpretive, naturalistic approach to its subject matter and gives priority to what the data contribute to important research questions or existing information (Higgins & Green 2008:573). Det fremgår af håndbogen, at den kvalitative forskning kan have en supplerende (complement) rolle i forhold til et effekt-review (outcome-review). I den forbindelse er der tale om, at den kvalitative forskning informerer (informing) og kan hjælpe med at definere og redefinere henholdsvis intervention og outcome-mål, herunder hypotesen i et effekt-review (Higgins & Green 2008: 571). Ifølge håndbogen sikrer det, at et givet review er relevant i den forstand, at reviewet hermed inkluderer passende studier (approprite studies), der adresserer relevante virkninger (Higgins & Green 2008:574). I håndbogen nævnes konkret, at i systematiske reviews om fx sammenhænge mellem forældres tro og børns vaccinationer, vil 90

93 kvalitativ forskning være oplagt at inddrage til præcisering af forskningsspørgsmålet (Ibid.). Håndbogen underbygger ikke dette yderligere, men ud fra de foregående kapitler om kvalitativ forskning kunne forældres tro som et enkelt fænomen/en variabel forstås at kunne blive defineret og udfoldet mere klart med den kvalitative forskning i den forstand, at den måtte underbygge troens karakteristika som et fænomen; dvs., hvad den består i set i lyset af, hvad den tillægges af betydninger. Den kvalitative forskning forstås herigennem som værende behjælpelig med præcisering af variable, hvilket opfattes som betydende, at litteratursøgningen skærpes og effektiviseres samtidig med at variablene bliver mere relevante, hvilket skærper hypotesens perspektiv i et effekt-review. I den øvrige litteratur om kvalitative evidenssynteser fremgår det, at den kvalitative forskning kan anvendes forud for et effekt-review (qualitative-as-prior approach) ved at indtage en prædefinerende rolle i relation til at fastslå begrebsindholdet (prior distribution) i et effekt-review (Saini & Shlonsky 2012). Denne tilgang inden for anvendelse og syntetisering af kvalitativ forskning hævdes at være forholdsvis udbredt ved udvikling af systematiske reviews (Grandell, Voils et al. 2012: 139). Det er tanken, at den kvalitative forskning kan være behjælpelig med at definere og redefinere hypoteser om sammenhæng mellem intervention og outcome (Pope, Mays et al. 2007; Grandell, Voils et al. 2012). I litteraturen fremgår det, at kvalitativ forskning som prædefinerende betyder, at effektreviews lykkes med at blive mere relevante allowing for maximum relevance (Saini & Shlonsky 2012: 9). I litteraturen fremgår det yderligere, at den kvalitative forskning herigennem kan assistere ved valg af outcome-mål, reducere usikkerhed (Grandell, Voils et al. 2012) og sikre udvikling af valide reviewspørgsmål (Saini & Shlonsky 2012: 10), mens interventionen kan lykkes med at blive mere robust... by helping to define an intervention more precisely (Saini & Shlonsky 2012: 9). Qualitative research enables researchers to ask new questions Such questions are useful when traditional quantitative methods are inadequate for understanding the complexity of a problem (Saini & Shlonsky 2012: 13-14) Reviewproduenternes udpegning af en forskningsfunktion, der består i, at den kvalitative forskning skal bruges forud og være medbestemmende for hypotesen/reviewspørgsmål i et effekt-review, kunne høre ind under, hvad der tidligere i 91

94 afhandlingen er bestemt som en eksplorativ funktion. Både Dilthey og Habermas er inde på denne forskningsfunktion for åndsvidenskaben og de historisk-hermeneutiske videnskaber. Med Dilthey og Habermas filosofi udspringer det eksplorative fra en opfattelse af, at al viden om verden i udgangspunktet skal forstås knyttet til de meninger og betydninger, som mennesket tillægger den. De er begge inde på, hvordan dette begyndelses- og betydningsmæssige niveau for viden om verden kan bidrage til naturvidenskabens nomotetiske undersøgelser om verdens forhold. Som vi har set, tager Dilthey senere afstand fra denne betragtning, idet han mener, at den eksplorative funktion forvansker kompleksiteten og dermed også åndsvidenskabens forskningsgenstandsfelt. Den kvalitative forskning som eksplorativ er, som vi har set, også genstand for diskussion blandt introduktionsartikler og -bøger om kvalitativ forskning. Diskussioner på tværs af henholdsvis Starrin samt Denzin og Lincoln tyder på, at den kvalitative forskning som eksplorativ kan forstås i forlængelse af et korrespondanceteoretisk syn på forskning. I den forbindelse kan det eksplorative henvise til en opfattelse af, at den kvalitative forskning tilskrives en førvidenskabelig funktion, således at dens resultater opfattes som endnu ikke verificeret ud fra grundantagelser om eksistens af mulige universelt gældende kausale love. DEN KVALITATIVE FORSKNING AFKLARER IKKE VIRKNINGER AF EN INTERVENTION I Cochrane handbook fremgår det, at Cochrane-reviews overvejende har fokus på at afklare, om en intervention er effektiv, og at den kvalitative forskning ikke i alle Cochrane-reviews er hensigtsmæssig (appropriate) eller mulig at inddrage (nor possible to include) i et Cochranereview (Higgins & Green 2008:573). I håndbogen udtrykkes det, at den kvalitative forskning ikke kan bruges til at afklare interventioners effekter: Qualitative evidence is not intended to contribute to the measures of effect of interventions (Higgins & Green 2008: 572). Derimod kan den kvalitative forskning bruges til at forklare (explain), forstå (interpret) og supplere resultaterne (apply the results) i et Cochrane-review (Higgins & Green 2008). Muligheden for, at kvalitativ forskning skal afklare interventioners effekter, dvs. spørgsmål om årsag og virkning, synes på tværs af den øvrige litteratur om kvalitative evidenssynteser tillige at blive afvist i den forstand, at det ikke diskuteres (se fx Petticrew & Roberts 2006; se fx Popay, Roberts et al. 2006; Saini & Shlonsky 2012). I indledningen er det blevet nævnt, at udvikling af systematiske reviews med formation af henholdsvis Cochrane Collaboration, Campbell Collaboration og Eppi-Centre fra 92

95 90 erne og frem er blevet skabt på baggrund af nogle politiske og praktiske bestræbelser om at levere et forskningsmæssigt bevis for en given social, medicinsk og uddannelsesmæssig indsats. Udvikling af systematiske reviews bliver med disse reviewproducenter knyttet til muligheden for at effektivisere den offentlige sektor med udgangspunkt i, hvilke indsatser der i primærforskningen af interventionsstudier har vist positive effektresultater. Med Habermas er der i den sammenhæng tale om, at disse systematiske reviews forstås at levere prognostisk viden således at interventionsstudier der har påvist positive effektresultater forståes at kunne forudsige indsatsens effekt er på et andet givent tidspunkt. I sammenligning med forskningsfunktionerne i kapitel 1 er udvikling af systematiske reviews fra de pågældende producenter af systematiske reviews knyttet til et grundlag om at skulle levere forklaringer (explanation). Eftersom håndbogen afviser, at kvalitativ forskning kan inddrages med henblik på at afklare effekten af interventioner, er håndbogen i tråd med, på den ene side, Dilthey og Habermas forskningsperspektiver om at skelne mellem en forklarende og en forstående vidensproduktion i forskningen. Håndbogen er, på den anden side, i overensstemmelse med Habermas filosofi om, at indsigt i en teknisk vidensproduktion bør knyttes til anvendelse af bestemte forskningstilgange, herunder kvantitative interventionsstudier. Med henblik på at få en nærmere forståelse af sidstnævnte, skal vi i det følgende belyse forklaringsbegrebet/effektbegrebet, som Cochranes systematiske reviews - med Cochrane handbook - er indbegrebet af. Begrebet bliver belyst med udgangspunkt i det såkaldte evidenshierarki og evidenstypologi, hvori bestemte kvantitative interventionsstudier opnår forrang i levering af et bevis om effekten af en indsats. EVIDENSHI ER ARKI OG EV IDEN STY POLOGI Evidenshierarkiet (ladder of evidence eller hierarchy of evidence) er et redskab, brugt af især Cochrane Collaboration og Campbell Collaboration, mens evidenstypologien (typology of evidence) typisk sættes i forbindelse med Eppi-Centre s systematiske reviews (Bhatti, Hansen et al. 2006). Hierarkiet og typologien regnes for at have en betydelig indvirkning på forskningsresultaterne i et systematisk review og dermed handlingsanvisninger til praksis og policy, idet de får indflydelse på flere processer i udvikling af et systematisk review: Fx ved indsamling (inklusion og eksklusion af primærforskning) og prioritering (fx kvalitetsvurdering og robusthedsanalyser) af den inkluderede forskning (Pawson 2002; Boaz & Ashby 2003; Rieper & Hansen 2007). 93

96 Evidenshierarki er en rangordning af forskningsdesigns i forbindelse med interventionsstudier i relation til en opfattelse af, hvor troværdige de enkeltstående designs er til afklaring af effekten af en indsats. Det er tanken, at forskningsdesigns øverst på stigen fungerer som mest troværdige som interventionsstudier, mens de nederste regnes for mindre eller slet ikke troværdige som interventionsstudier (Pawson 2002; Boaz & Ashby 2003; Rieper & Hansen 2007). Der findes ikke en entydigt etableret konsensus omkring den eksakte rangordning, men det er et fællestræk, at alle udgaver af evidenshierarkier giver RCT-designs fortrinsstilling (Rieper & Hansen 2007: 19). Metaanalyse er en statistisk syntesemetode, som bruges til at syntetisere på tværs af forskellige studier med henblik på at udlede studiernes individuelle effektmål (effect sizes). Metaanalyser, funderet på RCT-designs, figurerer øverst i evidenshierarkiet. Kvalitativ forskning som interventionsstudie findes typisk i bunden af disse hierarkier eller er helt udeladte (Rieper & Hansen 2007; Cartwright & Efstathiou 2008 ). Nedenstående evidenshierarki er inspireret af epidemiolog David Sacketts rangorden. Sacketts rangorden er den mest udbredte inden for Cochrane-samarbejdet (Rieper & Hansen 2007: 19). Systematiske reviews af RCT (Metaanalyse) Enkeltstående RCT af god kvalitet Kontrollerede, men ikke-randomiserede forsøg Systematiske reviews af kohortestudier Enkeltstående kohortestudier. Dårlige RCT Systematiske reviews af case-kontrolstudier Enkeltstående case-kontrolstudier Case-serier eller kohortestudier eller case-kontrol af dårlig kvalitet Ekspertvurdering, konsensuskonferencer, kvalitative designs mv. Tabel 4.1: Evidenshierarki. Kilde: Rieper og Hansen (2007) 94

97 Evidenstypologien 19 er, ligesom hierarkiet, en vurdering af hensigtsmæssige forskningsdesigns. Som hierarkiet kan typologien dermed bruges som et værktøj til sortering og kvalitetsvurdering af primærforskningen i udvikling af systematiske reviews. Til forskel fra hierarkiet medregner typologien en flerhed af spørgsmål, der rækker ud over effektspørgsmål, hvorfor typologien ikke, som hierarakiet, udelukkende er en betragtning af interventionsstudier. Inddragelse af typologien som værktøj i udvikling af systematiske reviews betragtes som et resultat af, at systematiske reviews bruges til at besvare mange forskellige typer af spørgsmål, der rækker ud over effektspørgsmål (Petticrew & Roberts 2006 s. 21). 19 Alan Bryman bidrager med nogle interessante indvendinger til den efterhånden relativt udbredte og anvendte evidenstypologi ved, at han problematiserer det forhold, at der i forskningsmæssige og politiske sammenhænge findes en forøget interesse m.h.t. at forbinde forskningsspørgsmål med forskningsdesign. Bryman gør opmærksom på, at forskningspraksis er langt mere kompleks, hvor der sjældent tænkes i at forbinde metoder og designs med forskningsspørgsmål. Med Bryman bliver det spørgsmålet, hvorvidt det er rimeligt, at der kan anvendes en typologi til kvalitetsvurdering af forskning, når forskningspraksis tilsyneladende er styret af andre logikker (Bryman 2007). 95

98 Forskningsspørgsmål Kvalitativ forskning Survey Casekontrolstudier Cohortestudier RCTs Systematiske reviews 1) Effektspørgsmål: Virker interventionen? Virker interventionen bedre end en anden intervention? 2) Hvordan virker interventionen ved implementeringen? X XX XXX XX X XXX 3) Hvilken betydning har interventionen? XX XX XXX 4) Vil interventionen skade mere, end den gavner? X X X XX XXX 5) Hvordan tager brugerne imod interventionen? XX X X XXX 6) Er interventionen omkostningsrentabel? XX XXX 7) Er dette den rette intervention for de pågældende brugere? XX XX XX 8) Er brugerne tilfredse med interventionen? XX XX X X X Tabel 4.2: Evidenstypologi. Typologien skal forstås sådan, at jo flere krydser et design tildeles, desto mere hensigtsmæssig vurderes det at være i stand til at besvare det pågældende spørgsmål. Kilde: Frit oversat fra Petticrew & Roberts (2006: 60) Det fremgår af såvel typologien som hierarkiet, at den medicinske og sociale primærforskning i forbindelse med interventionsstudier vurderes mest troværdig, såfremt forskningen er opbygget ud fra et specifikt forskningsdesign, det såkaldte randomized controlled trial (RCT), der også går under betegnelsen den gyldne standard. Typologien og hierarkiet udtrykker dermed begge nogle holdninger til, at et forskningsdesign som RCT er bedre i stand til end andre interventionsstudier at bestemme kausalitet mellem en indsats og dens effekt. Senere i dette kapitel vil der blive forhold til nogle af de øvrige spørgsmål og designs i typologien. 96

99 HVAD ER ET RCT? I Cochrane handbook om systematiske reviews fremgår det, at RCT er et bestemt forskningsdesign med et fokus på at finde frem til resultater om effekten, konsekvensen eller virkningen af en medicinsk indsats. Indsatsen kaldes også for en intervention - som et udtryk for en uafhængig variabel - der traditionelt set bedst er kendt som et medicinsk præparat, der gives til en række forsøgspersoner. Effekten af interventionen benævnes typisk som outcome, dvs. den afhængige variabel. Outcome angår de variable, som RCT-designs endeligt måler på, der i sidste ende har afgørende betydning for forskningsresultaterne i et systematisk review (Higgins & Green 2008). Outcomes rapporteres i kvantitativ forstand enten som objectively (e.g. blood pressure, number of strokes) eller som; subjectively as rated by a clinician, patient, or carer (e.g. disability scales) (Higgins & Green 2008: 88). Med et RCT-design gives interventionen til (mindst) to grupper, hvoraf den ene gruppe (eller flere) modtager indsatsen, mens en anden gruppe (eller flere) modtager en placebo eller den hidtidigt tilbudte indsats. Udvælgelsen af forsøgspersoner (sequence generation) samt allokeringen til de to grupper (allocation concealment) skal være foretaget tilfældigt (Higgins & Green 2008). Det er tanken, at randomisering ved udvælgelse og allokering af forsøgs- og kontrolpersoner er hensigtsmæssige strategier med henblik på at sikre, at indsatsgruppen og kontrolgruppen så vidt mulig er ens. Randomiseringen skal sikre mod forekomsten af udvælgelsesbias (selection bias). Dernæst skal den tilfældige allokering i de to grupper forebygge, at nogle deltagere skulle besidde flere forkundskaber (forknowledge) om interventionen end andre: The starting point for an unbiased intervention study is the use of a mechanism that ensures that the same sorts of participants receive each intervention (Higgins & Green 2008: 211). Efter at forsøgspersonerne tilfældigt er udpeget og inddelt i de respektive forsøgsgrupper, skal leveringen af interventionen hemmeligholdes (blinding) 20. Det antages, at et muligt 20 Der kan være tale om enkelt- eller dobbeltblindede forsøg i betydning af, hvorvidt enten forsøgsdeltagerne eller både forsøgsdeltagerne og forsøgslederne er klar over, hvem af forsøgsdeltagerne, der modtager interventionen (Rieper and Hansen 2007: 22). 97

100 kendskab til, hvem der modtager henholdsvis placebo og intervention, kan have indvirkning på resultatet af undersøgelsen: Blinding can be especially important for assessment of subjective outcomes can also ensure that the compared groups receive a similar amount of attention, ancillary treatment and diagnostic investigations (Higgins & Green 2008: 193). I sammenligning med en flerhed af andre interventionsstudier der også figurerer i evidenshierarkiet - menes et RCT-design at være i stand til at udlede sammenhænge mellem intervention og outcome mere præcist, hvorfor et RCT-design siges at have en høj grad af intern validitet (Cartwright & Efstathiou 2008 ). Dette begrundes med, at et RCT-design i kraft af henholdsvis den tilfældige udvælgelse og allokering samt de blindede forsøg kontrollerer for såkaldte bias i en undersøgelse, der i statistisk forstand benævns som hidden variables eller confounding variables (Higgins & Green 2008). Med et RCT-design menes det deslige modsat de øvrige designs i evidenshierarkiet - at være muligt at kontrollere for bias, som forskeren ikke umiddelbart er bekendt med (Rieper & Hansen 2007). Ifølge Cochrane handbook (2008) om udvikling af systematiske reviews defineres bias som a systematic error, or deviation from the truth, og manglende kontrol af disse menes at resultere i falsk positive og falsk negative konklusioner om effekten af en given indsats (Higgins & Green 2008: 188ff). Evidenshierarkiet udtrykker en opfattelse, at RCT-designs er bedre end andre interventionsstudier til at beskytte mod bias og fejlkilder, hvilket Cartwright og Efstathiou (2008) omtaler således, at RCT-designs opfattes som clinchers, dvs. som det afgørende bevis for effekten af en indsats. Med Cartwrigth og Efstathiou (2008) skal denne opfattelse holdes op mod grundantagelsen, at RCT-designs i hierarkiet fungerer som selv-validerende (self validating). Med dette menes, at udvalget af designs i hierarkiet bliver holdt op mod (udelukkende), at de enten ikke foretager randomisering og/eller blinding. Dette grundprincip i hierarkiet udspringer af en antagelse om, at kausale strukturer identificeres i kraft af metoder, der har til hensigt at gøre indsats- og kontrolgruppen konstante. Cartwright og Efstathiou (2008) nævner en række andre designs i forbindelse med interventionsstudier, der ikke er indbefattet af dette grundprincip, der så heller ikke er præsenteret i hierarkiet. Endvidere nævner Cartwright (2007) en række andre designs, der, ligesom RCT, er i stand til 98

101 at clinch results (Cartwright 2007:11). Med dette menes, at andre designs også opfattes at ville kunne afklare effekten af en indsats, såfremt der ligesom RCTs udlukkende tages højde for effektresultatet for den pågældende subpopulation i forsøget. Cartwright (2007; 2008; 2012) skildrer et paradoks for politik og praksis i bestræbelser på at nå en afklaring af bedste indsatser gennem anvendelse af evidenshierarkiet. Cartwright skelner i den forbindelse mellem evidens i videnskabelige sammenhænge (evidence producer) vs. evidens i praktiske sammenhænge (evidence user). Evidenshierarkiet med RCT-designs som forrang kan bruges som grundlag til afklaring af effekt i betydning af indsatsens efficacy claims (og dermed for evidence producer ), dvs. effekten i betydning af indsatsens effekt for den pågældende subpopulation i en given undersøgelse. Dette angår den interne validitet, der vurderes høj for RCT-designs, mens den eksteren validitet, dvs. mulighed for undersøgelsens generaliserbarhed til andre populationer og kontekster, derimod vurderes lav. Hierarkiet vurderes her ikke at være brugbart til afklaring af indsatsens effekt i betydning af indsatsens effictiveness, dvs. for andre grupper af deltagere og under andre omstændigheder (den eksterne validitet). Således hævdes evidenshierarkiet at være ikke-afklarende om indsatsens effekt, relevant i politiske og praktiske sammenhænge, dvs. for evidence user. This is a central notion in the RCT orthodoxy, and it does not do the job that it is meant to do. It is meant to deal with the issue whether a policy that has been shown to have worked by a good study can be expected to work in a different context. (Cartwright & Hardie 2012:45) RCT-DESI GN S OG DEDUKTIVE-NO MO LO GISKE FORK LARI N GER RCT-designs forstås som et bud på at løse nogle problemstillinger, der opstår ved deduktivenomologiske forklaringer 21. Deduktive-nomologiske forklaringer består af en logisk slutning mellem årsag (1) (explanandum) og virkning (2) (explanans). Det deduktive henviser til, at årsagen kan udledes af præmisserne for virkningen, mens det nomologiske angår et krav om, at præmisserne for virkningen skal vedrøre mindst én regel/årsagssammenhæng mellem 21 De deduktive-nomologiske forklaringsmodeller bliver først og fremmest associeret med den tyske filosof Carl Gustav Hempel, dernæst med flere andre filosoffer som fx den britiske Karl Popper. 99

102 årsag og virkning (Woodward 2011: 5). Ved deduktiv-nomologiske forklaringer er der således tre led i spil, henholdsvis årsag, virkning og reglen. Deduktiv-nomologiske forklaringer kan imidlertid kun vise, at årsag og virkning hænger sammen ved at udlægge det som en forventning herom (nomic expectability). Reglen eller reglerne mellem årsag og virkning er med andre ord skjulte. De dybere strukturer, der forklarer, hvorfor årsag og virkning er sammenhængende, er implicitte, helt ukendte eller måske slet ikke eksisterende (Woodward 2011: 11). Det betyder, at deduktive-nomologiske forklaringer har vanskeligheder forbundet med at afgøre forskellen mellem tilfældige generaliseringer (korrelerede variable) og egentlige kausale love. De deduktive-nomologiske forklaringer forudsætter med andre ord eksistensen af kausale love mellem to variable, men er ikke i stand til at bevise selvsamme. Deduktive-nomologiske forklaringer hævdes at være særligt problematiske for videnskaber som fx psykologi, økonomi og biologi, hvor der tilsyneladende findes mange forskellige bud på generaliserede sammenhænge mellem årsag og virkning. Her er det ofte forventningen om, at noget hænger sammen, snarere end at der findes en mere direkte påvisning heraf (Woodward 2011: 6). Krogstrup (2011) taler om, at evidensbevægelsen inden for flere sociale områder, herunder uddannelsesområdet, er blevet initieret på baggrund af nogle politiske logikker, der angår holdninger til den eksisterende (uddannelses-) forskning (Krogstrup 2011: 131ff). I den sammenhæng kunne det tænkes, at det er opfattelsen, at forskningen (på uddannelsesområdet) overvejende har gjort sig gældende gennem deduktive-nomologiske forklaringer om sammenhænge mellem årsag og virkning. I relation til deduktivenomologiske forklaringer menes et RCT-design at kunne give et mere sikkert bud på, hvorvidt der er tale om en kausal sammenhæng mellem årsag og virkning. Denne holdning angående RCT-designs fortrinsstilling kunne tænkes tillige at gøre sig gældende i politiske sammenhænge (Krogstrup 2011: 35). RCT s styrke i forhold til deduktive-nomologiske forklaringer kan anskueliggøres ved følgende model 100

103 Figur: 4.3: Deduktive-nomologiske forklaringer og isolering af kausale strukturer via randomiserede kontrollerede forsøg (RCT) Kilde: Figuren er udviklet med inspiration fra Woodward Scientific explanations (2011) Ovenstående figur 4.3 har til hensigt at vise, hvordan deduktive-nomologiske forklaringer hævder, at årsag (Å) og virkning (V) korrelerer, hvilket formodes at skyldes implicitte eller ukendte regler som x, y eller z. Et RCT-design kan i den sammenhæng tage fat i enten x, y eller z som en (ny) årsag (intervention) og undersøge dens virkning (outcome). Fremgangsmåden er, som vi har set, at et RCT-design tilstræber at isolere variable gennem randomisering, blinding og allokering i grupper - ud fra den betragtning, at det kun er den kausale sammenhæng mellem intervention og outcome, der efterfølgende kan spores. I relation til deduktive-nomologiske forklaringer forsøger et RCT-design dermed at besvare hvorforspørgsmål mellem Å og V i deduktive-nomologiske forklaringer. Selvom RCT-designs har til hensigt i højere grad at ville afklare, hvorfor-spørgsmål i deduktive-nomologiske forklaringer mellem Å og V, efterlader et RCT-design selvsamme uafklarede spørgsmål om, hvorfor og hvorfor-ikke en indsats resulterer i den pågældende effekt. RCT-design opfattes udelukkende som bidragende med et svar på, om en bestemt intervention virker eller ikke-virker, mens den ikke er i stand til at afklare spørgsmål om, hvorfor interventionen har den pågældende effekt. Designet forudsætter endvidere, at kausalitet identificeres ved kontrafaktiske 101

104 omstændigheder, dvs. i hvis-så-hvis-tilfælde. Det kontrafaktiske består i antagelsen, at hvis kontrolgruppen havde modtaget indsatsen, så ville det resultere i pågældende effekt. Derudover består det i antagelsen, at hvis en større population modtager indsatsen, så ville det resultere i den pågældende effekt. Med designet er det endvidere ikke muligt at gå ind og kortlægge den kausale struktur, fordi variablene er gjort konstante og usynlige. De kontrafaktiske omstændigheder i designet betyder dermed, at identificering (eller mangel på samme) af kausale strukturer er overladt til spørgsmål om overbevisninger og tro på, at strukturerne gør sig gældende (Woodward 2013). RCT-designs bud på, hvordan kausale processer identificeres, står i kontrast til kompleksitetsteoriernes opfattelse af det samme: RCT-designs kan siges at forudsætte samme teoretiske syn på forklaringer, som der findes i deduktive-nomologiske forklaringer i den forstand, at forklaringer opfattes som bestående af tre led: årsag, virkning og reglen, samt at reglen er skjult. Kompleksitetsteorierne forudsætter derimod et andet syn på forklaringer; at langt flere årsager gør sig gældende i forhold til at udlede en bestemt virkning, samtidig med at reglen (den kausale struktur) opfattes som ikke-skjult, men er i stand til at blive afdækket. Mens kausalitetsopfattelsen i RCT-designs er forbundet med, at en bestemt virkning kan reduceres til en bestemt årsag, er det ifølge kompleksitetsteorierne langt mere vanskeligt at udlede de præcise årsager til en bestemt virkning. I modsætning til RCT-designs, der resulterer i uafklarede spørgsmål om, hvornår og hvorfor/hvorfor-ikke, at en indsats giver det pågældende effektresultat (jf. efficacy), er kausalitetsopfattelsen med kompleksitetsteorierne i højere grad forbundet med at afklare disse i forhold til, hvad der virker, for hvem, hvornår og i hvilke sammenhænge 22 (jf. effectiveness). KORR ESPONDAN CET EO RI Producenter af systematiske reviews, der anvender hierarkiet og typologien i sortering og kvalitetsvurdering i udvikling af systematiske reviews, mener, at RCT-designs som interventionsstudie er i stand til at påvise en troværdig sammenhæng mellem årsag og 22 I tråd med kompleksitetsteoriernes betragtning om, hvordan kausale processer kan identificeres, argumenterer Bent Flyvbjerg for, at kvalitativ forskning (case-studier) er bedre i stand til - end et RCT-design at udlede kausale processer knyttet til den konkrete case: Flyvbjerg, B. (2009). Samfundsvidenskab som virker, Akademisk Forlag. 102

105 virkning. Dette skal ses i lyset af, at RCT-designs menes at være i stand til at udlede en række vilkårligheder (i deduktive-nomologiske forklaringer), der kunne kaldes for pseudo-kausale sammenhænge mellem årsag og effekt (Dowe 2008). Med henblik på at forstå en mere grundlæggende tænkning, der måtte ligge til grund for hierarkiet og typologien - herunder opfattelsen af, hvad henholdsvis pseudo samt identificeringen af mere sande kausale sammenhænge mellem årsag og virkning ved interventionsstudier kan gives med sandhedsteorier, dvs. korrespondanceteorien om sandhed. Som vi har set, er det opfattelsen i korrespondanceteorien, at der antages at eksistere fysisk entiteter i ontologisk forstand, der eksisterer uafhængigt af menneskets erkendelser. Bestræbelserne med en korrespondanceteoretisk tilgang til forskning bliver at leverere hypoteser, der er begrundet i betydningen, at de er i overensstemmelse med den (fysiske) verden, som undersøges. Typologien og hierarkiet med RCT-designs som forrang udtrykker endvidere en opfattelse af, at den fysiske virkelighed ontologisk set består af kausale sammenhænge. Kausalitet mellem årsag og virkning opfattes som værende uafhængig af menneskets erkendelser, samtidig med at dette eksterne opfattes at kunne bidrage til afklaring af, hvad begrundede hypoteser om menneskehedens tilværelse består i. Dette syn argumenterer den britiske filosof Bertrand Russel med, at selvom verden er kompleks, så forandrer den sig ikke så hurtigt, hvorfor det er rimeligt at tale om, at menneskets udvikling er bestemt af visse kausale love (Dowe 2008: 2). Med et RCT-design som et ideal for forskningen er det bestræbelserne at identificere faktiske kausale sammenhænge fra pseudo-kausale sammenhænge i betydning af, at pseudo er mulige kontekstuelle og vilkårlige kausale sammenhænge. Opfattelsen af kausalitet som mere statisk og kontekst-uafhængigt står dermed i kontrast til kompleksitetsteoriernes mere dynamiske og kontekst-afhængige opfattelse af kausalitet. IDEAL O M GEN ER ALI SÉRB AR HED Ud over et ideal om at inkludere RCT-designs, opfattes systematiske reviews af reviewproducenter som særlig forskningsmæssigt pålidelig, da man forholder sig til en flerhed af primærforskning, hvoraf populationen alt andet lige er højere end i primærforskningen - ved afklaring af effektresultatet (fx gennem metaanalyser). Ifølge Cochrane handbook om systematiske reviews hævdes det, at der i højere grad kan fæstnes lid til systematiske reviews end til primærforskningen: 103

106 By combining information from all relevant studies, meta-analyses can provide more precise estimates of the effects of health care than those derived from the individual studies included within a review (Higgins & Green 2008: 6) I tråd med korrespondanceteorien om sandhed må det være tanken her - i lighed med prioriteringen af RCT-designs - at generalisérbarhed i numerisk forstand bidrager til at fjerne flere mulige pseudo-kausale sammenhænge. Det er antagelsen, at der findes kausale sammenhænge, der kan tage form som mere universelt gældende (Woodward 2011: 9). Idealet om det numerisk generelle antages på bedste vis at fjerne nogle flere (ukendte og kendte) kontekstuelle (subjekt-afhængige) forhold, der kan ligge til grund for resultater i enkeltstående primærforskning, hvilket fx kan være forskerens favorisering af særlige statistiske metoder, undersøgelsesgrupper eller lignende. Inden for udvikling af systematiske reviews i Cochrane Collaboration er det tillige praksis, at systematiske reviews løbende skal opdateres i forhold til eventuel ny primærforskning på området. I relation til korrespondanceteorien om sandhed kan dette forstås således, at en opdatering af forskning er mere af det samme i betydning af, at ny og mere forskning bidrager til at gøre genstandsfeltet, som undersøges, uafhængigt af vilkårlige kontekstuelle faktorer og dermed mere i overensstemmelse med at finde frem til mulige universelt gældende, objektive kausale love. Reviewproducenteres teori om mulighed for generaliserbarhed af interventionsstudier gennem metaanalyser/systematiske reviews skal læses som værende en anden teori end den føromtalte, der er fremsat af Cathwright og Hardie (2012) med deres sondring mellem begreberne effectiveness og efficacy. KVALITATIV FORSKNING ANGÅR IMPLEMENTERINGSFORHOLD I Cochrane handbook fremgår det, at den kvalitative forskning først for nylig er blevet anerkendt for at indgå i systematiske reviews: qualitative evidence to the assessment of interventions has only recently received recognition in the health field (Higgins & Green 2008:573). I Cochrane handbook fremgår det, at kvalitativ forskning undersøger deltagernes oplevelser ved henholdsvis levering og implementering af en given intervention: qualitative studies explore the experience of those involved in providing and receiving interventions, and studies evaluating factors that shape the implementation for interventions 104

107 (Higgins & Green 2008:573). I håndbogen fremgår det yderligere, at forfattere til Cochranereviews i stigende grad efterspørger kvalitativ forskning for at øge den praktiske og politiske relevans og brugbarhed af de pågældende reviews to potential users (Higgins & Green 2008:574). Carthwright ville her mene, at den kvalitative forskning fremstår som løsning på, hvordan producenter af systematiske reviews kommer fra effekt i betydning af efficacy til effekt i betydning af effectiveness. Det fremgår af håndbogen, at kvalitativ forskning kan anvendes til at udbygge et effekt-review eller forbedre (enhancing) kvaliteten deraf, idet kvalitativ forskning betragtes som afdækkende implementeringsforhold, knyttet til interventionen (Ibid.). Konkret fremgår det, at den kvalitative forskning kan undersøge spørgsmål såsom, hvordan deltagerne oplever en given sygdom, hvorfor interventionen virker eller ikke virker, for hvem den og under hvilke omstændigheder den virker. Yderligere fremgår det, at den kvalitative forskning kan bruges til at belyse, hvad det er ved en given intervention, som deltagerne værdsætter, og hvorfor det forholder sig sådan (Higgins & Green 2008:574). Yderligere fremgår det, at den kvalitative forskning kan bruges til at gøre opmærksom på faktorer, som faciliterer eller hindrer succesfuld implementering, hvorfor kvalitativ forskning kan forbedre og tilpasse (adapt) en intervention ved large-scale roll-out (Ibid.). Kvalitativ forskning menes yderligere at være behjælpelig, såfremt reviewet har at gøre med komplekse interventioner (Higgins & Green 2008:573). Dette sidste uddybes ikke, men kan forstås sådan, at den kvalitative forskning bidrager til en forståelse af, hvad der mere præcist foregår i (komplekse) interventioner, der bidrager til den pågældende effekt. Af den øvrige litteratur om kvalitative evidenssynteser fremgår det, at what works -reviews kan suppleres med indsigt i what is at work, som kvalitativ forskning hævdes at være i stand til at bidrage med (Saini & Shlonsky 2012: 10). Kvalitative synteser er i stand til at levere viden, der er relevant for praksis, hvorfor kvalitative evidenssynteser undertiden omtales som reviews om forhold, der er relevante ved implementering (se fx Popay, Roberts et al. 2006). Kvalitativ forskning fremhæves også i forhold til at kunne afklare, hvorfor syntesen fremkommer med heterogene resultater angående effekter af en indsats (Saini & Shlonsky 2012: 10). Dette sidste må forstås sådan, at den kvalitative forskning kan bidrage til afklaring af, hvorfor forskellige studier tilsyneladende påviser samme effekt. I Cochrane handbook fremgår det, at den kvalitative forskning om implementeringsforhold kan gøre sig gældende på to måder, enten ved en multilevel-syntese eller som en parallelsyntese. Ved en multilevel-syntese indledes med to adskilte synteser, 105

108 sædvanligvis en kvalitativ syntese af processuel karakter og en syntese af kvantitativ forskning (effekt-review). Derefter kombineres resultatet af hver syntese til en tredje syntese. Parallelle synteser eller såkaldte stand-alone reviews består af to adskilte synteser af henholdsvis kvalitativ og kvantitativ forskning, der imidlertid ikke - som ved multilevelsyntese - indarbejdes i en tredje syntese. Derimod udvikles de to synteser som separate synteser, der dog i én eller anden udstrækning relaterer til hinanden (Higgins & Green 2008: 582). I Saini og Shlonsky (2012:10) fremgår det, at såvel Cochrane Collaboration som Campbell Collaboration ikke accepterer udelukkende kvalitativ forskning i et systematisk review og dermed heller ikke såkaldt kvalitative stand-alone reviews. Enkelte systematiske reviews fra Eppi-Centre er eksempler på en multilevel-syntese. Eppi-Centre har udviklet en multilevel-analyse, der vedrører sundhedskampagner for børn og unge. I det pågældende review er der i første omgang udviklet to adskilte synteser, hvoraf den ene afklarer børn og unges oplevelser med sundhedskampagner, mens den anden afgør effekter af sundhedskampagner gennem kvantitative eksperimentelle designs. Det pågældende effektreview viste, at sundhedskampagner ikke har en effekt i forhold til at øge børn og unges sundhed. I næste omgang er en tredje syntese, en kombination af de to synteser i matrixer, hvor der drages sammenhænge mellem typer af sundhedskampagner (interventioner) og deres effekter. Resultatet af multilevel-syntesen er, at kampagner, der fokuserer for meget på sundhed, har mindre positiv effekt i sammenligning med kampagner, der fokuserer på andre forhold ved at spise sundt. Med udgangspunkt i den kvalitative forskning fremdrages det, at børn og unge forbinder sundhed med noget, der er kedeligt og smager grimt. Ved at inddrage kvalitativ forskning i den pågældende multilevel-analyse, drages der sammenhæng mellem typer af interventioner (dem, som fokuserer/ikke fokuserer på sundhed) og deres effekt på børn og unges sundhed. Den pågældende multilevel-analyse er et eksempel på, hvordan den kvalitative forskning inddrages med henblik på at lokalisere, hvad der er, eller hvorfor typer af interventioner i et effekt-review virker/ikke virker (se fx Kavanagh, Campbell et al. 2012). I det følgende er samlet en række reviewspørgsmål, der er udtrukket på tværs af den pågældende litteratur, hvoraf den ekspliciterer, hvad den kvalitative forskning i systematiske reviews kan bidrage til belysning af. 106

109 Reviewspørgsmål hvor kvalitativ forskning menes at kunne bidrage til afklaring. - Beskriv elementer i interventionen som virker? - Hvilken indflydelsen har (har ikke) disse interventioner på klienter som er målgruppe for interventionen? - Hvordan oplever deltagerne interventionen? - Hvilke elementer af interventionen er værdsat og hvorfor? - Hvilke systemniveauer (system level factors) bidrager til en succesful implementering af interventionen? - Virkninger (the impact) af interventionen, som disse interventioner har (eller ikke har) på klienter, som har modtaget dem? - Hvilke barrier (barriers) og facilitator (facilitators) er der tale om i forhold til adgangs muligheder til sundhedsvæsnet? Kilde: Higgins og Green (2008); Saini og Shlonsky (2012) Det er gennemgående i ovenstående skema, at karakteren af spørgsmål omhandler en afklaring af en given intervention. I tråd med de foregående kapitlers karakteristik af den kvalitative forskning omhandler det et vidensgrundlag, der angår deltagernes oplevelser og erfaringer med en given intervention, dvs. de betydninger interventionen tillægges, som den kvalitative forskning menes at kunne bidrage med. For at anvende Diltheys beskrivelser af åndsvidenskaben kan man sige, at det er forståelse for interventionens indre strukturer et undersøgelsesfænomen i sig selv som den kvalitative forskning betragtes som værende i stand til at underbygge. I det foregående har vi set, at synteser af RCT-designs (samt andre eksperimentelle designs) efterlader uafklarede spørgsmål, der angår hvorfor/hvorfor-ikke en indsats resulterer i pågældende outcome-mål. Den kvalitative forskning kan siges at lappe hullet ved, at den anskues at kunne besvare en række af de spørgsmål, der opstår om hvorfor, for hvem og hvordan interventionen er effektiv/ikke-effektiv. En lignende forskningsfunktion for den kvalitative forskning har vi set gøre sig gældende i Starrins udlægning af den kvalitative forskning som processuelt afklarende, hvor den kvalitative forskning indsættes til afklaring af et fænomens indre relation med henblik på at bidrage til en afklaring af ydre (kausale) relationer. Flere spørgsmål i evidenstypologien kan i overensstemmelse hermed forstås 107

110 sådan, at den kvalitative forskning vurderes hensigtsmæssig til afklaring af en interventions processuelle karakteristika. Ifølge evidenstypologien vurderes kvalitativ forskning som hensigtsmæssig ved i alt seks tilfælde (jf. tabel 4.2). I det første tilfælde i forhold til at belyse, hvordan interventionen fungerer ved implementering (jf. sp. 2 i tabel 4.2). I de næste tre tilfælde i forhold til, hvilken betydning interventionen har (jf. sp. 3 i tabel 4.2), om den skader mere, end den gavner (jf. sp. 4 i tabel 4.2), og hvordan brugerne i det hele taget tager imod interventionen (jf. sp. 5 i tabel 4.2). De sidste to tilfælde menes den kvalitative forskning at være hensigtsmæssig i vurdering af, hvorvidt intervention er den rette for de pågældende brugere (jf. sp. 7 i tabel 4.2), og om brugerne er tilfredse med interventionen. I tråd med effekt-begrebet, som Cochrane handbook er indbegrebet i der er redegjort for i det foregående - fremgår det, at den pågældende viden, som den kvalitative forskning afdækker om implementeringsforhold, er ensbetydende med ekstern viden om interventionen (external to an intervention) (Higgins & Green 2008:574). Kompleksitetsteorierne ville ikke betegne den kvalitative forsknings bidrag som external, idet den kvalitative forskning med disse teorier opfattes som værende langt mere afgørende i stand til at lokalisere den kausale proces. I typologien fremgår det bortset fra ét enkelt spørgsmål - at surveys tillige opfattes som hensigtsmæssige til afklaring af de pågældende nævnte spørgsmål. Typologien udtrykker dermed, at holdningsundersøgelser som survey på lige fod med kvalitativ forskning er i stand til at afklare en række af de processuelle karakteristika, knyttet til interventionen. Kvalitative forskere vil i den sammenhæng mene, at de kommer tættere på deltagernes perspektiv, end et survey er i stand til (Denzin & Lincoln 2005:12). Til trods for, at kvalitativ forskning mere og mere vinder indpas i Cochrane-reviews, kan det hævdes, at evidenstypologien som redskab til sortering og kvalitetsvurdering af primærforskning udtrykker, at der fortsat mangler en forståelse for vidensgrundlaget i den kvalitative forskning. Kvalitativ forskning i systematiske reviews Nedenstående figur 4.4 har til hensigt at tilbyde et visuelt overblik over, hvad der ifølge Cochrane handbook måtte være den kvalitative forsknings funktion i systematiske reviews. 108

111 Prædefinerende Intervention (Årsag) Outcome (Virkning) Procesafklarende og belysning af implementerings forhold Figur: 4.4: Figuren viser, at en syntese af kvalitativ forskning (illustreret med cirkler) kan inddrages og supplere et systematisk review, der har fokus på effekter af indsatser (illustreret med firkanter). Dette kan gøres på to måder, enten som prædefinerende i forhold til reviewspørgsmålet eller som procesafklarende og til belysning af implementeringsforhold i.f.m. et effekt-review. Kilde: Modellen er udviklet med inspiration fra Cochrane handbook om systematiske reviews (Higgins og Green 2008) samt øvrig litteratur om kvalitative evidenssynteser (bl.a. Saini og Shlonsky 2012; Hannes og Lockwood 2012). Ovenstående figur viser, at den kvalitative forskning med Cochrane handbook kan bruges eksplorativt/prædefinerende i forhold til at præcisere hypotesen og forskningsspørgsmålet i et systematisk review (jf. cirklen prædefinerende ). Yderligere kan kvalitativ forskning bruges til afklaring af implementeringsmæssige spørgsmål/processuelle, afklarende spørgsmål, der belyser for hvem, hvad og hvorfor interventionen har de pågældende effekter (jf. cirklen procesafklarende og belysning af implementeringsforhold ). Figuren illustrerer yderligere, at kvalitativ forskning, ifølge Cochrane handbook om systematiske reviews, ikke bør bruges i afklaring af effekten af en indsats, hvilket Cochrane handbook som nævnt udtrykker, er forbeholdt RCT-designs/metaanlyser (jf. fikanterne intervention og outcome ). Med Cochrane handbook opnår den kvalitative og den kvantitative forskning 109

112 således en position i systematiske reviews, som Denzin og Lincoln i kapitel 3 knytter til mixed-method-research og ensbetydende med dikotomiske kategorier exploration versus confirmation. Nedenstående figur skal betragtes som et bud på, hvordan den kvalitative forskning set i lyset af producenters perspektiver om kvalitativ forsking skulle anvendes og inddrages i synteseprocessen i udvikling af systematiske reviews. Figur 4.5: Producenter af systematiske reviews om inddragelse af kvalitativ forskning i systematiske reviews. Strukturen og forståelsen i ovenstående figur 4.5 er den samme som figur 3.1 fra forrige kapitel. Det vil sige, at X-aksen skal forstås som, at den angår inddragelse af data, enten som overvejende aggregative, integrative og interpretative, mens Y-aksen er forskningsfunktioner, som henholdsvis forklaringer/effekt og forståelse/fortolkning (se figur 110

113 3.1. for yderligere detaljer om figurerne). Ovenstående figur viser, at den kvalitative forskning, ifølge producenter af systematiske reviews, kunne antages at skulle inddrages såvel aggregativt, integrativt og interpretativt, hvilket er illustreret med firkanten i figuren. Placeringen af firkanten er en smule vanskelig, idet det i analysen af Cochrane handbook ikke har været muligt at knytte den kvalitativ forskning i relation til, hvorledes den antages at skulle inddrages i udvikling af systematiske reviews. I figuren er den blå firkant blevet placeret i felterne omkring alle tre syntesetilgange, bl.a. fordi litteraturen omkring kvalitative evidenssynteser fremhæver et væld af syntesemetoder fx metaetnografi, hvis grundlag helt eller delvist er interpretativt. I Cochrane handbook diskuteres derimod ikke den kvalitative forskning i relation til konkrete syntesemetoder. Håndbogen er i den forbindelse mere fokuseret på forskningsfunktioner for kvalitativ forskning som henholdsvis eksplorativ, procesafklarende og belysning af implementeringsforhold i systematiske reviews end i inddragelse af forskningen. Som det fremgår af det foreliggende kapitel mener reviewproducenterne, at den kvalitative forskning kan have en eksplorativ funktion i systematiske reviews (jf. figur 4.4). Med dette menes, at den kvalitative forskning i tråd med fx Diltheys, Habermas og Starrins begyndelsesunivers for den kvalitative forskning - kan bidrage til definering og præcisering af et indledende reviewspørgsmål, herunder udpege en relevant hypotese. Yderligere mener reviewproducenter, at den kvalitative forskning kan have en funktion som procesafklarende i forhold til præcisering af effekten, herunder bidrage til viden om implementeringsforhold med henblik på at øge den praktiske relevans i et systematisk review. Det væsentlige i figur 4.5 og det første ud af to forhold, der adskiller den fra figur 3.1 er, at den kvalitative forskning af reviewproducenter opfattes ikke at skulle have en effekt-afklarende forskningsfunktion i systematiske reviews. Den kvalitative forskning opfattes med andre ord ikke at skulle inddrages med henblik på at være i stand til at afklare virkningen af en indsats. Det skal ses i lyset af reviewproducenternes forklaringsbegreb/effektbegreb, som det er søgt fremstillet i det foreliggende kapitel med bl.a. evidenshierarkiet og typologien. I den sammenhæng betragtes metaanalyser, baseret på RCT-designs, som mest troværdige til afklaring af årsags- og virkningsforhold ved interventionsstudier. Metaanalyser er en statistisk syntesemetode, der som nævnt inddrager data ved aggregative tilgange (se dens placering i figur 4.5). Med metaanalyser udledes studiers individuelle kvantificerede effektmål (effect sizes) (inddragelsesniveu 1), der efterfølgende akkumuleres med effektmål fra den 111

114 øvrige primærforskning - for hermed at øge populationen i et givet systematisk review (inddragelsesniveau 2). Hypotesen/reviewspørgsmålet ændrer stort set ikke karakter undervejs, og med en metaanalyse anskues primærforskningen og reviewspørgsmålet som værende i stand til at beskæftige sig med nogenlunde samme fænomen (inddragelsesniveau 3). Perspektiverne af reviewproducenterne i udvikling af systematiske reviews, som det er kommet til udtryk i dette kapitel, er dermed forbundet med en idealisering af aggregative tilgange til inddragelse af primærforskning. Dette udgør samtidig det næste forhold, der adskiller figur 4.5 fra figur 3.1, og er en central forskel i forståelsen af de to materialer på tværs. Forskellen består i på den ene side, perspektiver fra introduktionsbøger og artikler om den kvalitative forskning, der knyttes til interpretative tilgange (jf kapitel 3), på den anden side perspektiver fra producenter af systematiske reviews, der knyttes til aggregative tilgange til inddragelse af data. Opsamling Formålet med dette kapitel er at knytte nogle perspektiver fra producenter af systematiske reviews til opfattelser om den kvalitative forskning, dvs. opfattelser knyttet til dens funktion og inddragelse i udvikling af systematiske reviews. Disse perspektiver er bundet til grundlaget, der fortrinsvis udgøres af Cochrane handbook, der samtidig forstås at være en central kilde i forståelsen af den kvalitative forskningsposition i systematiske reviews. Af Cochrane handbook kan der udtrækkes en række forståelser af den kvalitative forskning, der måtte knytte den til en funktion i systematiske reviews. Det vil sige dels en eksplorativ funktion til definering af en række begreber/variable, konkret anvendt i et senere effektreview, dels en processuel-afklarende funktion om mekanismer og processer, der med Cochrane handbook særligt bliver fremhævet for indsigt i implementeringsrelevante forhold. I kapitlet redegøres der for materialets opfattelse af et effekt-begreb, idet den kvalitative forskning opfattes ikke at være knyttet til denne funktion i forskningen. I kapitlet argumenteres der endvidere for, at materialet er optaget af en idealisering af aggregative tilgange til inddragelse af primærforskning i systematiske reviews. Med udgangspunkt i de to materialers forskellige perspektiver til forskning, der har været genstand for analyse i kapitel 3 og 4, bliver det interessant at tage fat i den tredje analyse af materiale i afhandlingen, der har fokus på, hvordan funktionen for og inddragelsen 112

115 af den kvalitative forskning tager sig ud i konkrete systematiske reviews. Denne analyse foregår i kapitel 6, hvor det vil blive undersøgt, hvor de 19 systematiske reviews placerer sig i spørgsmålet om den kvalitative forsknings funktion og inddragelse i systematiske reviews. 113

116 Kapitel 5: Metode I dette kapitel behandles og begrundes de anvendte metoder for indsamling og analyse af afhandlingens datamateriale, dvs. de 19 systematiske reviews. Det er klart, at afhandlingens resultater skal ses i lyset af de metodiske greb og valg, der er foretaget ved udvælgelse og bearbejdning af det empiriske materiale. I kapitlet bliver det begrundet, hvorfor afhandlingen tager udgangspunkt i systematiske reviews produceret af Eppi-Centre ved University College London, Institute of Education, og det diskuteres i hvilken udstrækning betragtningerne af disse reviews kan være eksemplariske for feltet. Yderligere redegøres der for, hvorledes de 19 systematiske reviews fra Eppi-Centre er fremkommet gennem en sortering af Eppi-Centre s femårige arbejde med udvikling af systematiske reviews fra perioden I kapitlet redegøres der endvidere for de analytiske greb, der er anvendt i analysen af de 19 systematiske reviews, dvs. hvordan materialet er analyseret for at udlede forskningsfunktioner og inddragelse af den kvalitative forskning. Udvælgelse af empirisk materiale UDVALG AF REVIEWPRODUCENTER Der findes i alt syv udenlandske, internationale og nationale institutioner, der producerer systematiske reviews på uddannelsesområdet 23. Tre af institutionerne producerer systematiske reviews med udgangspunkt i, at interventionsstudier betragtes som mest pålidelig, såfremt de er i overensstemmelse med et randomiseret, kontrolleret forsøg (jf. kap. 6. om evidenshierarkiet). Disse institutioner inddrager ikke kvalitative forskning, mens de fire øvrige producenter af systematiske reviews menes at inddrage og forholde sig til en større bredde af forskningsdesigns blandt primærforskningen (Larsen 2010). Med den foreliggende 23 De 7 institutioner udgør henholdsvis Eppi-Centre (UK), Campbell Collaboration (international), What Works Clearinghouse (US), Canadian Council on Learning (Canada), Educationa Counts (New Zealand), Best Evidence Encyclopedia (USA) og Danish Clearinghouse Educational Reseach (DK) (Larsen 2010:4-5). Både I Norge og Sverige findes oprettelse af lignende (nationale) institutioner hørende under regeringsdepartementer (Sundberg 2009); 114

117 afhandling er det valgt at fokusere på systematiske reviews fra reviewproducenter, som menes at inddrage kvalitativ forskning i synteseprocessen i deres systematiske reviews. De relevante fire institutioner omfatter henholdsvis Eppi-Centre (UK), Canadian Council on Learning (Canada), Education Counts (New Zealand) og Dansk Clearinghouse for Uddannelsesforskning (DK) 24. Ud af de fire institutioner er Eppi-Centre med startår i 1996 den først etablerede institution på feltet (Larsen 2010:4) 25. Institutionen er dermed pionér på området, hvorfor institutionen alene af den grund og som eksemplarisk for feltet - kunne tænkes at øve indflydelse på udvikling af systematiske reviews i de øvrige institutioner. Med udgangspunkt i antal producerede systematiske reviews fremtræder Eppi-Centre yderligere som den langt største producent på uddannelsesområdet 26. Den foreliggende afhandling tager, som tidligere nævnt, udgangspunkt i en analyse af 19 systematiske reviews fra Eppi-Centre. Dertil nævnes i flere af de pågældende reviews, at de syntesemetoder, der anvendes, er enten narrativ analyse eller tematisk analyse. Disse nævnte metoder hævdes at være de mest udbredte syntesemetoder, anvendt i systematiske reviews (Popay 2006; Pope 2007), hvorfor det må antages, at den foreliggende afhandling fanger inddragelsen af den kvalitative forskning, som den fremtræder i en udbredt anvendt syntesemetode. Dertil skal det nævntes, at narrativ analyse og tematisk analyse er fleksible syntesemetoder (Popay 2006; Pope 2007), hvilket bevirker, at de tager form og kan være afhængige af forskellige arbejdsgange, som man vælger at lægge ind i bearbejdning af primærforskningen. Omend der kunne argumenteres for, at Eppi-Centre er en eksemplarisk organisation i en undersøgelse af reviewproducenters 24 Opfattelsen af, at de fire institutioner måtte inddrage en flerhed af forskningsdesigns, herunder den kvalitative forskning, kan genfindes i forskellige kortlægninger af feltet (Larsen 2010; Slavin 1986; Haig 2004; Bhatti 2006; Dansk Clearinghouse for Uddannelsesforskning 2013; Gough, Oliver et al. 2012) og/eller fremgår af henvisninger til metoder på institutionernes hjemmesider Startåret for de øvrige institutioner er 2004 for Canadian Council on Learning, 2005 for Education Counts og 2006 for Dansk Clearinghouse for Uddannelsesforskning (Larsen 2010:4). 26 Flere institutioner har en liste over deres systematiske reviews, som kan hentes på deres hjemmesider. Education Counts: Eppi-Centre: Canadian Council on Learning samt Education Counts har i 2013 hver udviklet mellem 8-15 systematiske reviews, mens Eppi-Centre har langt over hundrede. Canadian Council on Learning samt Education Counts fokuserer udelukkende på udvikling af systematiske reviews på uddannelsesområdet. Imens spænder Eppi-Centre langt bredere og udvikler reviews på flere felter som fx kriminologi og beskæftigelse (Larsen 2010). 115

118 inddragelse af kvalitativ forskning, påkræves dog en langt større undersøgelse af systematiske reviews fra andre revieworganisationer, såfremt foreliggende afhandling skal kunne generalisere sine fund mere globalt. I en anden forskningsmæssig sammenhæng kunne denne afhandlings forskningsresultater således være relevante at inddrage som sammenlingningsgrundlag i undersøgelser af systematiske reviews, produceret af andre reviewproducenter 27. EPPI-CENTRE SOM PRODUCENT AF SYSTEMATISKE REVIEWS Systematiske reviews fra Eppi-Centre er blevet udvalgt som afhandlingens empiriske materiale, idet den pågældende reviewproducent leverer langt mere information omkring primærforskningen, der endeligt er inkluderet i de enkelte systematiske reviews. Det har været væsentligt med afhandling at sikre, at der konkret i de udvalgte systematiske reviews foregår - hvad der kunne kaldes for en intenderet inddragelse af kvalitativ forskning i synteseprocessen. En intenderet inddragelse henviser til, at enten den samlede eller dele af den inkluderede primærforskning i synteseprocessen i reviewarbejdet er (af forfatterne til reviewet) blevet tolket som kvalitativ forskning. Med henblik på at sikre en intenderet inddragelse af den kvalitative forskning påkræves transparens herom. I den forbindelse er det muligt med Eppi-Centre s systematiske reviews at finde dokumenter, der formidler om processen i udvikling af de enkelte systematiske reviews, deriblandt deres forståelse af den inkluderede primærforskning. Hos stort set samtlige systematiske reviews, udviklet af Eppi- 27 Kortlægningen foretaget af Larsen (2010) af institutioner producerende systematiske reviews på uddannelsesområdet har, som det fremgår af afsnittet om udvælgende af institutioner, været central ved udpegning af empirisk materiale i afhandlingen. Det er klart, at med en kortlægning foretaget i dag (2015) og senere, må billedet af relevante institutionstyper tage sig anderledes ud. Det er mit indtryk, at langt flere institutioner og virksomheder af forskellig karakter i dag producerer noget, der måtte ligne systematiske reviews, men som måske ikke producerer lige så omfattende, systematiske og transparante systematiske reviews og de indeholder måske heller ikke en syntese. I den forbindelse er det eksempelvis vigtigt at nævne, at afhandlingens fokus er systematiske reviews, der netop indeholder en syntese af forskningsresultater - ikke kun en forskningskortlægning. Såfremt der i dag bliver foretaget en lignende kortlægning af institutionstyper på uddannelsesområdet, som det er gjort med Larsen (2010), er det min opfattelse, at en sondring mellem virksomheder og institutioner, der producerer synteser og/eller forskningskortlægninger, bliver væsentlig (i det mindste for denne afhandling). Måske er det netop de (få) institutionstyper, der nævnes i kortlægningen af Larsen (2010), der fortsat producerer systematiske reviews indeholdt synteser af forskningsresultater, fordi institutionerne typisk er helt eller delvist fondsbaserede. I den forbindelse skal det nævnes, at en af de nævnte fire institutioner producerende systematiske reviews på uddannelsesområdet, ikke længere eksisterer. Det drejer sig om Canadian Council on Learning 116

119 Centre, er det muligt at finde beskrivelserne (data-extractions) udarbejdet for de enkelte studier af reviewere. Beskrivelserne kan hentes på Eppi-Centre s hjemmeside på samme webside som det konkrete systematiske review. Derudover indeholder de systematiske reviews mere eller mindre fyldige resuméer (ofte afhængigt af, hvor mange studier, der er inkluderet i de enkelte reviews). Ligeledes har forfatterne konsekvent valgt at angive kilder, når der refereres til resultater fra de enkelte studier. Således er det muligt med systematiske reviews fra Eppi-Centre - i højere grad end det er tilfældet med de øvrige tre institutioner - at finde frem til, om der foregår en intenderet inddragelse af kvalitativ forskning i systematiske reviews 28. I indledningen er blevet refereret til tre tidligere undersøgelser om vilkår for den kvalitative forskning i systematiske reviews. Alle tre undersøgelser tager udgangspunkt i systematiske reviews fra Eppi-Centre, hvilket kunne være en konsekvens af, at Eppi-Centre forsøger i langt højere grad end andre institutioner at være transparante. Det er derfor muligt i højere grad end hos andre lignende institutioner at foretage undersøgelser af datagrundlaget for systematiske reviews produceret af Eppi-Centre. I indledningen er det nævnt, at det med afhandlingen er opgaven at gøre den kvalitative forskning synlig. Det vil sige synlig i et materiale, hvor det til trods for forsøg på transparans i systematiske reviews produceret af Eppi-Centre - tilsyneladende ikke er traditionen at gøre klart, at der inddrages kvalitativ primærforskning. Dette er en praktisk realitet, der har konsekvenser for udvælgelse af institutioner og materiale i afhandlingen, hvor Eppi-Centre på tidspunktet for indsamling af materiale (2011) synes at være den eneste producent, hvor der til en vis grad ekspliciteres, hvilken type primærforskning, der er grundlaget. Derudover har dette forhold betydning for, 28 Med henblik på at vurdere om der er foregået en intenderet inddragelse af kvalitativ forskning fremtræder systematiske reviews fra Education Counts som mindst transparante. Systematiske reviews fra Canadian Council on Learning samt Dansk Clearinghouse for Uddannelsesforskning videregiver systematiske kildehenvisninger til den inkluderede primærforskning. I flere af deres systematiske reviews er desuden indeholdt resuméer af den individuelle primærforskning. Det er kun muligt med Eppi-Centre s systematiske reviews at få adgang til mere information om review-arbejdet, idet deres beskrivelser af den inkluderede primærforskning er offentligt tilgængelige. Med disse beskrivelser kan man dermed fastslå, hvorledes de måtte have tolket primærforskningen. I det hele taget synes de systematiske reviews fra Eppi-Centre at være mere imødekommende, når man som det er tilfældet med denne afhandling ønsker at undersøge vilkår for den kvalitative forskning i systematiske reviews. Dette kan skyldes en større metodologisk bevidshed hos flere medarbejdere i Eppi-Centre. Flere medarbejdere i Eppi-Centre har bidraget til udvikling af håndbøger og publiceret i internationale tidsskrifter om forskningsmetodologier i udvikling af systematiske reviews (fx Gough, Oliver et al. 2012; Oakley, Gough et al. 2005; Thomas & Harden 2008) 117

120 hvordan den videre sortering og den endelige læsning i de udpegede systematiske reviews er foregået. INT EN DER ET I NDDRAGELS E AF KV ALITATIV FO RSK N ING Med den foreliggende afhandling er det en forudsætning, at analysen af empirien udspringer af et materiale, der konkret kan hævdes at inddrage kvalitativ forskning. Til spørgsmålet om, hvorvidt de konkrete systematiske reviews inddrager kvalitativ forskning, er de 19 systematiske reviews blevet udvalgt, fordi det enten i beskrivelserne af den inkluderede primærforskning eller i de konkrete systematiske reviews bliver nævnt, at kvalitativ forskning er medtaget. Den intenderede inddragelse af kvalitativ forskning henviser dermed til, at der med udvikling af de konkrete systematiske reviews er rapporteret forfatternes (til reviewet) vurdering, at hele eller dele af primærforskningen er kvalitativ. Det er dermed lagt ud til reviewarbejdets egne konklusioner om, hvorvidt der skulle foregå inddragelse af kvalitativ forskning i de pågældende 19 systematiske reviews. Afhandlingens analyse af de 19 systematiske reviews skal således betragtes ud fra nogle præmisser for sekundæranalyse af et empirisk materiale, hvori det er materialet, der så at sige har bestemt, at der foregår inddragelse af kvalitativ forskning. Omend det kunne give et indblik i præmisserne for vurderingen af kvalitativ primærforskning, er det med afhandlingen vurderet, at det udgør en større undersøgelse i sig selv, såfremt primærforskningen skulle gennemgås for, hvorvidt der faktisk foregår inddragelse af kvalitativ forskning i de 19 systematiske reviews. I sådan et tilfælde skal der tages højde for de problemer, der er knyttet til at skulle afgøre, hvornår forskningsresultater med rette kan hævdes at udspringe af kvalitativ forskning (se Dixon- Woods, Bonas et al. 2006). De 19 systematiske reviews udmærker sig ved, at der er foregået en intenderet inddragelse af den kvalitative forskning i synteseprocessen (in-depth review/ analysis), dvs. ikke kun i forskningskortlægningen (research mapping). Såfremt et antaget kvalitativt primærstudie ikke medtages i synteseprocessen, er det undersøgt, om der er andre antagede kvalitative primærstudier, der endeligt er inddraget. Hvis dette ikke er tilfældet, indgår det pågældende systematiske review ikke som en del af det empiriske materiale i den foreliggende afhandling. Relevante systematiske reviews skal således som minimum have mindst ét kvalitativt primærstudie inkluderet i den samlede syntese af forskningsresultaterne. Det betyder, at det udpegede materiale, dvs de 19 systematiske 118

121 reviews, har inkluderet forskningsresultater fra kvalitativ forskning, der alt andet lige - får betydning for de politiske og praktiske anbefalinger, der formidles i de pågældende systematiske reviews. Det udvalgte datamateriale anskues dermed som værende i tråd med formålet for afhandlingen om at undersøge og vække til diskussion af vilkårene for den kvalitative forskning i de 19 systematiske reviews. SORTERING AF DET EMPIRISKE MATERIALE Fra har Eppi-Centre samlet produceret ca. 180 systematiske reviews inden for en bred vifte af fagområder såsom sundhedsfremme (health care), kriminologi, beskæftigelse, jura og uddannelse De udpegede 19 systematiske reviews er alle vurderet at inddrage (intenderet) kvalitativ primærforskning i synteseprocessen. De er fundet frem gennem en sortering i Eppi-Centres femårige arbejde, hvilket konkret består i systematiske reviews, produceret i perioden 2006 til og med I denne periode har Eppi-Centre produceret i alt 53 systematiske reviews. Det er først i 2002, at Eppi-Centre producerer et systematisk review omhandlende en uddannelsesrelaterede problemstilling 31. I afhandlingen er der således ikke medtaget systematiske reviews inden for uddannelsesområdet, der er produceret i årene 2002 frem til 2005, det vil sige inden for de første tre år af Eppi-Centres arbejde med uddannelsesmæssige problemstillinger. Denne afgrænsning betyder, at afhandlingens empiriske materiale - alt andet lige - består i systematiske reviews, der er produceret af en relativt erfaren reviewproducent. I det følgende gennemgås sorteringsarbejdet med de 53 systematiske reviews fra Eppi-Centre, der endeligt indebærer, som nævnt, at 19 systematiske reviews bliver genstand for afhandlingens analyser. 29 Antallet af systematiske reviews produceret af Eppi-Centre er udregnet og vurderet på baggrund af oversigten over systematiske reviews offentliggjort på Eppi-Centre hjemmeside: 30 Ifølge en mailkorrespondance med Philip James Rose, administrativ medarbejder i Eppi-Centre dato: er listen, der indeholder de i 180 systematiske reviews, den komplette liste over systematiske reviews produceret af Eppi-Centre. 31 Det første systematiske review inden for uddannelsesområdet produceret af Eppi-Centre handler om virkninger af test på elevers motivation (Harlen (2002). En af de første systematiske reviews produceret af Dansk Clearinghouse for Uddannelsesforskning omhandler tillige en kortlægning og syntese af virkninger af test i grundskolen (Nordenbo, Allerup et al. 2009). 119

122 FRASORTERINGSKRITERIE R Det er ikke alle 53 systematiske reviews, produceret i perioden af Eppi-Centre, der er væsentlige for videre analyse i afhandlingen. Det har været nødvendigt at sortere dem i forhold til, om de er relevante til belysning af afhandlingens problemstilling. Ved gennemgang af de 53 systematiske reviews har der vist sig fem forskellige kriterier, der har bevirket en frasortering af i alt 34 systematiske reviews. Nedenstående tabel viser de fem kriterier og antal systematiske reviews, der er frasorteret under hvert kriterium. Frasorteringskriterier Antal 1: Indeholder ikke en syntese af forskningsresultater 11 2: Inddrager ikke primærforskning 3 3: Inddrager ikke udelukkende empirisk forskning 1 4: Omhandler ikke uddannelsesmæssige problemstillinger 11 5: Inddrager ikke kvalitativ forskning i syntesen 8 I alt 34 Rest (genstand for videre analyse) 19 Tabel 5.1: Frasorteringskriterier og antal systematiske reviews Tabel 5.1 viser, hvilke kriterier de i alt 53 systematiske reviews er sorteret ud fra, hvoraf i alt 19 systematiske reviews er vurderet at opfylde kravene. Sorteringen af de 53 systematiske reviews har fundet sted trinvis, hvorfor et systematisk review først er gennemlæst med henblik på at blive vurderet ud fra, om det kan karakteriseres under frasorteringskriterium 1., dernæst 2., dernæst 3. og så videre. Selvom et systematisk review kunne frasortereres ud fra flere kriterier, er det kun registreret under ét enkelt frasorteringskriterium. Frasorteringen betyder, at endeliggyldigt 19 systematiske reviews er vurderet som relevante for undersøgelsen i afhandlingen. De 19 reviews er dermed kendetegnet ved dels at indeholde en syntese af forskningsresultater, dels inddrager empirisk primærforskning, dels omhandler en uddannelsesrelaterede problemstilling og endelig inddrager de (intenderet) kvalitativ primærforskning i syntesen. Disse kriterier for udpegning af afhandlingens empiriske materiale er relevante for forståelsen af, hvad det er for en type 120

123 systematiske reviews, der konkret er genstand for belysning i afhandlingen. Det vil sige, at kriterierne er med til at skærpe, hvad det er for en forståelse af systematiske reviews, som denne afhandling tager afsæt i. I det følgende belyses derfor yderligere frasorteringskriterierne fra tabel 5.1. FRASORTERINGSKRITERIU M 1,2 O G 3 Frasorteringskriterium 1. angår systematiske reviews, der ikke indeholder en syntese af forskningsresultater. Samtlige elleve systematiske reviews er forskningskortlægninger (research mapping), der informerer om prioriteringer og dermed også mangler inden for et forskningsfelt. Eppi-Centre vælger at benævne de elleve reviews, ikke som systematiske reviews, men derimod som henholdsvis; a systematic map, a scoping review, a systematic review of research, a scoping map og analytical maps. Det er bestræbelserne med den foreliggende afhandling at undersøge inddragelse af kvalitativ forskning i syntesen i konkrete systematiske reviews, og eftersom de 11 forskningskortlægninger ikke indeholder synteser af primærforskningens resultater, er de sorteret fra 32. Frasorteringskriterium 2 og 3 vedrører tilsammen fire systematiske reviews. Fælles for dem er, at der syntetiseres på baggrund af enten ikke-empirisk forskning eller ikkeprimær forskning. I ét af de fire systematiske reviews syntetiseres på ikke-empirisk forskning, men derimod på et større omfang af ministerielle rapporter, der beskriver forskellige pædagogiske tiltag uden om egentlig inddragelse af empiriske undersøgelser (Bills, Briggs et al s. 11). Med afhandlingen er der fokuseret på at undersøge inddragelse af empirisk primærforskning - ikke ministerielle rapporter af dén karakter- hvorfor dette review er 32 Blandt de elleve forskningskortlægninger produceret af Eppi-Centre er der på uddannelsesområdet kortlagt forskningen inden for skolers forsøg med at fremme social sammenhængskraft (community cohension). Ifølge reviewet er kortlægningen afstedkommet i forbindelse med en reform, der fremhæver social sammenhængskraft og betydningen heraf (Dyson & Gallannaugh 2008). En anden kortlægning inden for uddannelsesområdet omhandler forskningen der vedrører fleksible træningsprogrammer som imødekommer individuelle behov - for nyuddannede lærere (initial teacher training) (Graham-Matheson, Connolly et al. 2006). I reviewet formuleres ikke nogle eksplicitte hensigtserklæringer om at reviewet skal anvendes til at prioritere inden for forskningspolitik og praksis. Flere kortlægninger har et særligt fokus; fx at afklare omfanget af forskningen inden for et specifikt forskningsfelt, der beskæftiger sig med ulighed (Oliver, Kavanagh et al. 2008) eller at fokuser på feltets praksis og mulighed for diversitet med hensyn til at undersøge forskellige sociale populationer (Lorenc, Harden et al. 2008). Enkelte kortlægninger udarbejdes specifikt med henblik på at vurdere, om der er tilstrækkelig forskning på et område til en senere forskningssyntese (fx Kalra & Newman 2009). 121

124 frasorteret. De tre øvrige systematiske reviews udvikler synteser på baggrund af forskningsresultater (forskningssynteser) hentet fra eksisterende systematiske reviews (Oliver, Bagnall et al. 2008; Thomas, Vigurs et al. 2008; Caird, Rees et al. 2010), og er såkaldt meta-meta reviews. To af dem benævnes rapid systematic review og rapid evidence assessment 33. Det er vurderet at være en anden og måske langt mere kompleks opgave at undersøge inddragelse af den kvalitiative forskning i systematiske reviews, hvis empiriske grundlag er eksisterende systematiske reviews. Derudover er det sigtet med de 19 systematiske reviews at få så ens materiale så muligt at tage udgangspunkt i. I appendix 5.1 findes en referenceoversigt over samtlige systematiske reviews, der er sorteret fra ud fra kriterierne i tabel 5.1. FRASORTERING: OMHANDLER IKK E EN UDDANNELSES RELAT ERET PRO BLEMSTI LLING Med afhandlingen er der fokus på inddragelse af kvalitativ forskning i systematiske reviews, produceret om emner relateret til uddannelsesområdet. Det empiriske materiale er derfor blevet sorteret i forhold til, om det undersøger en uddannelsesrelateret problemstilling. I alt er 11 systematiske reviews vurderet ikke at omhandle dette (jf. tabel 5.1.). Eppi-Centre producerer, som tidligere nævnt, systematiske reviews inden for en bred vifte af forskning, herunder fx kriminologi, jura og sundhed (social care, health care). Med henblik på at diskutere systematiske reviews på uddannelsesområdet, er der sondret mellem systematiske reviews, der vurderes at omhandle en uddannelsesrelateret problemstilling, og øvrige systematiske reviews. Med henblik på atter at belyse konteksten for genstanden i denne afhandling der i dette tilfæle er begrebet uddannelse - beskrives i appendix 5.2 de enkelte systematiske reviews, der er vurderet at omhandle/ikke-omhandle en uddannelsesmæssig 33 Eppi-Centre har produceret flere rapid evidence assessment de fleste er udviklet på baggrund af primærforskning. Rapid evidence assessment er tænkt som relativt hurtigproducerede systematiske reviews og hævdes at blive udviklet med udgangspunkt i de traditionelle faser i et systematisk review (Underwood, Thomas et al. 2007). I disse typer reviews synes det individuelt, hvorledes nogle af faserne tilrettelægges således, at de er mindre tidskrævende. Den omfattende søgningsproces der kendetegner de første faser i et traditionelt systematisk review - kan for eksempel begrænses til enkelte søgedatabaser i et rapid evidence assessment (se fx Perry, Newman et al. 2009). I et af de to nævnte rapid evidence assessment bliver tilgangen begrundet med, at den gældende problemstilling i reviewet vurderes til at være betydelig bred, hvormed det vurderes til ikke at være hensigtmæssigt at producere det pågældende systematiske review på baggrund af primær forskning: Since this work crosses many different sectors and topics, it was not feasible to conduct a systematic review of all potentially relevant primary research (Thomas, Vigurs et al. 2008: 8). 122

125 problemstilling. I den forbindelse er der ikke taget udgangspunkt i et på forhånd klart defineret begreb om uddannelse, men ved udvælgelse af systematiske reviews om uddannelsesmæssige problemstillinger bør beskrivelserne af de pågældende systematiske reviews afklare, hvad det er for et begreb om uddannelse, der er taget udgangspunkt i. Af beskrivelserne i appendix 5.2. fremgår det, at systematiske reviews, der er vurderet at omhandle en uddannelsesmæssig problemstilling, drejer sig om undersøgelser af konkrete undervisningsmetoder (fx IT-teknologi) brugt i undervisningen i grundskoler, ungdomsuddannelser, kortere, mellemlange eller videregående uddannelser. I enkelte reviews er der tale om at undesøge metoder for specifikke fag (fx matematik) eller anvendt i undervisning af specifikke elever (fx højt begavede elever). Metoderne undersøges gennemgående for, om de øger faglige præstationer hos eleverne, øger elevernes motivation og deltagelse eller bidrager til inklusion. Endvidere fremgår det af appendix 5.2, at der er tale om systematiske reviews, der omhandle en uddannelsesrelateret problemstilling i den forstand, at de pågældende systematiske reviews har fokus på at undersøge kurser, programmer og mentorforløb for lærere/undervisere i grundskolen og det videre uddannelsessystem. Der er også tale om systematiske reviews, der undersøger betydningen af læreassistenter i klassen og betydningen af reformændringer hos uddannelsespraktikere. Af appendix 5.2 fremgår det, at systematiske reviews, som er vurderet ikke at omhandle en uddannelsesmæssig problemstilling - og dermed ikke bliver genstand for videre analyse omhandler fx børns transportmulighed til og fra skole, fysisk og psykisk syges adgang til arbejdsmarkedet, social inklusion af teenagemødre og bandekriminalitet. Endvidere er frasorteret systematiske reviews, der indbærer fokus på enkelte skoleindsatser, men hvor emnet er mentale lidelser hos børn og unge, modvirkning af kriminel adfærd hos unge eller børns opfattelser af deres egen krop. Endvidere er der ikke medtaget et systematisk review om udsatte familier og børns mulighed for at bryde et generationsmønser om udsathed. Primærforskningen i dette systematiske review omhandler bredere sociale indsatser frem for egentlige skole- og/eller uddannelsesindsatser. FRASORTERING: IN DDR AG ER IKK E KVALI T ATI V FORSKNI NG I S YN T ESEN De 53 systematiske reviews fra Eppi-Centre gør sig gældende ved, at det ikke rapporteres ens for, hvorvidt de inkluderede studier i syntetesen udgøres af kvalitativ primærforskning. Med den foreliggende afhandling er der derfor blevet opstillet et grundlag for (systematisk) at 123

126 sikre, at der foregår intenderet inddragelse af den kvalitative forskning i de 19 systematiske reviews. Den intenterede inddragelse henviser til, som tidligere nævnt, at forfatterne/reviewer konkret rapporterer og dermed eksplicit udtrykker, at der foregår inddragelse af kvalitativ forskning i syntetisering af primærforskningen. Inddragelsen af kvalitativ forskning er vurderet at kunne rapporteres af forfatterne på tre forskellige måder. 1. I det systematiske review fremgår det, at der er inkluderet kvalitativ forskning i syntesen af studierne, der typiske nævnes i de indledende kapitler i de pågældende reviews. 2. Ved gennemgang af de enkelte studier inddraget i syntesen (typisk i syntetiseringen, in-depth-review) hævdes det, at ét eller flere studier er kvalitative. 3. I beskrivelserne af studier, der indgår i syntesen, fremgår det, at studiet er kvalitativt. I de 19 systematiske reviews er det rapporteret, at der foregår intenderet inddragelse af den kvalitative forskning i synteseprocessen i forhold til mindst én af ovenstående tre mulige rapporteringer. De 11 systematiske reviews, som i den sammenhæng er frasorteret (jf. tabel 5.1 og appendix 5.1) har således ikke afrapporteret om kvalitativ forskning i overensstemmelse med ovenstående. Den intenderede inddragelse af kvalitativ forskning henviser dermed til, at det eksplicit er nævnt i de pågældende reviews, at der foregår inklusion af kvalitativ primærforskning i syntesen. Det betyder imidlertid, at de nævnte elleve frasorterede reviews kunne (intenderet) have inkluderet kvalitativ forskning i syntesen, men blot ikke nævner det. Metode til analyse af de 19 systematiske reviews DEN FREMVOKSENDE ANALYSEMETODE Aanalyse af det empiriske materiale omhandler bearbejdning af de endeligt udpegede 19 systematiske reviews. Måden, materialet er bearbejdet på, er sket løbende med udvikling af en fremvoksende metode, hvoraf selvsamme metode så endelig er blevet brugt til at analysere empirien med. Når der her henvises til metode, er der tale om de analytiske greb om 124

127 forskningsfunktioner og inddragelsesniveauerne, som i afhandlingen er udviklet på baggrund af en teoretisk litteratur, men som også er blevet udviklet på baggrund af empirien og bestræbelserne med at forstå den. Det er min opfattelse, at den teoretiske litteratur ikke i sig selv ville kunne generere disse analytiske greb, som jeg opfatter hjulpet på vej for at kunne besvare mine spørgsmål, kaste lys over og forstå empirien. Ligeledes opfatter jeg heller ikke empirien sådan, at den uafhængigt ville kunne generere metoden uden hjælp fra teorien. Det vil sige, at henholdsvis teori, metode og bearbejdning af empiri er oplevet som en tæt sammenvævet proces, og det er vanskeligt at afgøre, om noget har været mere styrende end andet. Såfremt der skal udpeges et styrende redskab for udvikling af metoden, skal det nok snarere findes i problemstillingen for afhandlingen, hvor teori, metode og empiri synes at kunne blive argumenteret for, at de alle tre mødes til afklaring af nogle fælles spørgsmål. Dertil skal heller ikke underkendes min egen rolle af såvel faglig som personlig karakter og som medanalyser i denne kvalitative proces. For hvorfor har netop denne problemstilling været grundlaget for afhandlingen (ud over de fagligt relevante argumenter, skitseret i indledningen)? Og hvilken betydning for udvikling af de analytiske greb og forståelsen af empirien ville det have haft, hvis der var tilvalgt en anden type teoretisk litteratur eller andet empirisk materiale? Og såfremt der havde været et tilvalg af anden type empiri og teori, havde problemstillingen for afhandlingen måske også ændret sig. Det er klart, at mit arbejde i Dansk Clearinghouse for Uddannelsesforskning - forinden påbegyndelsen af ph.d.-afhandlingen - har haft en betydning for en række af de processer og valg, der er foregået, og som har bevirket, at teori, metode og empiri samt problemstillingen i afhandlingen tager sig ud, som den gør. Bestræbelserne om at lade den kvalitative forskning blive præsenteret, som den i en bredere forstand ønsker at blive forstået, kan fx betragtes som en måde at åbne op for den kvalitative forskning, hvor jeg har oplevet et oprigtigt ønske fra institutioner producerende systematiske reviews om selvsamme. Det kan være risikabelt at åbne op for, hvordan forskeren i en forskningssammenhæng ser sine egne personlige præferencer som medskabende i forståelsen af et empirisk materiale. Det kunne samtidig forstås som mere risikabelt for forskningen, hvis man ikke er rede til at gå i dialog om dette. Det er klart, at afhandlingen kan betragtes som værende bundet til de valg af materialer, og betydningerne af disse bør ikke underkendes Each telling, like light hitting a crystal, reflects a different perspective on this incident (Denzin & Lincoln 2005:3). Samtidig er det også forskerens opgave at være sig 125

128 bevidst om disse og bruge de nødvendige greb, der skal til for at sikre en videnskabelig forskningnsproces, herunder at gå i dialog om betingelserne af disse valg for det endelige forskningsresultat (Postholm 2005). En væsentlig del af analyseprocessen, som den er foregået, er tidligere beskrevet som en vekslen mellem teori og empiri, der har oplevedes som et relativt langt forløb med at udvikle en metode til at forstå/analysere afhandlingens empiriske materiale. Dertil skal det nævnes, at der har været lange perioder, hvor det ikke var klart, at der i dette arbejde med empiri og teori skulle dukke en metode frem. Det var ikke sådan, at retningen, der fra start i ph.d.-forløbet var, at der skulle udvikles en metode til at analysere kvalitativ primærforskning i systematiske reviews. Metoden, som bliver udviklet, er under alle omstændigheder afgørende for, hvordan det empiriske materiale behandles, hvorfor det også er rimeligt at fortælle om og dermed dokumentere dette forløb i den udstrækning, det er muligt. Afhandlingens foregående kapitler skal forstås som en dokumentation for udvikling af de analytiske greb, som de 19 systematiske reviews bliver betragtet i lyset af. Disse kapitler afslører imidlertid intet om, hvorledes det reelle og langt mere komplekse arbejde med en tilsyneladende fremvoksende metode har været. Der er således dele, som er relevante for dokumentationen af analyseprocessen, jeg mener, der ikke lader sig dokumentere til fulde, andet end at nævne, at de analystiske greb er udviklet som en konsekvens af en vekslen mellem empiri og teori med bestræbelserne om at forstå empirien med de teoretiske (og personlige) redskaber, der har været i spil. ANALYSEMETODE Som det er antydet i ovenstående, er det empiriske materiale blevet gennemlæst op til flere gange og med mange forskellige perspektiver for forståelser. En væsentlig indledende del af gennemlæsningen har bestået i at få de pågældende reviews grupperet. Grupperingen har syntes at være en måde at kunne komme omkring en analyse af de 19 reviews på, der kunne lykkes med at gå i dybden med materialet qua grupperinger. Samtidig skulle grupperingen give mening ved, at der måtte eksistere en tydelig forskel mellem grupperne. Jeg mener, at det er lykkedes at præsentere en forskel mellem grupperne, men som det også fremgår af analysen, er materialet meget ens, og det har til tider været oplevelsen at skulle finde en nål i en høstak. Med ønsket om at gruppere de 19 reviews er der fundet små, men også efter min mening både relevante og interessante nuancer i materialet. I mit arbejde med at gruppere 126

129 materialet har jeg været bevidst om, at mit ønske om at gruppere de 19 systematiske reviews ikke skulle være et overgreb, således at grupperingen overtog perspektiverne i materialet. Eftersom jeg synes, at hver af grupperingerne i materialet fortæller noget interessant, er jeg (dog først sent i analysen) blevet overbevist om, at det var en god idé at gruppere materialet. Det er endvidere fortrinsvis med analysen af forskningsfunktioner for den kvalitative forskning, der har haft betydning for grupperingen af reviews i fire grupper. I analysen af inddragelsesniveauer har materialet vist sig at være mere ens på tværs, men denne analyse viser alligevel nuancer i materialet, der ikke har så meget at gøre med inddragelsen af dataene, men derimod understøtte, at det, qua forskellige typer reviewspørgsmål, er relevant at tale om fire grupperinger af reviews. AN ALYS E AF FO RS KNINGS FUNKTIO N ER Med henblik på at finde frem til forskningsfunktioner for den kvalitative forskning, er der taget udgangspunkt i analyser af henholdsvis reviewspørgsmål, in- og eksklusionskriterier og forskningssyntesen i de enkelte reviews Det er sigtet med analyserne at få frem, hvad det er for en rolle/funktion, som den kvalitative forskning tildeles, dvs. spørgsmålet om typer af indsigt, som den kvalitative forskning bliver brugt til at bidrage med. Reviewspørgsmålet markerer, hvad det er for spørgsmål, som det med reviewet ønskes bliver undersøgt og som der samtidig er anvendt kvalitativ forskning til besvarelse af. Ligeledes forholder det sig med forskningssyntesen dvs. den endelige konklusion/besvarelse af reviewspørgsmålet der formidler, hvad reviewet endelig har opnået indsigt i. In- og eksklusionskriterierne er interessante, idet de formidler en forståelse af, hvilken type forskning der opfattes at have/ikke-have en funktion til besvarelse af reviewspørgsmålet og får betydning for konklusionen, dvs i forskningssyntesen i reviewet. De tre datapunkter, dvs. reviewspørgsmål, forskningssyntese og in- og eksklusionskriterier findes oplyst flere forskellige steder i de pågældende reviews, og der er nuancer i datapunkterne, afhængigt af, hvor i reviewet de formidles. Det har været ønsket at udpege det mest centrale sted, hvor datapunkterne formidles, der kunne sikre, at datapunkterne er hentet et sted, der er central for formidlingen af datapunkterne. Derfor er der taget udgangspunkt i steder, som er markeret selvstændigt for formidling af disse datapunkter. Samtidig har det været ønsket på tværs af de pågældende reviews at udtrække 127

130 data fra nogenlunde samme sted. Det vil med andre ord sige, at der skulle udpeges en række overensstemmende steder på tværs af samtlige 19 reviews, hvor datapunkterne udledes. I de pågældende systematiske reviews findes forskellige typer reviewspørgsmål, dvs. et overordnet reviewspørgsmål (broad review question) og et reviewspørgsmål til syntesen (in-depth review question). Eftersom afhandlingen har fokus på, hvordan kvalitativ forskning inddrages i syntesen, er der taget udgangspunkt i reviewspørgsmålet til syntesen, altså in-depth review question. Dette reviewspørgsmål er nævnt forskellige steder i de pågælende reviews, hvoraf det er valgt så vidt det var muligt - at tage udgangspunkt i reviewspørgsmålet, som det fremgår af de indledende kapitler i de pågældende reviews. Her er reviewspørgsmålet til syntesen typisk markeret med en anden farve end den resterende tekst, det formidles i en boks og/eller fremtræder med skråskrift. Det vil sige, at reviewspørgsmålet her fremstår som central for formidlingen af, hvilken problemstilling, reviewet ønsker at undersøge. Såfremt det ikke har været muligt at finde frem til reviewspørgsmålet i de indledende kapitler, er der taget udgangspunkt i reviewspørgsmålet, som det fremtræder i kapitlet om syntesen af primærforskningen. Det er ligeledes her prioriteret at tage udgangspunkt i et reviewspørgsmål, der er markeret i teksten, enten med skråskrift og/eller i farvede bokse. Som det er tilfældet med reviewspørgsmål, er in- og eksklusionkriterier tillige formidlet flere steder i de pågældende reviews. In- og eksklusionskriterier er desuden typisk beskrevet i et selvstændigt bilag, som foreliggende analyse fortrinsvis tager afsæt i. I analysen af forskningssyntesen er der ligeledes som med reviewspørgsmålet fortrinsvis taget udgangspunkt i, hvorledes dette formidles og fremtræder i de indledende kapitler i reviewet. Såfremt informationen her er vurderet ikke at være tilstrækkelig, er data hentet fra kapitlet om syntesen af forskningsresultatet, hvor forfatterne opsummerer resultatet af syntesen. AN ALYS E AF I NDDRAGELS ESNIV EAU ER I analysen af inddragelse af primærforskningen - herunder inddragelse af den kvalitative forskning - tages der udgangspunkt i en undersøgelse af, hvordan variable bearbejdes og bliver til i synteseprocessen i de pågældende reviews. I den forbindelse fungerer reviewspørgsmålet og forskningssyntesen som styrende for, hvilken synteseproces for de konkrete variable, der tages udgangspunkt i. Det vil sige, at når et review i reviewspørgsmålet hævder, at det undersøger variabel (x) og i forskningssyntesen besvarer spørgsmålet 128

131 angående variabel (x), er der taget udgangspunkt i, hvordan variabel (x) er blevet til i synteseprocessen. Ved analysen af variabel (x) i synteseprocessen undersøges det, hvordan variablen bliver til som en konsekvens af inddragelsesniveau 1, 2 og 3. Inddragelsesniveauerne angår visse handlinger, der finder sted under en syntetisering af data fra primærforskningen i udvikling af systematiske reviews. Som det fremgår af indledningen, henviser inddragelsesniveau 1 til, hvordan data behandles, når de indhentes fra primærforskningen. Ved inddragelsesniveau 2 henvises til, hvordan data behandles sammen med data fra anden primærforskning, mens inddragelsesniveau 3 angår, hvordan data bearbejdes i forhold til, at data bidrager til at besvare et indledende reviewspørgsmål. Analysen af primærforskningens inddragelse præsenteres gennem samme fire grupperinger af reviews, som analysen forinden om forskningsfunktioner har givet anledning til. Der er lagt vægt på at nå omkring samtlige reviews i de enkelte grupper, frem for en præsentation af en analyse af samtlige variable (x),(y),(z), der findes i et givet reviewspørgsmål/forskningssyntese og synteseproces. Som det må fremgå af ovenstående beskrivelse af analysen af de 19 systematiske reviews, er analysen begrænset af, at der tages udgangspunkt i, hvordan primærforskningen rapporteres at blive inddraget og syntetiseret i de pågældende 19 systematiske reviews. Såfremt der finder en alternativ syntetisering sted, der ikke er rapporteret i de 19 systematiske reviews som måske har været vanskelige at rapportere er dette ikke medtaget. Analysen af de 19 systematiske reviews skal derfor udelukkende anskues således, at der om forskningsfunktioner og inddragelse af data tages udgangspunkt i rapporteringen af, hvordan dette er forløbet. Foreliggende afhandling kan derfor med fordel suppleres med anden forskning, der måtte undersøge, hvordan en synteseproces finder sted med udgangspunkt i andres evt. narrative fortællinger og erfaringer med udvikling af systematiske reviews. Opsamling I det foreliggende kapitel er der redegjort for indhentning og analyse af de 19 systematiske reviews, der udgør afhandlingens empiriske materiale. De 19 systematiske reviews er produceret af Eppi-Centre ved University College London, Institute of Education, der fungerer som én af de få institutioner på uddannelsesområdet, der inddrager kvalitativ forskning i 129

132 produktionen af systematiske reviews. Endvidere er Eppi-Centre den langt største producent af systematiske reviews, og der er meget, som tyder på, at institutionen nu og i fremtiden øger stor indflydelse på, hvordan lignende institutioner arbejder med udvikling af systematiske reviews. Endvidere leverer Eppi-Centre et grundlag for, at der inddrages kvalitativ forskning. De 19 systematiske reviews er udvalgt på baggrund af i alt 53 systematiske reviews, produceret af Eppi-Centre i den femårige periode fra 2006 til og med De 19 udvalgte systematiske reviews omhandler en uddannelsesmæssig problemstilling og er kendetegnet ved, at de alle har en intenderet inddragelse af kvalitativ primærforskning i syntesen. I analysen af de 19 systematiske reviews er det blevet undersøgt, hvilken forskningsfunktion, den kvalitative forskning opnår i de konkrete reviews. Endvidere er det undersøgt, hvordan inddragelse af data fra primærforskningen foregår. Disse analyseredskaber om forskningsfunktion og inddragelse er udviklet i et samspil mellem teorien og empirien, som er i spil i afhandlingen. 130

133 Kapitel 6: Analyse af 19 systematiske reviews I dette kapitel præsenteres analysen af afhandlingens tredje og sidste materiale, dvs. de 19 systematiske reviews, produceret af Eppi-Centre i perioden Som i analysen af de to øvrige materialer er der i dette kapitel fokus på at få henholdsvis forskningsfunktioner og inddragelse af den kvalitative forskning frem. Helt grundlæggende skal det i kapitlet - i tråd med problemstillingen for afhandlingen - besvares, hvordan den kvalitative forskning bruges, når den undersøges for, hvordan den indgår i faktiske, systematiske reviews. Ligeledes i tråd med problemstillingen for afhandlingen vil det i kapitlet blive diskuteret, hvilke konsekvenser anvendelsen af den kvalitative forskning, som den tager sig ud i de 19 systematiske reviews, er forbundet med. I analysen af de to øvrige materialer i afhandlingens forrige kapitler findes forskellige bud på, hvordan den kvalitative forskning kan/bør indgå i systematiske reviews. Disse perspektiver er dukket frem fra materialerne, der udtrykker (forskellige) holdninger til og syn på forskning, herunder den kvalitative forskning. Det er med udgangspunkt i dette spændingsfelt mellem, på den ene side, holdninger til og syn på den kvalitative forsknings placering og rolle i forskningssammenhænge, og, på den anden side, deres konkrete placering i de 19 systematiske reviews, der bidrager til diskussioner om konsekvenser for anvendelse af kvalitatativ forskning i systematiske reviews. I analysen af de 19 systematiske reviews er der i første omgang fokus på at finde frem til, hvilken forskningsfunktion den kvalitative forskning tildeles i de pågældende reviews, dvs. hvilken type indsigt der efterspørges og som der anvendes kvalitativ forskning til besvarelse heraf. I næste omgang er der fokus på at undersøge, hvordan den kvalitative forskning inddrages, både hvordan den behandles, når data fra primærforskningen udtrækkes enkeltvis (inddragelsesniveau 1), hvordan dataene indgår på tværs af anden primærforskning (inddragelsesniveau 2), og hvordan den indgår i forhold til at besvare et reviewspørgsmål (inddragelsesniveau 3). Forskningsfunktion for den kvalitative forskning Med udgangspunkt i de pågældende 19 systematiske reviews skal det undersøges, hvilken forskningsfunktion den kvalitative forskning tildeles. Det undersøges på baggrund af 131

134 materialets reviewspørgsmål, in- og eksklusionskriterier samt forskningssynteser. På tværs af materialet findes nuancer i formulering af henholdsvis reviewspørgsmål, in- og eksklusionskriterier samt forskningssynteser. Nuancerne betyder, at undersøgelsen af forskningsfunktioner for den kvalitative forskning i de pågældende systematiske reviews tager sig forskellig ud. Derfor præsenteres de 19 systematiske reviews i fire grupperinger. Først reviews 1-6, dernæst reviews 7-9, og sidst FOKUS PÅ INTERVENTIONENS EFFEKT, REVIEWS 1-6 Reviews 1-6 er kendetegnet ved, at de systematiske reviews rapporterer et klart fokus på at besvare spørgsmål om uddannelsesindsatsers effekt 34. I det følgende skal vi se, hvordan et fokus på at udlede dette gør sig gældende i henholdsvis reviewspørgsmål, in-og eksklusionskriterier samt i resultater af forskningssynteser. Nedenstående tabel 6.1 er en oversigt over reviewspørgsmål for seks systematiske reviews. Tabellen opridser først de pågældende reviewspørgsmål, som de kommer til udtryk i de individuelle rapporter (jf. kolonne 1). Derefter er de individuelle reviewspørgsmål blevet sorteret i forhold til at tydeliggøre, at der med de pågældende spørgsmål er tale om at undersøge virkninger af pædagogiske indsatser. 1. Reviewspørgsmål 2. Årsag/intervention 3. Virkninger/outcome-mål 1. Which teaching approaches that explicitly aim to develop pupils learning capabilities and which have been used in at least 3 schools show evidence of improved learning of pupils? Teaching approaches (that explicitly aim to develop pupils learning capabilities and which have been used in at least 3 schools) Improved learning of pupils (Higgins, Baumfield et al. 2007:1) 2. Strategies Motivational effort (in Key Stage 4 34 Analysen af de 19 systematiske reviews skal læses således, at begreberne effekt og virkning bruges i flæng. Afhandlingen kunne give anledning til, at begrebet effekt henviser til primærforskning, der findes øverst i evidenshierarkiet (jf. kapitel 4), mens virkning kunne henvise til kvalitativ primærforskning (jf. kapitel 3). Denne forståelse er ikke lagt ned over begreberne i dette kapitel og findes heller ikke i de 19 systematiske reviews, der ligeledes bruger begreberne om en flerhed af forskellige typer forskning. I kapitlet bruges endvidere begreberne intervention og outcome-mål. Afhandlingen kunne her også forstås at knytte disse begreber til forskning af en særlig karakter (jf. kapitel 4), hvilket dog heller ikke er tilfældet. Begreberne bruges, fordi de anvendes i de 19 systematiske reviews, der som nævnt inddrager forskellige typer af forskning, der undersøger intervention og outcome-mål. 132

135 What strategies can raise motivational effort in Key Stage 4 Mathematics among pupils in the midbelow-average to average range of mathematical attainment in England? 3. What are the effects of the roles of mentors or inductors using induction programmes for newly qualified teachers (NQTs) on their professional practice, with special reference to teacher performance, professional learning and retention rates? 4. What is the evidence of the impact on students in secondary schools of self and peer assessment Mentors or inductors using induction programmes for newly qualified teachers NQTs Self and peer assessment Mathematics among pupils ). (Kyriacou & Goulding 2006:1) Their professional practice, with special reference to teacher performance, professional learning and retention rates. (Totterdell, Woodroffe et al. 2008:3) Students in secondary schools (pupil attainment, Pupil selfesteem, pupil learning to learn). (Sebba, Crick et al. 2008:1, 20-21) 5. Which types of classroom-based pedagogical interventions affect the educational achievement of pupils identified as gifted and talented? 6. What is the impact of adult support staff on the participation and learning of pupils and on mainstream schools? Classroom-based pedagogical interventions Adult support staff Educational achievement of pupils identified as gifted and talented (Bailey, Pearce et al. 2008) Participation and learning of pupils and on mainstream schools (Alborz, Pearson et al. 2009:1) Tabel 6.1. Reviewspørgsmål for reviews 1-6. I ovenstående tabel 6.1 er reviewspørgsmålene blevet delt op således, at kolonne 2 udskiller intervention (årsag), mens kolonne 3 udskiller effekten (virkning). I tabellen ses det, at der bruges forskellige udtryk, der er med til at understrege bestræbelserne om at udlede sammenhænge mellem to undersøgelsesfænomener. Dertil bliver der med reviewspørgsmålene brugt vendinger som the impact of, the effect of, show evidence of improved, what strategies can rise, which affect. Ifølge reviewspørgsmålene er der med de pågældende reviews fokus på at finde frem til virkninger af en række uddannelsesmæssige og pædagogiske aktiviteter, såsom virkninger ved at inddrage lærerassistenter i undervisningen (review 6). Virkninger forbundet med at udnytte mentorer i læreruddannelsen (review 3) samt effekterne af en pædagogisk metode, der handler om, at eleverne skal vurdere egne og 133

136 andre elevers præstationer (review 4). I tabellens kolonne 3 er angivet specifikke outcomemål, som interventionens effekter relateres til, der angår såvel personlige kompetencer som faglige kvalifikationer. Ifølge reviewspørgsmålene i reviews 1-6 er der med andre ord tale om at inddrage primærforskningen i forhold til at afdække forklaringer (jf. sondringen mellem forklaring og forståelse i kap. 1). Dette bekræftes yderligere, såfremt der tages højde for, hvilke forskningsresultater de enkelte reviews fremhæver i den endelige syntetisering af primærforskningen. Nedenstående tabel 6.2 er et uddrag af forskningssyntesen, som den udtrykkes i de pågældende systematiske reviews. Det er hensigten med citaterne atter at argumentere for, at de pågældende systematiske reviews indeholder bestræbelser om at udlede sammenhænge mellem to undersøgelsesfænomener, intervention og outcome-mål, dvs. at udlede forklaringer på baggrund af et genstandsfelt. Review 1. Forskningssyntese - a clear understanding of the features of the relevant learning processes are necessary to achieve success in a particular context - the design of concrete tasks to scaffold the development of the awareness of the awareness of the processes and their importance for success - opportunities to feedback during the task, thus enabling teacher intervention but also providing for this to become gradually internalized as selfregulation - explicit emphasis on developing capability thorug effort and the possibility of improving perfprjmance by responding to feedback and adaptation (Higgins, Baumfield et al. 2007:23) 2. The studies here indicate that strategies making use of ICT (ranging across methods involving the use of interactive whiteboards, videoconferencing, supportive software packages for pupils, and graphical calculators) can have a powerful effect on raising motivational effort. Other innovative methods included the use of cognitive acceleration in mathematics education (CAME) or CAME-type lessons, the teaching of self-regulation strategies, teaching based on extending features of the NNS in primary schools into secondary schools (such as the use of mental/oral starters and whole class interactive teaching), and the use of formative assessment. The studies here indicated that such innovative methods can play a part in raising motivational effort. (Kyriacou & Goulding 2006:37) 3. Overall, these studies indicate that the effect of induction practices on teacher performance is positive three of the studies note that problem of NQT attrition rates during or after the first year of teaching and provide compelling evidence to show that positive relationship between NQT induction and NQT retention (Totterdell, Woodroffe et al. 2008:33-34) 4. Most studies reported some positive outcomes including: - pupil attainment across a range of subject areas (9 out of 15 studies showed a positive effect) 134

137 - Pupil self-esteem (7 out of 9 studies showed a positive effect) - Increased engagement with learning, especially goal setting, clarifying objectives, taking responsibility for learning, and/or increased confidence (17 out of 20 studies showed a positive effect) (Sebba, Crick et al. 2008:27) 5. This review s questions have been answered and the purpose fulfilled, revealing what interventions have been effective and could possibly be effective in future practice (Bailey, Pearce et al. 2008:35) - The review supports the use of personalized learning and differentiation. There was evidence in favor of the appropriate use of streaming, differentiated provision within mixed ability classes, and individualized programmes - The quality and character of group interactions was identified as a significant factor in the effectiveness of support for gifted and talented pupils - Studies indicated that enrichment programmes that help gifted and talented pupils develop selfregulation and higher order thinking skills had a positive effect on their achievement and engagement. (Bailey, Pearce et al. 2008:1) 6. Literature suggests that trained and supported teaching assistants (TAs) can have a positive impact on the progress of individual or small groups of children, in the development of basic literacy skills (Alborz, Pearson et al. 2009:1) Tabel 6.2: Uddrag af forskningssynteser, som de fremgår i de opsummerende afsnit; enten summary of results of synthesis eller what did we find out. I ovenstående tabel 6.3 findes uddrag af forskningssynteserne, som de fremstår i de seks systematiske reviews. I forskningssynteserne konkluderes der på, hvad der er effektive pædagogiske indsatser. For eksempel i review 2 nævnes en hel del interaktive undervisningsredskaber såsom whiteboards og software-udstyr, der vurderes at have en betydning i forhold til at øge elevers motivation for matematikundervisningen: can have a powerful effect on raising motivational effort (review 2). I review 6 konkluderes det, at udnyttelsen af lærerassistenter i undervisningen har en positiv effekt på elevers udvikling af basale læsefærdigheder. Ud over et fokus på at opnå indsigt i effektive pædagogiske indsatser er de pågældende reviews kendetegnet ved at ville fremdrage en anden type viden end forklaringer. Det komme tillige til udtryk i henholdsvis reviewspørgsmålene og/eller i forskningssynteserne. I nedenstående skema over reviewspørgsmål og forskningssynteser bliver det vist, hvorledes det med de pågældende systematiske reviews er bestræbelsen at opnå viden, der rækker ud over at afklare effektive pædagogiske indsatser. I de pågældende systematiske reviews indgår denne viden undertiden under betegnelsen sub-question eller 135

138 further question, som det i den foreliggende analyse er valgt at omtale som tillægsspørgsmål (til hovedspørgsmålet). 1. Review 2. Reviewspørgsmål (Tillægsspørgsmål) 3. Forskningssyntese (Forskningssyntese, der besvarer øvrige spørgsmål end hovedspørgsmålet om effekt) 1 A further sub-question was added to identify issues in scaling up interventions or teaching approaches across schools: What issues are identified in these studies about implementation or scaling up of the teaching approach? (Higgins, Baumfield et al. 2007:1) We can also identify some necessary conditions: - The teacher needs to have alignment of a good understanding of learning, in terms of the subject and the context what European educationalists would call didactics - There is also the need for the teacher to have access to concrete tools and strategies to guide the learner and enhance opportunities for feedback - Both teachers and learners should have an orientation towards learning, characterized by a willingness to engage in dialogue and negotiation regarding the intent and purpose of a particular teaching and learning episode (Higgins, Baumfield et al. 2007) 2 (Ingen) The studies here indicate that strategies making use of ICT can have a powerful effect on raising motivational effort However, for strategies based on both ICT-based and other innovative methods of teaching to be effective in raising pupils motivational effort, teachers need to have a good understanding of the theoretical basis concerning why and how the innovation can be effective, and to develop the skills and techniques required for its effective practical implementation, as the effectiveness of any innovative teaching method is highly sensitive to the way in which it is implemented. (Kyriacou & Goulding 2006:2) 3 (Ingen) Three of the six studies show some evidence of an improvement in teacher performance Induction aids confidence in NQTs, enhances their classroom practice in terms of motivating and grading their students/pupils, and they are enabled to depersonalize classroom problems more and make faster progress in competently executing teaching tasks. the studies, which also indicated that information about school organization, whole school recognition or the value of NQT induction, time allocated for NQT induction, and appropriate matching of induction tutor with NQT are important factors for effective induction. (Totterdell, Woodroffe et al. 2008:33-34) 4 Further questions to be addressed by the in-depth review were: - How does any impact vary with the characteristics of the Conditions that affect the impact of self- or peer assessment - The classroom culture was related to positive outcomes for students. The teacher needs to be committed to learners having control over the process, and to be able to discuss learning and develop effective student feedback. 136

139 students in secondary schools and the approaches used in self and/or peer assessment? - What conditions affect the impact of self and peer assessment? (Sebba, Crick et al. 2008:18) - Self and peer assessment are more likely to impact on student outcomes when there is a move from a dependent to an interdependent relationship between teacher and students which enables teachers to adjust their teaching in response to student feedback. - Although no clear relationship between students owning the process and positive outcomes was established in the review, it does seem to be important to involve students in co-designing the criteria for evaluation. This helps them to develop a better grasp of their own strengths and weaknesses - There were no significant differences for different groups of students (for example by gender, ethnicity or prior attainment) (Sebba, Crick et al. 2008:27) 5 (Ingen) - There was evidence in favor of the appropriate use of differentiated provision within mixed ability classes however, effective provision within mixed ability classes presumes a positive classroom climate. - There was evidence that collaborative and group actives helped gifted and talented pupils perform better at some tasks. The role of the teacher was highlighted as especially important in promoting and maintaining positive group work. (Bailey, Pearce et al. 2008:1) 6 (Ingen) Processes supporting positive pupil impacts: TAs appear effective where trained and supported to deliver specific interventions to individuals or small groups. However, the intervention itself should be robust: that is, for example, delivered appropriately and implemented over a sufficient period of time to have an effect Processes supporting positive school impacts: Support appears more effective when incorporated into a team teaching approach, where the TA is used as a resource to support individuals or groups within the classroom. Planning and evaluation within team meetings act to improve facilitation for pupils and enhances the teacher/ta relationship. (Alborz, Pearson et al. 2009:41-42) Tabel 6.3: Reviewspørgsmål (tillægsspørgsmål) og forskningssyntese, hvori der indgår viden om processuelle forhold, knyttet til effektfulde interventioner. Uddrag af forskningssyntese ( results, summary of results of synthesis, What did we find out ), hvor der besvares samme processuelle spørgsmål. Citater, der er fremhævet med FED i tabellen, skal forstås således, at de i forskningssynteserne fremtræder som besvarelser på effektspørgsmål (hovedspørgsmålet i review-spørgsmålet). I ovenstående tabel fremgår det, at i to systematiske reviews (reviews 1 og 4) er tilføjet tillægsspørgsmål i reviewspørgsmålet. I review 4 fremgår det, at tillægsspørgsmålet angår.. issues about implementation or scaling up og i forskningssynteserne karakteriseres 137

140 tillægsspørgsmålene således, at der søges viden om; necessary conditions (review 1.), conditions that affect the impact (review 4.). I review 6 er anvendt en lignende vending som processes supporting postive impact. I uddragene af citaterne fra forskningssynteserne angående review 1 og 4 fremgår det, at der er tale om en type viden, der skal ses i sammenhæng med de foregående (primære) bestræbelser på at udlede effektive pædagogiske interventioner. I den forbindelse er der tale om, at der konkluderes omkring nogle underliggende forudsætninger om, hvad det er, som skal være tilstede (ved implementeringen) for at opfylde målsætninger om, at en given pædagogisk praksis har de ønskede positive effekter. I review 4 henviser tillægsspørgsmålene yderligere til, at der ønskes en viden om, hvorvidt interventionens effekter gør sig gældende for nogle typer elever frem for andre (køn, etnicitet mv.); dvs. viden om for hvem interventionen er ensbetydende med de pågældende effekter. I tabellen fremgår det yderligere, at selvom de øvrige systematiske reviews ikke har tilføjet et tillægsspørgsmål til review-spørgsmålet, er den type viden, som de to reviews efterspørger med deres tillægsspørgsmål og skaber i deres forskningssynteser, også en type viden, der kan genfindes i forskningssynteserne i de øvrige systematiske reviews. I den sammenhæng er det tænkt som en hjælp, at det er markeret i tabellen, hvornår forskningssynteserne besvarer henholdsvis hovedspørgsmålet om effekter af indsatser og tillægsspørgsmålene om processuelle forhold. Som det fremgår af tabellen, er citater, der er fremhævet med fed skrift, dem, der i forskningssynteserne fremtræder som en besvarelse på et effektspørgsmål (hovedspørgsmålet i review-spørgsmålet). Citater, der ikke er markeret med fed, fremtræder i forskningssynteserne som viden om processer ved interventionen, der i de pågældende reviews på baggrund af primærforskningen - er vurderet at være til stede med henblik på at opnå de ønskede virkninger: fx med review 2 ser vi, hvordan en hovedkonklusion i reviewet er, at inddragelse af IT-udstyr i matematikundervisningen har en positiv effekt på elevers motivation. Dernæst fremgår det af citatet, at de ønskede effekter med interventionen opnås, såfremt lærerne har en god forståelse for, hvordan og hvorfor interventionen er effektiv. Med review 3. ser vi, hvordan en del af den processuelle viden om interventionen udgør en besvarelse af, hvorfor en intervention har en positiv effekt: Induction aids confidence in NQTs, enhances their classroom practice in terms of motivating and grading their students/pupils and. Med citatet fremgår det, at et introduktionsforløb for nye lærere bevirker en særlig praksis i klassen, der i 138

141 reviewet fremtræder som en begrundelse for, hvorfor introduktionsforløbet resulterer i positive elevpræstationer. Inddeling af et hovedspørgsmål om afklaring af effekt, efterfulgt af et tillægsspørgsmål, der afklarer for hvem, hvad og hvorfor interventionen medfører pågældende effekt, kan betragtes som en struktur, der i afhandlingen særligt er blevet præsenteret med Cochrane handbook om systematiske reviews. Den pågældende struktur er, som vi har set i kap. 4, knyttet til en forståelse af, at kvalitativ forskning belyser procesafklarende spørgsmål og implementeringsmæssige forhold, mens visse kvantitative interventionsstudier afklarer virkninger/effekten af en indsats. DEN KVALITATIV E FORSK NING I de pågældende seks systematiske reviews foretages en redegørelse for in- og eksklusionskriterier af primærforskningen. Kriterierne angår en række krav til primærforskningen, der er medtaget i syntesen. Med disse kriterier er det muligt at finde frem til nogle mere konkrete kriterier, hvorunder sortering og udvælgelse af primærforskningen er foregået og dermed også få et indblik i, hvilken type forskning der er brugt til at understøtte hovedspørgsmålene og tillægsspørgsmålene om henholdsvis effekt og afklaring af processuelle forhold, knyttet til en given indsats. Nedenstående tabel 6.4. viser in-og eksklusionskriterier for de seks reviews. Tabellen angiver de pågældende reviews 1-6, der fungerer som samme reviews 1-6 fra forrige tabel. 1. Review 2. Årsag/Intervention 3. Virkning/Outcome 1. Are about teaching approaches where the goal is to develop pupils learning capabilities (inklusion) - Are not about developing pupils learning capabilities (eksklusion) Contain empirical classroom research with data or evidence (such as on pupil outcomes, classroom processes, teacher role). (Higgins, Baumfield et al. 2007:34) The study is relevant to considering strategies for increasing (inclusion) - Not relevant to increasing (eksklusion). Examples of exclusion: a study dealing with the development of pupils understanding of a specific topic, or a study dealing solely with pupils mathematical attainment Must focus on teacher induction for NQTs or beginning teachers (inklusion) The study is relevant to considering classroom-based motivational effort towards learning mathematics (inklusion) - Not effort towards learning mathematics (eksklusion) (Kyriacou & Goulding 2006:48) Empirical information is reported about teacher retention or teacher performance or teacher learning (inklusion) (Totterdell, 139

142 Woodroffe et al. 2008:53) 4. Not self or peer assessment (excluded if students had no part in collecting and interpreting information about their performance Types of assessment: Studies were included which dealt with the impact of some form of formative or summative assessment - Not reporting impact on students of the process of self- or peer assessment but just the outcome of the assessment (eksklusion). (Sebba, Crick et al. 2008:37) The focus of the study is not explicitly about gifted and talented/highly able/more able (eksklusion) - Not an intervention scope of intervention should be within the parameters of the Classroom Quality Standards Adult support: Paid and unpaid adults who provide support in school Study does not report the measure of intervention outcomes (eksklusion). (Bailey, Pearce et al. 2008:6-7) Impact: On participation (attendance, engagement), academic learning (progress/advancement. Social and emotionel adjustment (selfesteem, relationships). (Alborz, Pearson et al. 2009) Tabel 6.4. In- og eksklusion af primærforskning, gruppe 1. I ovenstående tabel 6.4. fremgår uddrag af en række eksklusionskriterier, der er ekspliciteret i de pågældende systematiske reviews. Kolonne 2. skal forstås sådan, at der er angivet inog/eksklusionskriterier for interventionstypen i det pågældende review, mens kolonne 3 angår in- og/eksklusionskriterier for typer af outcome-mål. Det væsentlige med tabellen er, at den pågældende primærforskning er blevet inddraget, idet at den er vurderet at forholde sig til den rette type årsag (intervention), samtidig med at den er vurderet at indeholde rette specificerede virkning (outcome-mål). Selvom det kun ekspliciteres i tre systematiske reviews (reviews 2, 4, og 5), må det antages at forholde sig sådan, at for de øvrige reviews i tabellen er de pågældende interventionstyper og outcome-mål også vurderet at være relateret til hinanden i primærforskningen, således at de konkrete outcome-mål vurderes at være givet interventionstypen. Den kvalitative forskning, som udgør en del af primærforskningen i de pågældende systematiske reviews, må således også være inkluderet i forhold til, at den er vurderet at relatere en intervention med et outcome-mål. I relation til in- og eksklusionskriterier er det karakteristisk for de seks systematiske reviews, at der ikke er rapporteret, at der er foretaget nogen selektionskriterier (in- og eksklusionskriterier), der specifikt stiller krav til forskningen angående viden af processuel karakter. Den inkluderede 140

143 primærforskning er udelukkende inkluderet i forhold til, at den er vurderet at relatere to variable, intervention og outcome-mål. Viden af processuel karakter må derfor antages at være indeholdt eller udledt af forskningen, der samtidig bliver anvendt til at besvare spørgsmål om virkning/effekt. I det følgende skal vi nærmere ind i syntesen og undersøge, hvordan primærforskningen er rapporteret at blive inddraget heri. Som vi har set i det foregående, omhandler en række bestræbelser i de seks systematiske reviews inddragelse af primærforskningen i forhold til, hvorledes den individuelle og samlede primærforskning besvarer, hvorvidt konkrete pædagogiske tiltag virker/ikke virker. I løbet af synteseprocessen for tre af de seks systematiske reviews markeres dette fokus i et skema/tabel, hvor den individuelle primærforskning er skitseret i forhold til deres besvarelser herpå (Higgins, Baumfield et al. 2007: 22; Bailey, Pearce et al. 2008:27-30; Alborz, Pearson et al. 2009:21,26,28,29,31). I skemaerne for tre systematiske reviews bliver den individuelle primærforskning fremholdt nogenlunde enslydende med et begrebssæt som; Positive impact, negative effect, Some positive learning gains, successful learning strategy, significant improvement, overall positive gains (Ibid.). I et enkelt systematisk review forstås primærforskningen, at den udtrykker både negative og positive effekter angående en pædagogisk indsats, hvilket angives som mixed resultater (Alborz, Pearson et al. 2009:21,26,28, 29,31,). Ud over de omtalte skemaer er synteseprocessen for de seks systematiske reviews rapporteret således, at den for størsteparten (i alt 5 reviews) er kendetegnet ved, at de pågældende reviews fremhæver antal studier, der påviser positive eller negative virkninger angående en given pædagogisk indsats. Nedenstående citater er eksempler på denne type inddragelse: Three of the six studies show some evidence of an improvement in teacher performance as a consequence of NQT induction. (Totterdell, Woodroffe et al. 2008:30). Twenty of the twenty-six studies reported on outcomes relating to aspects of learning to learn. This area had both the most studies, and the most studies reporting positive findings (Sebba, Crick et al. 2008:21). The studies by Gerber et al. (2001) and Blatchford et al. (2001) are part of a larger project The main findings of these studies are that the presence of 141

144 TAs in a classroom has no clear and consistent effect on attainment of the class on average (Alborz, Pearson et al. 2009:29). Ovenstående citater viser, hvordan primærforskningen fremhæves i forhold til antal studier, der understreger påståede sammenhænge mellem pædagogiske indsatser og virkninger heraf. Nedenstående tabel 9.4. er en registrering af, hvor mange studier i syntesen der rapporteres at blive anvendt til at besvare hovedspørgsmål om effekt/virkning. Registreringen er empirisk mulig, idet de pågældende systematiske reviews refererer til den pågældende primærforskning ved udsagn om effekter af en pædagogisk indsats hvilket kan betragtes som et udtryk for at imødekomme transparans. Registreringen er foregået således, at den individuelle primærforskning er vurderet at besvare spørgsmål om effekter af pædagogiske indsatser, såfremt den individuelle primærforskning er blevet inddraget i enten de føromtalte skemaer om positiv eller negativ effekt eller i citater som ovenstående. Den pågældende registrering er foretaget med henblik på at kaste lys over andelen af primærforskning, der i synteseprocessen rapporteres at indgå og blive anvendt til at besvare hovedspørgsmålet om effekten af pædagogiske tiltag. Registreringen bidrager til at fastslå, at det må antages, at den kvalitative forskning er blevet inddraget i forhold til at afklare kausalitet, hvorfor den inkluderede kvalitative primærforskning må antages at opnå en effektafklarende forskningsfunktion i de pågældende reviews. 142

145 1. Review nr. 2. Antal studier i syntesen 3. Studier besvarer effektspørgsmål (Higgins, Baumfield et al. 2007:22) (15+?) (Kyriacou & Goulding 2006:28-35) (Totterdell, Woodroffe et al. 2008:30-34) (Sebba, Crick et al. 2008:24-26) (Bailey, Pearce et al. 2008:27-30) (Alborz, Pearson et al. 2009:21-33) Tabel 6.5: Antal primærforskning, der i synteseprocessen besvarer spørgsmål om effekter af indsatsen, reviews 1-6. Ovenstående tabel 6.5 viser antal inkluderede studier i syntesen (kolonne 2) og antal studier, der rapporteres at blive anvendt til at besvare effektspørgsmål (kolonne 3). I tabellen fremgår det, at review 1 har inkluderet 10 studier i syntesen, men kun 9 kan registreres således, at de inddrages til at afklare hovedspørgsmålet om effekt/virkning. Det pågældende systematiske review udtrykker synteseprocessen (stort set udelukkende) gennem det omtalte skema om positive og negative effekter. Det synes ikke at fremgå, hvorfor kun 9 studier bliver omtalt i skemaet. I review 4 er 26 studier inkluderet i syntesen, og 25 kan registreres således, at de besvarer hovedspørgsmålet om effekt/virkning. Det pågældende studie, der ikke er blevet anvendt til at besvare spørgsmål om effekt, er kvalitetsvurderet til lav evidensvægt, hvilket måske er årsag til, at der i det pågældende skema ikke er registreret positiv/negativ/mixed effekt ved pågældende studie. Review 2 har inkluderet 25 studier i syntesen, men kun 15 studier kan registreres at besvare spørgsmål om effekt. Synteseprocessen i det pågældende review er mere kompliceret, set i forhold til de fem andre systematiske reviews, idet øvrig forskning end de inkluderede studier er inddraget i synteseprocessen. Derudover er antallet af inkluderede studier højt, samtidig med at der ikke anvendes et skema om studiernes effektresultater, som det bliver anvendt i review 6., der tillige har mange inkluderede studier. I tabellen ses det, hvorledes der for review 2 (i kolonne 143

146 3) er sat en parentes om 15+, idet reviewet kan begrundes at ville argumentere for, at en større andel (end de 15) studier betragtes at indgå i syntesen m.h.p., at de besvarer hovedspørgsmål om effekt. I reviewet fremgår det flere steder, at samtlige studier eller en større flerhed af studier mener, at udsagn om (positiv) effekt gør sig gældende: Although three included studies will be highlighted here the issues raised in these studies are also connected with findings of several other included studies (Kyriacou & Goulding 2006). Trods det, at der er en smule usikkerhed forbundet med reviews 2, 3 og 5 om, hvorvidt den samlede inkluderede primærforskning bliver anvendt til at besvare spørgsmål om effekt, må der alligevel kunne konkluderes en stor sandsynlighed for, at flere systematiske reviews inddrager den kvalitative forskning med henblik på, at de i synteseprocessen besvarer spørgsmål om effekt. Dette er yderligere i tråd med og in- og eksklusionskriterierne for denne gruppe, hvor kravet til den inkluderede primærforskning er, som tidligere nævnt, at den forholder sig til intervention og et outcome-mål for interventionen. REVIEWS 7-9 ALLOKERING AF KVALITATIV FORSKNING Reviews 7-9 efterligner på mange områder de foregående seks systematiske reviews (se appendix 6.1. om gruppens reviewsspørgsmål, in- og eksklusionskriterier samt forskningssynteser). På den ene side er der med deres reviewspørgsmål fokus på at afklare effekter af pædagogiske indsatser som et hovedspørgsmål, der samtidig suppleres med tillægsspørgsmål af processuel karakter. I forskningssynteserne gør lignende sig gældende i forhold til at besvare spørgsmål om henholdsvis effekt/virkning og tilknyttede procesafklarende/implementeringsmæssige forhold. På den anden side omhandler deres inog eksklusionskriterier, herunder sorteringen af primærforskningen, tillige spørgsmål om typer af intervention, outcome-mål og relationen mellem dem. Det, som adskiller de tre systematiske reviews fra de foregående seks, er, at de udtrykker, at visse dele af den samlede primærforskning i syntesen ikke er anvendt til at besvare et hovedspørgsmål om interventionens effekt/virkning. Det kommer fx til udtryk i deres forskningssynteser, hvori det fremgår, at et bestemt antal af studier bruges til at besvare hovedspørgsmålet/effektspørgsmålet (se reviews 7 og 9 i appendix 6.1. under forskningssyntese ). I nedenstående tabel er registreret antal studier i syntesen, der 144

147 anvendes til at besvare hovedspørgsmålet om effekt/virkning. Der er anvendt lignende metode som i den forrige. Det vil sige, at det er vurderet, at der foregår en besvarelse på et effektspørgsmål, såfremt reviewet i synteseprocessen taler om effekt af en pædagogisk indsats, hvori primærforskningen fremhæves i forhold til antal studier i alt og samtidig understreger et årsags-virkningsforhold mellem pædagogiske indsatser og virkninger. 1. Review nr. 2. Antal studier i syntesen 3. Studier besvarer effektspørgsmål (5) only one study set out to measure attitude change. However, all the studies present some evidence that, in the particular context of that study and with its particular sample, culturally based art content and strategies have the potential to enable learners to change their perceptions of self. (Mason, Geareon et al. 2006:27) Tabel 6.6: Antal studier, der besvarer spørgsmål om effekt, reviews 7-9. Tabellen viser, at den samlede primærforskning i reviews 7, 8 og 9 ikke er blevet anvendt til at besvare hovedspørgsmålet om effekt/virkning. I review 9 kan kun registreres ét studie ud af en større mængde primærforskning, der anvendes til at besvare hovedspørgsmålet om effekt/virkning af pædagogiske indsatser. Det er karakteristisk for dette review, at det eksplicit fremgår i rapporten, at der kun inddrages ét studie dertil (se forskningssyntese i appendix 6.1.), hvilket der tillige reflekteres over (Bill, Briggs et al. 2007). Trods det, at reviews 7 og 8 på lignende vis ikke anvender samtlige studier til at besvare spørgsmål om effekt/virkning, synes der med disse - til forskel fra review 9 - at være tale om, at der i rapporterne udtrykkes en mindre eksplicit/bevidst allokering af primærforskningen. Til forskel fra de seks foregående systematiske reviews (reviews 1-6), kan der med reviews 7-9 være tale om, at der i højere grad undgås at blive inddraget kvalitativ forskning i relation til, at den skal besvare effektspørgsmål, hvilket må betragtes som værende i overensstemmelse med forskningsfunktioner for den kvalitative forskning, som kommer til udtryk i Cochrane handbook om systematiske reviews. 145

148 Med ovenstående analyser af reviews 1-9 har det været intentionen at vise, at de pågældende reviews kan forstås at genskabe en struktur om at besvare et effektspørgsmål efterfulgt af én eller flere procesafklarende besvarelser. Denne struktur er i afhandlingen blevet fremholdt af Starrin (jf. kapitel 3) og Cochrane handbook (jf. kapitel 4), der vedrører opfattelser om bestemte forskningsfunktioner for den kvalitative og den kvantitative forskning. Strukturen angår det forhold, at den kvalitative forskning opfattes som uhensigtsmæssig til besvarelse af effektspørgsmål, men den kan i stedet bruges til at opnå viden om andre forhold knyttet til interventionen (jf. kap. 4). Med analysen af reviews 1-6 har det været intentionen at vise, at strukturen i de pågældende reviews imidlertid ikke er i overensstemmelse med disse teorier og direktiver for forskning, idet kvalitativ forskning netop anvendes til at besvare effektspørgsmål (hovedspørgsmålet). Med reviews 7-9 er der i det ovenstående blevet vist visse nuancer dertil, idet disse reviews i højere grad søger at afskære den kvalitative primærforskning fra at besvare et hovedspørgsmål om effekt. Det har endvidere været sigtet med analyserne af reviews 1-9 at få frem, at primærforskningen må forstås at være inkluderet, fordi den vurderes at kunne besvare et hovedspørgsmål om effekt. Det vil sige, at selvom de pågældende reviews i deres synteser besvarer tillægsspørgsmål angående processuelle karakteristika og nogle reviews ligefrem indeholder et reviewspørgsmål om samme - opstilles der ingen (in- og eksklusions-) kriterier, der specifikt er rettet mod at medtage primærforskning, der måtte afklare denne type ( tillægs -)viden. Med udgangspunkt i opfattelsen, at viden af processuel karakter afdækkes af den kvalitative forskning, udtrykker problematikken omkring kravet til den inkluderede primærforskning, at de pågældende reviews mangler, hvad der kunne kaldes for et kvalitativt inklusionskriterium, og dette til trods for, at traditionen inden for udvikling af systematiske reviews med kvalitative evidenssynteser (jf. kapitel 4) er sig bevidst om, at typer af forskning har bestemte typer funktioner. I den forbindelse kunne de pågældende reviews således kritiseres for, at inklusion af den kvalitative primærforskning er manglefuld i afklaring af indsatsens processuelle karakteristika. FOKUS PÅ BESKRIVELSER AF EFFEKTIVE INTERVENTIONER, REVIEWS Systematiske reviews er kendetegnet ved, at de med deres reviewspørgsmål rapporterer et fokus på at udvikle en forskningssyntese med vægt på beskrivelser af 146

149 pædagogiske fænomener/indsatser, der som udgangspunkt har vist sig effektive. I tabel 6.7 vises reviewspørgsmålene for de enkelte reviews i denne gruppe. Review 10 Reviewspørgsmål What is the impact of award-bearing training on paid primary and secondary Teaching Assistants (TAs) in mainstream schools? (Cajkler, Tennant et al. 2007:1) 11 What is the nature of whole class, subject-based pedagogies with reported outcomes for the academic and social inclusion of pupils with special education needs? (Sheehy & Rix 2009:1) 12 The review question for this review is as follows: In mathematics lessons in England in Key Stages 2 to 3, what characterizes effective teacher initiated teacher-pupil dialogue to promote conceptual understanding of mathematics? In order to address this review question, the following four underlying questions needed to be considered: - (a) In what ways do teachers use teacher-initiated teacher-pupil dialogue to promote pupils conceptual understanding of mathematics in mathematics lessons in England in Key Stages 2 to 3? - (b) What evidence is there that, such dialogue is more effective than other activities in promoting pupils conceptual understanding? - (c) What evidence is there that particular characteristics of such dialogue are more effective than other characteristics in promoting pupils understanding? - (d) Why and how are the identified characteristics of effective teacher-initiated teacher-pupil dialogue effective? (Kyriacou & Issitt 2008:8-9) 13 What is the nature of the interactions in pedagogical approaches with reported outcomes for the academic achievement and social inclusion of pupils with special educational needs? (Sheehy & Rix 2009:8) 14 What do specialists do in CPD programmmes for which there is evidence of positive outcomes for pupils and teachers? Sub-questions: What is the nature of the specialist contribution? How much, how often, when, where, for how long? How do specialists enhance the professional development of teachers to improve pupil learning? (Cordingley, Bell et al. 2007:7) Tabel 6.7. Reviewspørgsmål for systematiske reviews i gruppe 2. Ovenstående tabel viser de individuelle reviewspørgsmål for systematiske reviews I forhold til reviewspørgsmålene (hoved- og tillægsspørgsmål) i systematiske reviews 1-9 findes der i reviewspørgsmålene for reviews 11, 12, 13 og 14 et nyt begrebsunivers. I 147

150 tabellen ses, hvordan der spørges efter What is the nature of (reviews 11 og 12), What characterizes (review 12), What do specialists do (review 14). Reviewspørgsmålene eller inklusionskriterierne (se tabel 6.8.) er kendetegnet ved, at der lægges vægt på beskrivelser af pædagogiske indsatser, der i én eller anden udstrækning kan dokumenteres som effektive. Dette er tilfældet for reviews 10, 11, 12 og 14. I review 10 ses det fx, hvordan beskrivelserne udelukkende må angå pædagogiske indsatser (lærerassistenters træning), der har fået priser eller er akkrediteret til en pris. Ligeledes forholder det sig med review 14, hvor det alene er CPD-programmer, der kan påvise positive resultater for lærer og elever. Der er således tale om at inddrage primærforskning, der er vurderet at beskrive en pædagogisk indsats, men hvor primærforskningen samtidig indeholder et bevis om, at den pågældende pædagogiske indsats er (be)vist at medføre positive effekter/virkninger. Selvom reviewspørgsmålene er en anelse anderledes formuleret, kan de betragtes som i overensstemmelse med reviews 1-9 i den forstand, at beskrivelser af (den effektive) intervention er tilsvarende bestræbelserne i tillægsspørgsmålene eller forskningssynteserne for reviews 1-9, der angiver forhold om hvad, hvorfor og hvordan interventionen er effektiv. Af tabel 6.8 fremgår citater fra forskningssynteserne i reviews Review 10 Forskningssyntese Fra afsnittet Summary of results of synthesis Outcomes are reported in the development of a range of knowledge and skills: for example, understanding learning and teaching better and teamwork. In addition there are impacts on levels of morale, satisfaction, confidence and self-esteem. All the studies suggest that training is useful programmes reviewed in these studies reported som positive conclusions - STAC courses led to changes in TA job satisfaction, subject knowledge, motivation, confidence, selfesteem, teamwork (three studies )training led to improvements in confidence and usually to greater self-esteem and sometimes more job satisfaction, but pay levels did not rise as a result of training. - FDA/BA programmes appear to impact on job satisfaction, levels of reflection by TAs and subject knowledge (three studies: one medium-low, one low-medium, one low) USA studies claimed direct impacts on TAs in the areas of job satisfaction, motivation, confidence and self-esteem, teamwork and subject knowledge (Cajkler, Tennant et al. 2007:59) 11 Fra afsnittet Summary of results of synthesis The results for the synthesis can be summarized as follows: The pedagogy is mediated by a teacher who is part of a pedagogic community, either within the schools or, more often, form outside the school. The teacher s pedagogical practice is supported by this community with a shared model for how children learn. Therefore the teacher has an understanding not only of how to teach a curriculum subject, but also an understanding of why they are using this 148

151 approach. The pedagogy gives importance to the social engagement of learners and includes activities in which social interaction is seen as the means (Sheehy & Rix 2009:50-51) 12 Fra afsnittet Summary of results of synthesis led to the identification of characteristics of effective teacher-initiated teacher-pupil dialogue: ii) focusing attention on mathematics rather than performativity (4 studies ) iii) working collaboratively with pupils (5 studies ) iv) transformative listening (2 studies ) v) scaffolding (3 studies ) vi) enhancing pupils self-knowledge of how to make use of teacher-pupil dialogue as a learning experience (6 studies ) vii) encouraging high quality pupil dialogue (2 studies ) (Kyriacou & Issitt 2008:34) 13 Fra afsnittet Summary of results of synthesis We have evidence about the nature of interactions in pedagogical approaches, linked to outcomes, for the academic and social inclusion of pupils with special educational needs Four important inter-related themes emerged in the synthesis. The first substantive theme to emerge from all seven studies was the powerful role of the teacher to influence learning opportunities through interaction A major finding of this review was the power of teachers as powerful mediators, both in relation to what they do and how they interact, and in relation to how they think about their responsibilities about pupils with special educational needs We identified the second theme as cognitive level and engagement. This theme is also based on all seven studies. There is evidence that having opportunities to engage in higher order thinking fosters academic and social inclusion of all learners. Classroom interactions in which the teacher invites learners to problem-solve, to think, and to make connections with their own experiences and prior understandings have a more positive impact than interactions that re procedural and oriented merely towards classroom management. A third theme is the learner s voice and this arises from six of the studies. The notion of the learner s voice suggests an explicit and conscious focus on the learner s world and the learner s unique understanding of the world The fourth theme identified is knowledge or, more specifically, knowledge as contextuallygrounded. This refers to the way in which what is to be learned is grounded in the learners experiences, connects with authentic activity, and is perceived as meaningful to learners in the here and now of their lives. This was a theme emerging form three of the studies (Rix, Hall et al. 2006:47) 14 Fra afsnittet What did we find? - Changes in teacher practice resulted from teachers learning more about teaching strategies, learning theories, the use of technology, educational policy and subject knowledge - Specialist supported teachers though modeling, workshops, observation, feedback, coaching, and planned and informal meetings for discussion. Nearly all specialist support took place on school premises. More than half the CPD involved the specialists in observing teachers and providing feedback and debriefing. They discussed pupil needs, examined test results, reviewed the results of interviews conducted with and by pupils, and observed pupil interaction in the 149

152 classroom. - Peer support was a consistent feature - Specialists encouraged teachers to take on a degree of leadership in their CPD. (Cordingley, Bell et al. 2007:1) Tabel 6.8. angiver uddrag af citater fra forskningssynteserne fra de individuelle systematiske reviews. Uddragene er fundet frem fra afsnittet, der opsummerer forskningssyntesen: Summary of results of synthesis og/eller What did we find? Sidstnævnte afsnit findes i abstracts i de pågældende reviews. I de fleste reviews er der overensstemmelse mellem de to afsnit; dog er what did we find typisk mere kortfattet. I tabellen ses det, at der ved enkelte reviews er tilvalgt uddrag fra begge afsnit, idet der synes at være visse variationer mellem afsnittene. Med udgangspunkt i forskningssynteserne i systematiske reviews synes det ikke - på samme vis som med forskningssynteserne i reviews 1-9 (se fx tabel 6.3) at være muligt at inddele synteserne i forhold til, at der rapporteres at blive besvaret et effektspørgsmål, efterfulgt af processuelle spørgsmål knyttet til interventionen. Forskningssynteserne kan - i tråd med reviewspørgsmålene læses som netop en karakteristik af pædagogiske (effektive) interventioner. In- og eksklusionskriterierne for reviews tager sig endvidere en anelse anderledes ud, sammenlignet med in- og eksklusionskriterierne i reviews 1-9. Selvom reviews 1-9 med deres forskningssynteser og tillægsspørgsmål besvarer spørgsmål af processuel karakter, er gruppen kendetegnet ved, som nævnt, at der ikke gives udtryk for andre typer inklusionskriterier end at inddrage primærforskningen ud fra et spørgsmål om intervention og outcome-mål. I nedenstående tabel 6.8 findes citater fra in- og eksklusionskriterierne fra de pågældende systematiske reviews Review Betoner beskrivelser af et uddannelsesmæssigt fænomen - Contain descriptions of the impacts of -Be based on primary empirical research (e.g. evaluation studies of training; surveys of training and development activities; case studies, reporting of perceptions though questionnaires, interviews and focus group meetings) (inklusion red.) 3. Intervention 4. Outcome-mål - Contain descriptions of the impacts of training and development activities on teaching assistants and/or on pupils learning and engagement - be award-bearing training (accredited in some way, leading to an award - Be award-bearing training (accredited in some way, leading to an award) - Include a report of an evaluation of the TAs training programme with data or outcomes reported (the latter could be perceptions of participants about impact on them) (Cajkler, Tennant et al. 2007:79-80) 150

153 11 what occurs in classrooms that can be seen to impact on - include pedagogical approaches (Sheehy & Rix 2009:67) -Include an indication of pupil outcomes (Sheehy & Rix 2009:11) ( The term pedagogical approaches is used to mean, in the broadest sense: classroom practices, personnel deployment, organization, use of resources, classroom environment and curriculum that is, what occurs in classrooms that can be seen to impact on participation and learning ) ( The term effectively include indicates a concern with the extent to which particular pedagogical approaches can be shown to impact positively upon aspects of the learning and participation of children with special educational needs: for example, their attainment levels, progress, attitude, confidence and/or skills. Effectiveness was identified though keywording, deeming an approach to be effective if an outcome was a positive impact upon learning, behavior of social interaction For some, effectiveness was seen in terms of tangible pupil achievements. Others relied on the ratings of teachers, teaching assistants, parents and the pupils themselves effective is interpreted broadly in terms of learning ) (Sheehy & Rix 2009:6) 12 Does not deal with the characteristics of teacherinitiated teacher-pupil dialogue (Kyriacou & Issitt 2008:44) teacher-initiated teacher-pupil dialogue Does not deal with the characteristics of teacher-initiated teacher-pupil dialogue intended to promote pupils conceptual understanding in mathematics (examples of exclusion: a study dealing solely with pupils mathematical attainment; or a study which deals solely with teacher-pupil dialogue) (Kyriacou & Issitt 2008:44) 13 that is what occurs in classrooms that can be seen to impact on pedagogical approaches ( The term pedagogical approaches is used to mean, in the broadest sense: classroom practices, personnel deployment, organization, use of resources, classroom environment and curriculum (that is what occurs in classrooms that can be seen to impact on participation and learning ). (Rix, Hall et al. 2006:10) - Include an indication of pupil outcome ( The term outcomes is used to mean an impact upon aspects of the learning and participation of children with special educational needs: for example, their attainment levels, progress, attitude, confidence and/or skills. for some, outcomes were identified through tangible pupil achievements. Others identified outcomes through the ratings of teachers, teaching assistants, 151

154 parents and the pupils themselves. It was anticipated that outcomes could be categorized under three headings: academic attainment, social interaction/involvement or behavior. (Rix, Hall et al. 2006:10) - Did not have a focus on outcomes for the academic achievement and social inclusion of pupils with SEN (eksklusion red.) (Rix, Hall et al. 2006:59-60) 14 - describe the processes of the CPD intervention in some detail, including the nature and content of the CPD activities, the role of the specialist and classroom interventions (Cordingley, Bell et al. 2007:54) CPD programmes - Have set out to measure impact on teaching and/or pupil learning - Provide evidence of impact on teacher behavior and/or pupil learning (positive or negative) (Cordingley, Bell et al. 2007:54) Tabel 6.9: In- og eksklusionskriterier for systematiske reviews Ovenstående tabel 6.9 skal forstås sådan, at i kolonne 3 og 4 er isoleret in- og eksklusionskriterier, der angiver henholdvis den pågældende intervention og outcome-mål. I kolonne 3 er angivet in- og eksklusionskriterier for interventionstypen i det pågældende review, mens kolonne 4 angår in- og eksklusionskriterier for typer af outcome-mål. Kriterierne må antages at betyde, at den pågældende primærforskning bliver inddraget, fordi den vurderes at forholde sig til den rette type årsag/intervention, samtidig med at den vurderes at indeholde rette specificerede virkninger af interventionen. I kolonne 2 er ligeledes isoleret kriterier for inklusion af primærforskning. Kolonne 2 viser, at der med reviews er krav om modsat reviews at den inkluderede primærforskning tilbyder beskrivelser af interventionen. Med kolonne 2 fremhæves begreber der indikerer, at primærforskningen skal, contain descriptions of (review 10), deal with the characteristics of (review 12) og what occurs in classrooms (review 11 og 13) og describe the processes of (review 14). Disse krav til primærforskningen findes ikke beskrevet i kriterierne for inklusion i reviews 1-9. Ud fra en forståelse af, at den kvalitative forskning har en procesafklarende forskningsfunktion, kunne disse krav være et udtryk for at imødekomme den kvalitative forskning med et særligt inklusionskriterieum for samme. Med henblik på nærmere at undersøge et inklusionskriterium til afklaring af 152

155 interventionens processuelle karakteristika, vil der i det følgende - men også senere i foreliggende afsnit om forskningsfunktioner - blive set nærmere på dette kriterie samt de øvrige in- og eksklusionskriterier. I review 10 påpeges det, at beskrivelserne af interventionens karakteristika kan gøre sig gældende gennem forskellige forskningsdesigns, hvorunder nævnes case-studier og interviews. Der nævnes også andre forskningsdesigns, fx surveys, evalueringer og interviews i bred forstand. De meninger og betydninger, der tillægges interventionen - hvad den består i, hvorfor og hvordan den er effektiv - må således antages at blive udledt af en bred vifte af primærforskning - ikke udelukkende den kvalitative forskning. Dette kan anskues som værende i tråd med evidenstypologien (jf. kap. 4), der, som vi har set, vurderer den kvalitative forskning nogenlunde på linje med holdningsundersøgelser. Ud fra en forståelse af, at det er den kvalitative forsknings funktion at bidrage til fænomeners betydningsindhold, som er kommet til udtryk i flere sammenhænge på tværs af de to materialer om kvalitativ forskning og producenter af systematiske reviews, kunne det indvendes at være væsentligt at vide, hvori karakteristikken forskningsmæssigt stammer fra. Det kunne hævdes, at betydningsindholdet er afdækket forskellet på tværs af kvalitative studier og holdningsundersøgelse. De tre kolonner i ovenstående tabel 6.9 viser, at der - i tråd med gruppens reviewspørgmål - stilles krav om, at den inkluderede primærforskning skal indeholde den rette interventionstype og outcome-mål. Dermed må det konkluderes, at primærforskningen, der vurderes at indeholde (detaljerede) beskrivelser af det pædagogiske fænomen/indsats samtidig er en forskning, der forholder sig til effekten af den pædagogiske indsats. Lignende betingelser for den inkluderede primærforskning har vi set gør sig gældende for systematiske reviews 1-9, hvor spørgsmål om interventionens processuelle karakteristika udledes af samme forskning, der besvarer spørgsmål om effekt. Eftersom primærforskningen i reviews indeholder et bevis om, at der er tale om beskrivelser af effektive interventioner, må den inkluderede kvalitative forskning i lighed med reviews 1-6 derfor antages en forklarende funktion i de pågældende reviews. I overensstemmelse hermed er det i de fleste forskningssynteser for reviews fremhævet, at der er tale om perspektiver for og beskrivelser af netop den effektive pædagogiske intervention: programmes reviewed in these studies reported som postivie conclusions (review 10), led to the identification of characteristics of effective teacher-initiated teacher-pupil dialogue (review 12) We have 153

156 evidence about the nature of interactions in pedagogical approaches, linked to outcomes (review 13). Ligesom det har vist sig tilfældet i de øvrige reviews, skal den inkluderede (kvalitative) primærforskning dermed både indeholde et svar på et spørgsmål om effekt - således at (den kvalitative) forskning opnår en effektafklarende funktion - og samtidig være beskrivende om indsatsens betydning, dvs indgå procesafklarende. Dertil melder spørgsmålet sig om, hvorvidt der er tale om en særlig type kvalitativ forskning, der i højere grad imødekommer disse krav. Dette er et væsenligt spørgsmål, idet karakteren af denne type forskning tilsyneladende synes mere velegnet til at blive inkluderet i systematiske reviews. Der vendes tilbage til en diskussion af dette senere i afsnittet om forskningsfunktioner. Af tabel 6.9 fremgår det, som tidligere nævnt, at primærforskningen, for at blive inkluderet i reviewet betragtes at afklare effekten af en indsats. Med review 10 fremgår det, som nævnt, at den pågældende træning (intervention) skal have fået tildelt en pris eller være akkrediteret i én eller anden udstrækning. Det fremgår, at akkrediteringen kan tage udgangspunkt i deltagernes opfattelser angående interventionens effekter. Med reviews 11 og 14 fremgår det på lignende vis, at den pædagogiske aktivitet i klassen (intervention) er vurderet effektiv, bl.a. på baggrund af elever, forældre og læreres egne vurderinger af effekten. De pågældende reviews udtrykker dermed, at det er oplevelser og meninger, der er grundlaget for effekt i de pågældende reviews. Dette grundlag for effekten af en indsats, er også centralt for den næste gruppe af reviews REVIEWS Reviews adskiller sig fra de øvrige reivews ved, at der formuleres et klart fokus på holdninger og opfattelser hos deltagerne. I den følgende tabel ses de pågældende reviewspørgsmål. Review 15 Reviewspørgsmål What are the perceptions and experience of the principal educational stakeholders (pupils, parents, teachers and teaching assistants) of what teaching assistants do in relation to pupils academic and social engagement in secondary schools ( ? (Cajkler, Tennant et al. 2007:13) 16 What are the perceptions and experience of the principal educational stakeholders (Pupils, parents, teachers and pupil support staff) of what support staff do in relation to pupils academic and social engagement? (Cajkler, Tennant et al. 2006:1) 154

157 17 What impact does employer engagement in course development have on employers and students (from the student/employer perspective)? (Scesa & Williams 2008:5) 18 What are the factors that drive high post 16 participation of many ethnic minority groups? (Torgerson, Gorard et al. 2008:5) 19 What do practitioners in FE colleges say about the conditions, attitudes and implementation of national education policy (Nixon, Gregson et al. 2008:1) Tabel: 6.9: Reviewspørgsmål I ovenstående tabel fremgår det for reviews 15-19, at deltagernes holdninger og oplevelser er i fokus i de pågældende systematiske reviews. Det markeres i reviews 15 og 16 ved, at der er fokus på meninger og oplevelser hos elever, forældre mv. (perceptions and experience). Samme fokus gør sig gældende i review 18, hvilket desuden fremgår af reviewets in- og eksklusionskriterier. I den sammenhæng angives et fokus på deltagernes views og aspirations (forhåbninger/ambitioner/bestræbelser) 35. Med review 19 er der fokus på lignende perspektiver: what do practitioners say. Nedenstående tabel er en oversigt over in- og eklusionskriterier for primærforskningen i de pågældende reviews, der tillige understreger et fokus på deltagernes meninger og holdninger. Review 15 In- og eksklusionskriterier Studies were not focused on stakeholders descriptions of the activities that teaching assistants are involved in, thus containing at least some description of TAs activities Stakeholders perceptions of the contribution that such activities make to social and or academic engagement were not: - a clearly stated aim of the study, or - explicitly discussed in the findings (Cajkler, Tennant et al. 2007:83) 16 Focus on stakeholders descriptions of the activities that support staff are involved in, therefore must contain at least some descriptions of TAs activities. Focus on stakeholders perceptions of the contribution that such activities make to social and or 35 Der foreligger ikke en nærmere afklaring af sondringen i primærforskningen, der vurderes at vedrøre henholdsvis views og aspirations. I følgende citat synes det at foreligge, at de (to typer) vurderes som én og samme: The 68 studies were reviews, interventions or aspirations (views) studies characterise the aspirations studies In these studies the aim was to describe a state of affairs with regard to young people s views about post- 16. (Torgeson, Gorard et al. 2008:12). 155

158 academic engagement, therefore this must be either - a clearly stated aim of the study, or - explicitly discussed in the findings Be based on primary empirical research (case studies, reporting of perceptions through questionnaires, interviews and meetings (Cajkler, Tennant et al. 2006:62-63) case study, questionnaire study, interview with stakeholders, opinionnaire survey, focus group and other (Cajkler, Tennant et al. 2006:26). 17 Selecting studies for the in-depth review - Presented findings on the impact of employer engagement on employers and students from the employer (student) perspective (Scesa & Williams 2008:15) All the studies were categorised as case and/or views studies. By views studies we mean that the researchers were trying to understand phenomena from the point of the worldview of a particular, group, culture or society Many of the case studies were small-scale. The studies used a range of methods to collect data focus groups, one-to one interviews, self- completion questionnaires, document analysis, and secondary analysis of publicly available statistics. (Scesa & Williams 2008:24) 18 They focused on pupils or students (of any age) views or aspirations about post 16 participation in full-time education OR evaluated interventions designed to increase post-16 participation of minority ethnic groups (topic focus) They used survey, qualitative or case study methods to investigate pupils or students views OR used an experimental desing to evaluate an intervention (study design). They met pre-specified quality criteria for survey, qualitative and case study literature OR, for intervention evaluations reported quantitative data on at least one outcome associated with participation, contained a control or comparison group, contained sufficient data to calculate an effect size and contained at least 32 participants. - Study either elicits students aspirations about education which are clearly post- 16 (crosssectional/views study) or investigates the clear relationship between aspirations and educational variables (secondary data analysis). (Torgerson, Gorard et al. 2008:8-9) 19 - The reseach study must examine or summarise the human experience of implementing post- 16 policy at the local level. - The reseach must examine phenomena of policy implementation at the local level. - The research must be examining the experience of teachers and managers working in the further, adult and community education setting. - The reseach paper will contain empirical data, including ethnographic accounts, case studies, surveys and/or interview data or the summary of interview data. - The reseach paper must not contain articles that make no reference to practitioner experiences. - The research paper must not contain articles that make no reference to policy and its implementation. (Nixon, Gregson et al. 2008:41) Tabel: 6.10: In- og eksklusionskriterier for reviews I tråd med henholdsvis reviewspørgsmålene og inklusionskriterierne har flere af forskningsynteserne fokus på at udlede virkninger på baggrund af deltagernes oplevelser: 156

159 Stakeholders perceptions of the contribution that (reviews 15 og 16), impact from the employer (student perspecitve) (review 17), pupils or students views about to increase (review 18). Hos to reviews fremgår det yderligere som i reviews at primærforskningen skal indeholde beskrivelser af den pågældende intervention (review 15 og 16). I det følgende vises uddrag fra forskningssynteserne. Review 15 Forskningssyntese All stakeholders claimed that TAs contributed in the following way: a. Directly to pupils learning and engagement in the classroom. This was deemed to be the most significant contribution. b. To the inclusion of pupils by fostering independence and encouraging interaction, but they could also act as a barrier (a perception, particularly by older pupils) c. Significantly to stakeholder relations, acting as a go-between in range of contexts: for example homeschool, teachers and pupils working together The perception was that TAs acted as a kind of glue between participants, bridging between the different participants in the educational process and enabling the pupil to engage more profitably. d. Directly to teachers and the delivery of the curriculum: for example, in giving feedback about pupils to teachers. The studies, nether less, leave no doubt that TAs contributions are considered valuable, and that TAs are perceived to be engaged in activities that directly affect academic and social engagement While the impact of the contributions was not something that we could determine in this review, we can draw the following conclusions: - TAs are perceived to promote inclusion of pupils with SEN - TAs are perceived to play an important role as mediators, whose knowledge and understanding of pupils can be utilized to help pupils engage in learning and participation (Cajkler, Tennant et al. 2007:64-65) 16 The TAs contribution to pupils social and academic engagement are categorized under four major themes: - Direct academic and social-academic contributions to pupils: Direct support for pupils was broadly academic in nature: for example, supporting learning or interpreting teacher instructions. Some contributions are described as socio-academic because they enabled access to learning but also included management of social engagement activities - Contributions to inclusion: TAs supported the inclusion of pupils by maximizing the opportunities for pupils to participate constructively in the social and academic experience of schooling. This involved building pupils self-esteem and confidence - Stakeholder relations: The linking of stakeholders was a contribution identified principally by TAs themselves. This process is held to be assisted by the TA s role in acting as a link person, by maintaining relationships between different stakeholders: for example, between parents and schools - Contributions to teachers/curriculum: There was general recognition of the support that TAs offered to teachers, performing routine tasks that enabled teachers to focus on securing academic engagement. While TAs and teachers felt that TAs were there to support teachers, there seems to be a growing sense of these supporters of learning (TAs) seeing their role as co-educator with teachers. (Cajkler, Tennant et al. 2006:3-4) 157

160 17 Our synthesis is based on a number of cross-cutting themes relating to student/employer perceptions of impact which characterize this set of studies, these have been identified as. - Benefits of WBL (work-based learning red.) to students include gaining new and improving existing skills such as personal (e.g. increased confidence), problem-solving and communicative skills; adapting existing knowledge and skills to the needs of new situations in the workplace; managing their own learning: and applying theory in practice. - Benefits of WBL to employers were their recognition that students /employees skills had improved -Issues in the management of WBL concerned the actors involved students, employers, institutions/academics. For students, difficulties arose in organising placements. For employers and institutions, for example, the need to create opportunities to meet and adequately brief all involved about the aims and responsibilities of placements was emphasized... - Academic staff development can arise form tutors close working relationship with employer organisations resulting in valuable insights into the workings of organisations and thus enhancing students learning experiences and outcomes. - Barriers to engaging employers included lack of interest, lack of understanding, and lack of ability through time and work pressures on the part of employers - Size of employer organization: co-operation between educational providers and small and medium enterprises can be time consuming (Scesa & Williams 2008:23-24) 18 In the synthesis, of all eight levels of influence determining post 16 participation, two factors the influence of family and individual aspirations stand out as being the major determinants. Sixteen medium to high WoE studies found that a high parental value of education, strong parental support for post 16 participation, positive family influence, and being in a higher social class were determining factors in participation in schools post- 16 and in further and higher education. On the other hand, eight studies found that a low parental value of education, parental influence against post 16 participation, negative family influence, and being in a lower social class could be factors acting as barriers to post 16 and further and higher education. Fifteen studies found that individual aspirations and motivations for participation in post 16 education were major drivers for participation not only in terms of aspiration for education as an end in itself and for economic gain and better job opportunities, but also in simply placing a high personal value on education and a belief that this would lead to personal satisfaction. (Torgerson, Gorard et al. 2008:2) 19 - National policy is mediated in virtually all local settings. The form that local policy takes can vary between insitutions and between levels within the same insitution. Practitioners will commonly meet and implement local policy - Practitioners commonly respond pragmatically to local policymaking Practitioners faced a key challenge when implementing policy at the local level: balancing the duties placed on them by both marketising and pedagogic discourses. Tutors, in particular, felt that they struggled to make space to exercise pedagogic judgement and agency in a context they perceived to be dominated by marketised discourses. - Practitioner, and tutors in particular, identified concerns about their ability to exercise pedagogic judgement and agency. The view was widely expressed that this aspect of practice was the under-exploited resource in local settings. It was perceived that the way in which local policy was articulated operated to constrict the exercise of pedagogic judgement and agency. Tutors sometimes expressed attitudes of professional and pedagogic insecurity. That is, they were sometimes unsure that they had struck the best balance between pedagogic and marketised priorities (Nixon, Gregson et al. 2008:1-2) 158

161 Tabel: 6.11: Forskningssynteser for reviews I ovenstående tabel fremgår det i tråd med gruppens in- og eksklusionskriterier - at forskningssynteserne for reviews 15 og 16 besvarer spørgsmål om lærerassistenternes bidrag (contribution, significantly contribution, affect). Det fremgår af syntesen, at lærerassistenterne bidrager til fx at støtte (support) inklusion i klassen samt til elevers læring og engagement. Dette fokus i forskningssynteserne kan aftegnes således, at der ønskes en afklaring af et årsags- og virkningsforhold, hvor lærerassistenter fremtræder som årsag/intervention og elevers læring som virkninger. I den sammenhæng fremstår contribution, significantly contribution og affect som et budskab om en mulig (kausal) sammenhæng (regel) mellem intervention (lærerassistenter) og virkning (elevers læring). De to reviews kan dermed, som tidligere antydet, betragtes som besvarende et årsag-virkningsspørgsmål, dog med udgangspunkt i brugernes meninger og oplevelser herom. Ligeledes forholder det sig med reviews 17 og 18, hvor begreberne (benefits) og ulemper (barriers) anvendes. Med forskningssyntesen nævnes en række fordele og ulemper forbundet med at lade medarbejdere deltage i arbejdspladslæring/kursusudvikling (review 17) samt influerende faktorer såsom motivation og familiemæssige baggrunde i relation til at øge deltagelse (review 18). Det forhold, at der kan udledes fordele ved kursusudvikling/arbejdspladslæring eller faktorer til at øge/sænke deltagelse må opfattes som at hævde, at kursusudvikling/arbejdspladslæring som pædagogisk intervention eller faktorer såsom individul motivation i én eller anden udstrækning er effektive; det virker, og omvendt med ulemper/barrierer, at arbejdspladslæring/faktorer ikke er effektive. I lighed med review 1-6 og kan det konkluderes, at primærforskningen, herunder den kvalitative forskning, inddrages med henblik på at udfylde en forklarende forskningsfunktion. Brug af begreber som fx fordele, ulemper, barrierer mv. er tilsvarende Stakes (2010) perspektiver om, at der anvendes andre begreber - end effekt om kausalitet, udledt på baggrund af kvalitativ forskning. I lighed med de øvrige reviews 1-14, kan ovenstående forskningssynteser betragtes som knyttende afklarende processuelle forhold, især i relation til spørgsmålet om, hvorfor en intervention har visse fordele eller bidrager positivt. For eksempel med review 15, 159

162 hvor det som tidligere nævnt fremgår, at brugen af lærerassistenter bidrager (positivt) til inklusion. Efterfølgende fastholdes det, at deres (positive) bidrag skyldes, at brugen af lærerassistenter fremelsker uafhængighed og opfordrer til interaktion. I review 16 fremgår det, at brugen af lærerassistenter indvirker på inklusion i skoler, fordi de bl.a. er medvirkende til at øge elevers selvtillid. Med review 17 fremgår det, at der er fordele forbundet med arbejdspladslæring, fordi der opnås nye og forbedrede færdigheder. I forskningssynteserne for de øvrige reviews 1-14 findes, som nævnt, en lignende struktur i forhold til først at afklare effekten af en intervention for dernæst at afklare for hvem, hvordan, hvorfor effekten gør sig gældende. Review 19 adskiller sig fra de andre reviews. I ovenstående tabel fremgår det, at forskningssyntesen for review 19 formidler resultater, der angår reformændringers betydning for involverede lærere og pædagoger. Reviewet omhandler dermed implementeringsspørgsmål, hvoraf dette er belyst i tråd med forståelsen af kvalitative evidenssynteser med kvalitativ forskning. I reviewet synes det ikke at være bestræbelserne at tolke primærforskningen ind i forhold til at udlede størrelsesforhold såsom effekt, fordele, ulemper, barriere, facilitatorer mv. I forhold til at udlede betydninger, som lærere og pædagoger tildeler reformændringer, formidler syntesen, at praktikere møder og forstår den politiske implementering i forhold til, hvorledes det udspiller sig på et praktisk niveau. Det fremgår, at praktikere forstår politiske indsatser i et praktisk lys. Derudover formidles det, hvorledes praktikere opfatter det som problematisk at skulle forene og forholde sig til to (forskellige) pædagogiske styringsredskaber/diskurser, henholdsvis den pædagogiske vurdering (pedagogic judgement and agency) og den lokale politik (local policymaking perceived to be dominated by marketised discourses) (review 19). En måde at forstå forskellen i forskningssynteserne mellem henholdsvis review 19 og de øvrige reviews på er ved at anskue review 19 således, at den inddrager den kvalitative forskning med henblik på en forstående forskningsfunktion. I review 19 efterspørges meninger og betydninger, som lærerne og pædagogerne knytter til uddannelsespolitiske implementeringer, udenom at forbinde disse perspektiver til virkninger/effekter, fordele/ulemper eller andre ifølge Dilthey - teoretiske og abstrakte begreber. Reviewets forskningssyntese synes dermed at efterligne et vidensgrundlag om forståelse, der, på tværs af de to materialer i afhandlingen, er blevet fremhævet om funktionen for den kvalitative forskning og som Dilthey og Habermas afgrænser til de humanistiske videnskaber. Review

163 kan dermed fremhæves som et eksempel på, at denne type funktion for den kvalitative forskning er mulig at genskabe i udvikling af systematiske reviews. I samtlige fem systematiske reviews angives mulige forskningsdesigns, der opfattes at have fokus på meninger og oplevelser (jf. tabel 6.10). I forhold til in- og eksklusionskriterierne i reviews om beskrivelser af effektive interventioner ses med reviews langt flere beskrivelser af, hvad det er for en type primærforskning, som i de pågældende reviews inddrages med henblik på, at forskningen skal udlede meninger og opfattelser. Primærforskningen skal fx: trying to understand phenomena from the point of the worldview of a particular group, culture or society many of the case studies were smallscale (review 17), they used qualitative or case study methods (review 18) must examine the human experience at a local level including ethnographic accounts (review 19). Hos flere af de pågældende reviews udgør viewstudies en bred betegnelse for forskning, der har fokus på deltagernes holdninger og meninger. Den kvalitative forskning er omfattet af pågældende betegnelse sammen med anden forskning af mere kvantitativ karakter, såsom sekundære statistiske analyser og surveyundersøgelser (se reviews 16, 17 og 18 i tabel 6.10). I forbindelse med inklusion af primærforskning i reviews er blevet nævnt samme karaktaristiske træk om inddragelse af primærforskning, hvor såvel kvalitativ forskning som holdningsundersøgelser opfattes at bidrage med perspektiver om deltagernes oplevelser og meninger. Samme forståelse kan, som nævnt, ses genskabt i evidenstypologien. Det vil sige, at det ikke udelukkende er kvalitativ forskning, som bliver inddraget med henblik på at udfylde en forstående forskningsfunktion i de pågældende reviews. En indvending er, som også tidligere nævnt, at det kunne være relevant at vide, hvor meninger og holdninger forskningsmæssigt stammer fra, idet det kunne hævdes, at forskningsgrundlaget for perspektiverne fra deltagere i en undersøgelse kan afdækkes forskelligt med et kvalitativt studie end fx med en holdningsundersøgelse. Endvidere er det spørgsmålet, hvad dette vilkår i inklusion af en bredere forskning har af betydning for inklusion af den kvalitative forskning. Såfremt indsigt i deltageres meninger og oplevelser opfattes at kunne indhentes på lige fod af både den kvalitative forskning og holdningsundersøgelser, kunne det måske tænkes, at holdningsundersøgelser som fx surveys måtte fremstå bedre og mere troværdige end kvalitativ forskning, eftersom opfattelserne og meningerne fra surveys udgår fra en større population. Såfremt dette er tilfældet, har det indvirkning på, i hvilken udstrækning resultater fra den kvalitative primærforskning i de pågældende systematiske reviews får betydning for 161

164 konklusionerne i reviews, herunder betydning for policy og praksis. Det er ikke sikkert, at der føres denne praksis omkring vurderingen af den kvalitative forskning, men indvendingen er relevant, set i lyset af de idealer om forskning, som traditionen inden for udvikling af systematiske reviews er forbundet med (jf. kapitel 4). EFFEKTBEGREB Med analysen af de 19 systematiske reviews konkluderes det, at den kvalitative forskning opnår en effektafklarende forskningsfunktion. Effektbegrebet i de pågældende reviews kan ikke sammenlignes med effektbegrebet, som traditionen inden for udvikling af systematiske reviews er forbundet med (jf. kapitel 4). I afklaring af effekt anvendes i de pågældende 19 systematiske reviews kvalitativ forskning, og i flere reviews bliver det gjort klart, at effekten udledes på baggrund af deltagernes opfattelser og meninger om indsatsens effekt og virkning på dem. Effektbegrebet kan dermed sammenlignes med kompleksitetsteoriernes idé om, at effekt er direkte observérbart ikke i en black-box. Effektbegrebet, som det kommer til udtryk i de pågældende systematiske reviews, er interessant af flere grunde, dels fordi kvalitativ forskning i evidenshierarkiet er placeret nederst, dels fordi reviewproducenter betragtes som værende blevet etableret ud fra en række politiske logikker om, at den eksisterende (kvalitative) forskning gør sig gældende gennem deduktive-nomologiske forklaringer om forventninger mellem årsag og virkning. Den politiske logik lyder, som tidligere nævnt, at RCT-designs i højere grad er trovædige i afklaring af effekt (Krostrup 2011) (se kap. 4). Ved at synliggøre forskningsfunktioner for den kvalitative forskning i de pågældende 19 systematiske reviews, som det er gjort her, må det konkluderes, at de pågældende reviews ikke er lykkedes med at efterkomme dette syn på forskning. Senere i dette afsnit nuanceres effektbegrebet i de 19 systematiske reviews yderligere, idet begrebet også bør ses i lyset af, hvordan inddragelse og bearbejdning af data foregår. I langt de fleste af de 19 systematiske reviews reflekterer forfatterne over det endelige effektresultat i forskningssyntesen. Det vil sige, at der reflekteres over effektens styrke og begrænsninger (strengths and weaknesses), såvel for reviewets konklusioner som for resultaterne i primærforskningen. I Appendix 6.3 findes udklip af disse refleksioner gjort af forfatterne i de respektive systematiske reviews. Det fremgår i hovedparten af de pågældende reviews, at den samlede primærforskning er vurderet af forfatterne ikke at være hensigtsmæssig til at fastslå spørgsmål om effekt (se reviews 2, 3, 4, 10, 12, 14, 15, 16, 17, 18 i 162

165 appendix 6.3), og at resultatet i de pågældende reviews derfor skal betragtes som foreløbigt need to be regarded as tentative (se fx reviews 2, 3, 4, 12 og 18). Det fremgår endvidere, at forfatterne vurderer, at forskningssynteserne i de pågældende reviews ville have været mere troværdige, såfremt primærforskningen havde benyttede sig af henholdsvis kontrol- eller sammenligningsgrupper (fx reviews 3, 4, 17), at den havde kontrolleret for confounding variables (review 14), og at spørgsmål om kausalitet ikke er mulige at fastslå på baggrund af deltagernes opfattelser og meninger herom (reviews 15-19). Disse overvejelser bekræfter dermed idealopfattelser om et effektbegreb knyttet til reviewproducenter om, at kvalitativ forskning er mindre egnet til at afklare effekt 36. Det næste er, hvad det betyder for den inkluderede kvalitative forskning, at den indledningsvist bliver inddraget med henblik på at vedrøre et årsags- og virkningsforhold. Nedenstående citat er fra review 4, der giver udtryk for vanskeligheder forbundet med at udtrække outcome-mål på baggrund af primærforskningen. A number of difficulties emerged form the studies reviewed both of undertaking effective self and peer assessment, and of evaluating it. It remained problematic to isolate the variables that contributed to any 36 Ifølge in- og eksklusionskriterierne for reviews bliver primærforskningen, som nævnt, inddraget på baggrund af, at den som udgangspunkt påviser positive effekter af den pågældende indsats. Derfor synes det påfaldende, at forskingssynteserne (jf. tabel 6.8.) for reviews indimellem understreger, at der på baggrund af primærforskningen kan konkluderes pædagogiske indsatser, der er effektive. De pågældende forskningssynteser kunne tolkes sådan, at der er foretaget en undersøgelse på baggrund af den samlede forskning, der måtte påvise både negative og positive effekter/virkninger. Forskningssynteserne alene kunne læses således, at der - som det er tilfældet med metaanalyser - er foretaget en syntetisering af den samlede primærforskning om både negative og postive effekter/virkninger. Dette ville på den ene side være en indlysende læsning af forskningssynteserne, særligt i lyset af feltets ideal om metaanalyser til syntetisering af primærforskning (jf. kapitel 4). På den anden side ville det være en forkert læsning, idet de pågældende reviews på forhånd inddrager primærforskning, der udelukkende fokuserer på studier med positive effekter/virkninger. Et væsentligt spørgsmål i den sammenhæng er, hvor relevant dette forhold er for forståelsen af systematiske reviews, som de måtte blive produceret på uddannelsesområdet. Skal dette mon betragtes som en udpræget måde at inddrage og bearbejde primærforskningen på dette felt på, herunder konkludere på forskningen? Det er relevant at forstå, hvorfor det gøres på denne måde. Et bud herpå er, at det kan anskues som en konsekvens af, at den kvalitative forskning i højere grad indsættes i forhold til, at den opnår en forklarende forskningsfunktion. Det kan for eksempel tænkes vanskeligt med tilsyneladende både negative og positive (tekstuelle) resultater fra den kvalitative forskning endeligt at afgøre, om den samlede forskning bør tolkes mere i den ene eller den anden retning i forhold til endeligt at konkludere, om indsatsen er effektiv eller ikke-effektiv. Løsningen bliver, at der kun inddrages (kvalitativ) primærforskning, der viser én retning. Dette forhold må betragtes som væsentligt at medtage i læsningen af reviews (på uddannelsesområdet) og samtidig relevant i forhold til at komme omkring måden, effektbegrebet kan forstås på i de pågældende reviews. 163

166 outcomes reported in order to demonstrate the effects specifically of self and peer assessment (Sebba, Crick et al. 2008:28). I citatet fremgår det, at det under inddragelse af primærforskningen har været vanskeligt at isolere indsats og outcome-mål med henblik på at fastslå effekten. Citatet giver indtryk af, at et fokus på, at primærforskningen angår henholdsvis intervention og outcome virker skævt. Fokus på indsats og outcome-mål synes her at fungere som en foruddefineret rammesætning, som primærforskningen ikke helt passer ind i. Det er her relevant at stille spørgsmålet, om der sker en skævvridning, herunder en simplificering af den kvalitative forsknings forskningsresultater, der endeligt inkluderes. I den sammenhæng kunne en simplificering af den kvalitative primærforskning forklares med, at den kvalitative forskning i afklaring af kausale sammenhænge mellem variable - lader sig forstå gennem et væld af variable, ikke udelukkende to (jf. kapitel 3). Selvom effektbegrebet i de pågældende reviews læner sig op ad en kompleksitetsteoretisk forståelse af samme, er det således kun til en vis grad. Denne problematik vil der vendes tilbage til i analyserne om inddragelse af kvalitative data i de 19 systematiske reviews. FORFORDELING AF KVALITATIVE FORSKNINGSDESIGNS Med analysen af de 19 systematiske reviews konkluderes det, at den kvalitative forskning - samtidig med at den opnår en effektafklarende forskningsfunktion - også tildeles en procesafklarende forskningsfunktion. Spørgsmålet er, hvad det er for en type af kvalitativ forskning, der endeligt menes at kunne opfylde begge disse kriterier? Bliver en bestemt type kvalitativ forskning mere inkluderet i den forstand, at den vurderes mere egnet til at angå både en intervention, et outcome-mål og en beskrivelse, knyttet til processen for indsatsen? For reviews ses det, at den inkluderede kvalitative forskning endvidere skal indeholde et bevis om, at den pågældende intervention er effektiv. Yderligere med reviews (og reviews 10-14) ses det, at den inkluderede kvalitative forskning angår meninger og opfattelser, der knyttes til grundlaget om effekten af en indsats. Spørgsmålet er her, om det er en bestemt type af (kvalitativ) forskning, der på den ene side indeholder et bevis om effektive indsatser, på den anden side har fokus på deltagernes meninger og holdninger om indsatsens effekt og virkning på dem. I den sammenhæng forstås såvel case-studier og aktionsforskning som kvalitativ forskning med fokus på deltagerperspektivet, således at 164

167 deltagernes perspektiver og vilkår beskrives i en bestemt situation og praktisk sammenhæng (jf. kapitel 3). Om disse designs er det endvidere blevet fremhævet (jf. kapitel 3), at det - til forskel fra etnografiske designs og historiske dokumentanalyser skulle være nemmere at udskille årsag (indsats) og virkning (outcome), idet der ikke er samme krav om at forholde sig til alle relevante historiske og kulturelle fænomener i forståelsen af genstandsfeltet. Yderligere er det i afhandlingens kapitel 3 diskuteret, hvordan Stakes (2010) fremstilling af den kvalitative forskning har lighedstræk med designtyper som case-studier og aktionsforskning. Med Stake betones det eksperimentelle i den kvalitative forskning med henblik på at udlede, hvordan ting virker i forhold til, hvordan deltagere oplever, at de virker. Såfremt det er tilfældet, at case-studier og aktionsforskning mere automatisk inkluderes som en del af primærforskningen i systematiske reviews, er det således også denne, der i højere grad opnår betydning for resultatet i forskningssynteserne og dermed i anbefalinger til forskning, politik og praksis. Det betyder samtidig, at anden type af kvalitativ forskning ikke bliver inddraget, fordi den ikke passer ind i rammesætningen. Dette må antages at være en problemstilling, der er særlig relevant for forståelsen af systematiske reviews på uddannelsesområdet, hvor megen anden forskning end case-studier og aktionsforskning tillige dominerer i forskningen (Suri 2009). I indledningen er refereret til andre undersøgelser, hvoraf Torrance (2004) fremholder, at systematiske reviews fra Eppi-Centre inkluderer en begrænset mængde primærforskning, og primærforskningen der endelig er inkluderet er vurderet (af forfatterne til de systematiske reviews) at være af lav kvalitet. En forklaring herpå, kunne være de krav til en rammesætning for den inkluderede primærforskning, som der er redegjort for i ovenstående. Disse krav kunne betyde, at en del primærforskning ikke bliver inkluderet. Kvalitativ forskning er ifølge evidenshierarkiet og typologien mindre hensigtsmæssige som interventionsstudier, hvilket kunne forklare at flere inkluderede studier ifølge Torrance (2004) vurderes til lav-kvalitet. Dette syn på de kvalitative studier er blevet bekræftet tidligere, hvor det fremgik, at forfatterne til de respektive systematiske reviews mener, at forskningssynteserne ville have været mere troværdige, såfremt primærforskningen havde benyttet sig af fx kontrolgrupper og havde kontrolleret for confounding variables. De mange studier som ifølge Torrance (2004) er vurderet til lav-kvalitet, kunne endvidere forklares med typen af kvalitativ primærforskning, som endelig inkluderes, såsom casestudier og 165

168 aktionsforskning. Denne type kunne anskues som mindre fyldestgørende kvalitativ forskning (jf. kap. 3). DELKONKLUSION OM FORSKNINGSFUNKTION FOR DEN KVALITATIVE FORSKNING Udgangspunktet for dette kapitel er en undersøgelse af, hvilken forskningsfunktion den kvalitative forskning tildeles i 19 systematiske reviews. Det er dermed forsøgt at besvare dele af forskningsspørgsmålet om, hvordan kvalitativ forskning bruges - i betydning af funktionsmæssigt - i udvikling af systematiske reviews, og hvilke konsekvenser og betydninger denne funktion kunne være forbundet med. Af analysen fremgår det, at den kvalitative forskning opnår en effektafklarende forskningsfunktion. Der trækkes på primærforskning, der har fokus på deltagernes oplevelser af og meninger om, hvordan en pædagogisk indsats virker. På denne måde kan effektbegrebet forstås at trække på en idé om kausalitet, at kausalitet er direkte observérbart, der også findes i kompleksitetsteoriernes forståelse af samme, herunder i Stakes (2010) fremstilling. Endvidere opnår den kvalitative forskning i de pågældende reviews en procesafklarende funktion, hvoraf indblik i indsatsens implementeringsmæssige forhold, herunder indsigt i indsatsen for hvem, hvad, hvorfor og hvordan søges afklaret med den kvalitative forskning. På tværs af 18 ud af de 19 systematiske reviews er både den effektafklarende og den procesafklarende funktion i fokus, men et enkelt review adskiller sig ved, at der ikke findes et krav om, at primærforskningen indgår i de to funktioner. I analysen af de 19 reviews gøres opmærksom på et muligt kvalitativt inklusionskriterium, der i tråd med fx traditionen inden for reviewproducenternes udvikling af systematiske reviews - kunne sikre den kvalitative forsknings placering i afklaring af processuelle karakterisktika knyttet til indsatsen. Men kriteriet åbner op for en bredere forskning, således at det ikke udelukkende er den kvalitative forskning, der opnår en funktion til besvarelser om indsatsens processuelle karakteristika. Der synes dermed ikke at være den samme bevidsthed om forskningsfunktioner for den kvalitative forskning, som det kommer til udtryk i reviewproducenternes forståelse af den kvalitative forskning og i forskningen om kvalitative evidenssynteser (jf. kapitel 4). Derudover er det tvivlsomt, om effekten knyttet til de praktiske sammenhænge, hvori den belyses, er tilstrækkeligt beskrevet med den kvalitative primærforskning, som endeligt egner sig til at blive inkluderet i de pågældende 19 reviews. 166

169 I kapitlet er endvidere diskuteret visse konsekvenser for den kvalitative forskning, knyttet til de forskningsfunktioner, som den tildeles. For det første, at de pågældende reviews ikke kan forstås at efterkomme et effektbegreb, traditionelt knyttet til reviewproducenter, herunder de politiske visioner for oprettelse og igangsættelse af samme (jf. kapitel 4). For det andet, at der er risiko for, at særlige typer af kvalitativ forskning medtages, mens andet sorteres fra. Dette fordi, at der i forbindelse med forskningsfunktionerne for den kvalitative primærforskning efterspørges en rammesætning af den kvalitative primærforskning, der kunne genfindes i fx case-studier og aktionsforskning end i andre designtyper inden for den kvalitative forskning. Inddragelse af den kvalitative forskning Med udgangpunkt i samme systematiske reviews fra Eppi-Centre skal det undersøges, hvad det er for måder at inddrage data fra primærforskningen på, som findes i de pågældende systematiske reviews. Der er tale om at undersøge inddragelse af data for i alt 17 (ud af de 19) systematiske reviews fra Eppi-Centre. Reviews 1 og 2 er ikke medtaget i de pågældende analyser, idet det ene fremlægger synteseprocessen utilstrækkeligt, mens det andet inddrager anden forskning end de inkluderede studier ved syntetisering af data (jf. tabel 6.12). I den forbindelse er det valgt at tage udgangspunkt i et materiale, der har nogenlunde overensstemmende betingelser i analysen af synteseprocessen. I analysen er det valgt at bibeholde samme grupperinger af reviews som i den foregående analyse om forskningsfunktioner. Det vil sige, at der i første omgang undersøges inddragelse af data for reviews 3-9, dernæst reviews og endelig reviews I analysen af de pågældende reviews vil der, på tværs af grupperne, kunne konkluderes flere overensstemmende måder at inddrage data på. Det samme billede har vist sig i de foregående analyser, hvor den kvalitative primærforskning opnår en effektafklarende forskningsfunktion på tværs af størstedelen af de pågældende systematiske reviews. Inddelingen af materialet i grupper med relativt små forskelle på tværs nok med størst udsving, som vi skal se, under inddragelsesniveu 3 - har været en måde systematisk at tilgå materialet. Derudover er det vurderet som værende en hjælp at knytte analysen af datainddragelse til forståelsen af de pågældende reviews, der allerede er blevet skabt i de foregående analyser af forskningsfunktioner for den kvalitative forskning. 167

170 Med udgangspunkt i de 17 systematiske reviews skal vi se, hvordan de pågældende reviews bearbejder primærforskningen ved datainddragelse ved niveau 1, 2 og 3. Som det fremgår bl.a. af indledningen i afhandlingen, har data fra primærforskningen under inddragelsesniveau 1 ikke mødt hinanden endnu, og niveuet angår udelukkende måden, som data anskues og indledningsvist hentes ind i reviewet på. I inddragelsesniveau 2 skal data fra primærforskningen derimod mødes, hvorfor niveauet angår måden hvorpå, data syntetiseres på tværs af den samlede primærforskning. Inddragelsesniveau 3 omhandler fleksibiliteten i reviewspørgsmålet i forhold til, hvorvidt forfatterne til de pågældende reviews undervejs i reviewprocessen tillader, at perspektiver fra dataene ændrer/ikkeændrer på hele eller dele af forståelsen i reviewspørgsmålet. Det, som bestemmer måden, som data inddrages i de tre niveauer på er, om der foregår enten en tolkning af data eller en mere eller mindre neutral overføring af begreber og/eller tal. Som det fremgår af indledningen, er det henholdsvis tolkning eller akkumulering af data i de forskellige inddragelsesniveauer, som afgør, om der endeligt er tale om henholdsvis aggregative, integrative eller interpretative syntesetilgange. I analysen af datainddragelse for hver af de 17 reviews er der taget udgangspunkt i følgende: 1. Hvad ønsker de pågældende systematiske reviewes at undersøge/besvare (reviewspørgsmål)? 2. Hvilket svar gives (forskningssyntese)? 3. Hvordan rapporterer/dokumenterer reviewet vejen til de pågældende konklusioner (synteseproces)? Ud fra ovenstående undersøges datainddragelsen i de pågældende reviews med udgangspunkt i en betragtning af henholdsvis reviewspørgsmål, synteseproces og forskningssyntesen for reviews 3-9, og Nedenstående skema er en oversigt over henholdsvis reviewspørgsmålene, synteseprocesserne og forskningssynteserne for den første gruppe, dvs. reviews 1-9. I den foregående analyse af forskningsfunktioner har vi set, hvordan det med reviews 1-9 giver mening at tale om en klar sondring formuleret i reviewspørgsmål og/eller forskningssyntese angående et hovedspørgsmål om effekt og tillægsspørgsmål om processuelle karakteristika, knyttet til interventionen, hvilket der tillige tages højde for i analysen af datainddragelsen i gruppen af reviews

171 Review Reviewspørgsmål Synteseproces Forskningssyntesen 1. Det er ikke til at se, hvorledes reviewet når frem til den overordnede konklusion i syntesen. Synteseprocessen er ikke afrapporteret 2. Studiet syntetiserer med anden forskning end den inkluderede primærforskning 3. What are the effects of the roles of mentors or inductors using induction programmes for newly qualified teachers (NQTs) on their professional practice, with special reference to teacher performance, professional learning and retention rates? (Totterdell, Woodroffe et al. 2008:3) Fremgår som afklaring af effekt: Three of the six studies show some evidence of an improvement in teacher performance as a consequence of NQT induction. Two of these are Houston et al. (1990a, and Spuhler and Zetler (1995a). The third, Totterdell et al. (2002a) Several surveys reported in Houston et al (1990a) provided good prevenient evidence that Corresponding results from a survey of NQTs showed that they felt classroom management had improved as a result of mentoring and induction, and that this was the area in which they received the most support from their mentors Spuhler and Zetler s study (1995a) also gave evidence of how NQTs, with the support of induction tutors had become more confident during the first year of their teaching, overcoming personal blame for classroom problems. Spuhler and Zetler (1995a) examined the sense of well being in NQTs aring form a programme, the Montanta BTSP. Overall, findings suggested that in both areas of Montana, progress in classroom tasks and performance was enhanced beyond expectations, and faster than expected, after the induction programme in which the NQTs participated. Fremgår som afklaring af effekt: Three of the six studies show some evidence of an improvement in teacher performance as a consequence of NQT induction Fremgår som afklaring af process: NQTs need for emotional support provided by their mentors and others featured prominently in the studies, which also indicated that information about school organization, whole school recognition of the value of NQT induction, time allocated for NQT induction, and appropriate matching of induction tutor with NQT are important factors for effective induction. (Totterdell, Woodroffe et al. 2008:33-34) Although few details about teacher performance are reported in the study by Totterdell et al.( 2002a), there is a rider which addresses this issue, stating that, since the statutory arrangements had been in place for a very short time (two years), it was too soon to state clearly whether or not teacher performance would improve after the induction year, but that this improvement was expected by head teachers and induction tutors (subsequently confimed by Ofsted inspectors see Thornton, 2003, and Miliband, 2003) Fremgår som afklaring af process (emotional support) Emotional support is the overall requirement 169

172 stated as an important need by NQTs and observed to be needed by induction tutors or mentors; this is noted by Houston et al. (1990a), the NYC Board of Education (1993), Spuhler and Zetler (1995a), Totterdell et al. (2002a), and Whitaker (2000a) Fremgår som afklaring af process (appropriate matching of induction tutor with NQT) Other issues which are said to affect professional learning positively are matching pairs of induction tutors with NQTs The benefit of matching pairs of tutors with NQTs is reported in Houston et al. (1990a), NYC Board of Education (1993), Stallion (1988), Totterdell et al. (2002a) and Whitaker (2000a). Houston et al (1990a) stated in Study 5 that NQTs preferred induction tutors with the matching subject and at the same age phase/grade experience. Stallion s study (1988) focused strongly on matched pairs of trained and untrained mentors and NQTs. She found - significant differences in the results of meetings between the three groups of NQTs and mentors used in her survey; the NQTs and mentors that had trained together in induction practices were more likely to discuss problems more frequently than those who had not trained together. (Totterdell, Woodroffe et al. 2008:30-31) 4. What is the evidence of the impact on students in secondary schools of self and peer assessment (Sebba, Crick et al. 2008:1, 20-21) Fremgår som afklaring af effekt: self esteem was accepted in a number of studies, as a proxy for subsequent attainment, acknowledging that there are wide variations in both definitions and robustness of the measures of self esteem. Five of the nine studies reporting outcomes of self esteem measured this through a student completed questionnaire (Bickmore 1981), medium WoE; Klenowski 1995, medium WoE; Marshall 1993, high WoE; Olina and Sullivan 2002, 2004, both high WoE) while three (Carter 1997, low WoE; Deakin Crick et al. unpublished medium WoE; Kitsantas et al 2004, medium WoE; ) used self reporting by students though interviews and in Ezell et al. (1999, medium WoE) teachers and parants were also interviewed for their receptions of the students self esteem. Seven of these studies (one low five medium, on high WoE) reported positive outcomes. In the eighth study (Marshall 1993), only a small minority of students were reported to have improved Fremgår som afklaring af effekt: Pupil self-esteem (7 out of 9 studies showed a positive effect) Fremgår som afklaring af proces - The classroom culture was related to positive outcomes for students. The teacher needs to be committed to learners having control over the process, and to be able to discuss learning and develop effective student feedback. (Sebba, Crick et al. 2008:27) 170

173 on self esteem and in the ninth study (Olina and Sullivan 2002) the control group achieved higher scores than the intervention group. (Sebba, Crick et al. 2008: 20-21) Fremgår som afklaring af proces Social climate is noted in some studies reporting positive outcomes to be important and active listening is one element of this. Pupils begin to behave in the same way in discussions with other pupils as that modelled by the teacher (Powell and Makin 1994, low WoE). While there is a vast literature on defining culture which cannot be summarised here, a number of conditions emerged under which self and peer assessment seem to be more effective, which can best be described generically as relating to culture. These include the need for teacher commitment to learner control, developing a language for dialogue about learning (e.g. Deakin Crick et al. unpublished) and moving from a dependent to an interdependent relationship between teacher and students which enables teachers to respond pedagogically to student feedback (Klenowski 1995). (Sebba, Crick et al. 2008) 5. Which types of classroom-based pedagogical interventions affect the educational achievement of pupils identified as gifted and talented? (Bailey, Pearce et al. 2008) Fremgår som afklaring på effekt (streaming) A theme that was common to many of the studies was the impact of different settings for gifted and talented pupils. Craven et al. (2000, WoE High), for example, evaluated three types of organisation: selective programmes (separate provision, sometimes requiring pupils to change schools); streamed classes (providing gifted and talented pupils an enriched environment, without changing schools); and mixed-ability classes (catering for gifted and talented pupils in the context of a regular classroom). These categories captured the different contexts of most of the studies, Some involved streaming (Craven 2000, WoE High; Fardell and Geake 2003, WoE Medium; Fletcher and Santoli 2003, WoE Low; Ryan and Geake 2003, WoE Medium; VanTassel-Baska et al. 2002, WoE High; Walker 2005, WoE Low; Webb et al. 2002, WoE Medium; Ysseldyke et al. 2004, WoE Medium). Streaming offers an alternative solution to the problem of differentiating provision for gifted and talented pupils than selective programmes. Webb et al. (2002, WoE Medium) investigated the effects of group composition Fremgår som afklaring af effekt The review supports the use of personalised learning and differentiation. There was evidence in favor of the appropriate use of streaming, differentiated provision within mixed ability classes, and individualized programmes Fremtræder som afklaring på proces however, effective provision within mixed ability classes presumes a positive classroom climate. (Bailey, Pearce et al. 2008:1) 171

174 6. What is the impact of adult support staff on the participation and learning of pupils and on mainstream schools? (Alborz, Pearson et al. 2009:1) (homogeneous or streamed/heterogeneous or mixed) on group processes and outcomes of science assessments for gifted and talented pupils. They found that gifted and talented pupils in homogeneous groups outperformed their gifted and talented peers in heterogeneous groups. However, they also found that the types of social interactions within the groups predicted pupil performance more strongly than either student ability or the overall ability composition of the groups. A similar finding was reported by VanTassel-Baska et al. (2002, WoE High), where pupils showed important gains from a new curriculum across all grouping approaches. Walker (2005, WoE Low) approached this issue of interaction within streamed classes from a different perspective in his examination of girls verbal participation. He did not provide comparative data, but his study does undermine the notion of genuinely homogeneous groups in terms of participation in classes and access to teacher support. (Bailey, Pearce et al. 2008:24) Fremtræder som afklaring på proces (Det fremgår ikke yderligere af synteseprocessen, herunder hvilke studier, der støtter påstanden om, at klassens klima har betydning) (se Bailey, Pearce et al. 2008:25) Fremtræder som afklaring på effekt: Apart from Grek et al. (2003), intervention group findings were compared with pupils in a comparison or control group, where there was no TA support or where TAs undertook other work. In all these studies, the support offered was targeted at pupils who had an identified problem in basic attainments, either early literacy skills (Grek et al., 2003; Miller, 2003; Savage et al., 2003, 2005, 2008; O Shaughnessy and Swanson, 2000; Wang and Algozzine, 2008; Vadasy et al., 2006; Vadasy et al., 2007), literacy and numeracy (Welch et al., 1995), numeracy (Muijs and Reynolds, 2003) or a more general language delay (Boyle et al., 2007). The overriding conclusion from eight of these nine studies is that trained and supported TAs, either working on a one-to-one basis or in a small group, can help primary aged children with literacy and language problems to make significant gains in learning when compared, in all but two of the studies, with similar children who do not receive TA support. This is an encouraging finding and one which has major implications for the planning and Fremtræder som afklaring på effekt: Literature suggests that trained and supported teaching assistants (TAs) can have a positive impact on the progress of individual or small groups of children, in the development of basic literacy skills (Alborz, Pearson et al. 2009:1) Fremtræder som afklaring på proces: Processes supporting positive pupil impacts: TAs appear effective where trained and supported to deliver specific interventions to individuals or small groups. However, the intervention itself should be robust: that is, for 172

175 delivery of services to children with learning difficulties in mainstream schools One further distinguishing feature of these studies is that in only three of them was the performance of a qualified group (teachers Grek et al., 2003; Miller, 2003; or speech and language therapists Boyle et al., 2007) compared with the performance of the less qualified group (TAs or speech and language therapy assistants (SLTAs)). The fact that, in all three studies, there were no differences in the progress made by pupils taught by the TAs or SLTAs when compared with those taught by their qualified colleagues, suggests that trained and supported interventions from TAs (or SLTAs) for children with literacy or other difficulties might be just as effective as support provided by teachers. This suggests that, if class teachers (CTs) carried out the interventions reported in the other studies, rather than TAs, the pupils would have made the same amount of progress when compared with a control group. However, before claiming that these three studies show that TAs can be as effective in delivering interventions as teachers, it is worth bearing in mind that TAs and SLTAs in the studies by Boyle et al. (2007) and Miller (2003) were more qualified and experienced than is often the case. For example, the majority of TAs in the UK do not have a university degree and many hold no qualifications above a grade C in GCSE (Blatchford, 2006). In the Boyle et al. (2007) study all the SLTAs had a psychology degree and experience of working with children. In the study by Miller (2003), four of the seven TAs were certified teachers who were working as assistants. It is possible that the higher than usual level of qualification and experience of the TAs and SLTAs in these studies was the key factor in enabling them to be just as effective as teachers or SLTs in helping the children to make progress. (Alborz, Pearson et al. 2009:25,27) example, delivered appropriately and implemented over a sufficient period of time to have an effect. (Alborz, Pearson et al. 2009:41-42) Fremtræder som afklaring på proces (det fremgår ikke præcist, hvor forfatterne henter deres konklusion) 7. Hovedsprøgsmål How have different information and communication technologies (ICTs) contributed to the Fremtræder som afklaring af proces: Although only two studies reported on the difficulties and strengths of using graphics calculators, this would seem to be an important section for practitioners and has therefore been picked out for special Fremtræder som afklaring af proces: There is evidence that students do not always know how to use the technology, interpret 173

176 development of understanding of function for pupils up to the age of 16 (with particular reference to the relationships between different representations and the interpretation of graphical representations). (Goulding and Kyriacou 2008:8) 8. Hovedspørgsmål: How does art education contribute to cultural understanding (i.e. understanding of self and others in relation to culture)? Tillægsspørgsmål: Which kinds of instructional strategies and content are being applied to facilitate this aim (Mason, Geareon et al. 2006: 7) 9. Hovedspørgsmål: What evidence is there from empirical research that the quality of ITE is influenced by its organizational structure, management processes and conceptual framework? (Bill, Briggs et al. 2007:14) treatment. The study by Mitchelmore and Cavanagh (2000) gave detailed evidence of the difficulties which students had in using a graphics calculator. Common difficulties were as follows: - Given the symbolic equation of a parabola, then presented with a portion of the curve on screen which looked straight, students were misled. They thought this was a straight line and did not refer to the equation. - They found difficulty adjusting scales so that perpendicular lines appeared perpendicular on the screen (Goulding & Kyriacou 2008:26) Fremtræder som afklaring på process: There is considerable variation in the kinds of art practices and resources described in the studies in the review-. Culturally specific and/or hybrid art practices and resources were the focus of studies where affirmation of collective minority identity was the main concern. In the Sheesley (2000) study, reproductions of artworks by Afro-American, Native-American and Hispanic artists functioned as the primary resrouce for cultural learning supported by other multicultural work and books. In the Adu- Poku (2002) study, learners made African type arts and crafts, using source material about this topic. Significantly, because the identity of the Taiwanese-Canadian immigrant community is in a state of Flux, the kinds of art-works and art practice that members selected for display included both hybrid and culturally specific (non.euro- American) arts and crafts. Examples are paintings, music and prints by westerneducated Taiwanese artists (Mason, Geareon et al. 2006:27) Both Powney et al. (1993) and Gormley et al. (1993) offer suggestive evidence of the benefit of an increase in the amount of time spent in school, with commentary on the conditions necessary for this additional time to provide effective learning experiences.(bill, Briggs et al. 2007:19) ambiguities in the output and exercise critical judgment when using some of the facilities of advanced calculators. These studies are of relevance to the review question, because they show that the learner has to learn how to use the tool critically before it can be used effectively and also that difficulties in using the tool effectively may be exposing conceptual difficulties. (Goulding & Kyriacou 2008:1-2) Fremtræder som afklaring af proces: The selection of cultural content, art media and visual resources differs in the two models Fremtræder som afklaring af proces: Teacher trainees benefited from increased time in school and from mentoring (Bill, Briggs et al. 2007: 1) Tabel 6.12: Reviewspørgsmål, synteseproces og forskningssyntese for reviews 3, 4, 5, 6, 7, 8 og 9 174

177 Kolonne 1 i ovenstående tabel viser reviewspørgsmålene, der i de pågældende reviews er de forudgående forskningsspørgsmål, som de pågældende reviews har sat sig for at besvare. Kolonne 2 viser den rapporterede synteseproces, hvorunder forskningsprocessen for besvarelsen af reviewsprøgsmålet er forsøgt dokumenteret. Endelig viser kolonne 3 resultater fra forskningssyntsen for de enkelte reviews, der er en besvarelse på reviewspørgsmålet og resultatet af synteseprocessen. I samtlige reviews findes flere konklusioner på (et bredt formuleret) reviewspørgsmål og dermed flere (forskellige) svar på henholdsvis et effekt- og processuelt spørgsmål. For eksempel med review 3 fremgår det, at reviewet har sat sig for at undersøge effekten af indslusningsforløb for nyuddannede lærere med særligt fokus på henholdsvis lærernes resultatpræstationer (teacher performance), professionelle læring (professional learning) og fastholdelse (retention rates). I ovenstående tabel vises synteseprocessen for, hvordan reviewet konkluderer, at indslusningsforløbet bevirker en forbedring i lærernes resultatpræstationer. I tabellen er dermed ikke vist synteseprocessen for, hvordan reviewet måtte konkludere en sammenhæng mellem indslusningsforløb for nyuddannede lærere og lærernes professionelle læring og fastholdelse. Det er tanken, at en identificering af synteseprocessen for én eller ganske få konklusioner i forskningssyntesen (på tværs af flere reviews) kan give et indtryk af, hvilke syntesetilgange, de pågældende reviews samlet bruger i forhold til at konkludere effektive pædagogiske interventioner, herunder interventionens processuelle karakteristika. Et fokus på at undersøge syntesetilgange for én eller ganske få konklusioner i forskningssynteserne er tillige fremgangsmåden for analysen af datainddragelse i de øvrige reviews og I det følgende karakteriseres synteseproceseen for reviews 3-6 i forhold til deres konklusioner om effektive pædagogiske interventioner. Efterfølgende undersøges syntesetilgange for reviews 3-9 i forhold til deres konklusioner om processuelle karakteristika ved interventionen. REVIEWS 3-6 Det fremgår af review 3 i reviewspørgsmålet, at reviewet vil afklare effekten af indslusningsprogrammer for nyuddannede lærere (NQT induction) i forhold til lærernes resultatpræstationer (teacher performance). I forskningssyntesen konkludereres det, at reviewet finder frem til en positiv sammenhæng mellem indslusningsprogrammerne og lærernes øgede resultatpræstationer: some evidence of an improvement (review 3). I 175

178 synteseprocessen (og forskningssyntesen) fremgår det, at det pågældende resultat udledes på baggrund af tre studier, der tilsammen konkluderer forbedrede præstationer i lærerens arbejde: three of the six studies show some evidence of an improvement in theacher performance as a consequence of NQT (review 3). Et lignende forløb i henholdsvis reviewspørgsmål, forskningssyntese og synteseproces kan skitseres for de øvrige reviews 3-6: I review 4 undersøges fx effekten af self and peer assessment. Reviewet konkluderer, at elevers selvtillid øges gennem self and peer assessment. Det fremgår, at resultatet konkluderes på baggrund af i alt 7 studier, der er vurderet at påvise pågældende resultat, mens kun to studier er vurderet ikke at bekræfte pågældende sammenhæng: Seven of these studies reported positive outcomes In the eighth study only a small minority af students were reported to have improved on self esteem and in the ninth study the control group achieved higher scores than the intervention group (review 4). Endvidere i review 6 fremgår det, at reviewet har sat sig for at undersøge effekten af lærerassistenernes arbejde (adult support staff) i lyset af elevernes undervisningsdeltagelse og læring (participation and learning). Forskningssyntesen konkluderer, at uddannede (trained and supported) lærerassistenter har en positiv virkning på hver enkelt elev og elever i små grupper i forhold til udvikling af elevers basale læsefærdigheder. I synteseprocessen fremgår det, at resultatet konkluderes på baggrund af, at otte studier tilsammen påviser pågældende sammenhæng: The overriding conclusion from eight of these nine studies is that trained and supported TAs, either working on a one-to-one basis or in a small group, can help primary aged children with literarcy and language problems to make significant gains in learning (review 6). Til at besvare reviewspørgsmålene om effekt/virkning af en intervention udtrykker ovenstående eksempler, at der med de pågældende reviews lægges vægt på, at primærforskningen frekvensmæssigt antages at konkludere pågældende effekt, idet antallet af studier fremhæves. Dermed gives indtryk af, at variable fra primærforskningen er lagt sammen, dvs., at de er akkumuleret således, at primærstudierne anskues at omhandle samme fænomen. Dette niveau ved syntetisering af data angår inddragelsesniveau 2, dvs syntetisering af data på tværs. Den akkumulerede struktur ved syntetisering af primærforskningen har således inddragelses -karakteristika tilfælles med aggregative og integrative tilgange: Med denne betragtning af primærforskningen akkumuleres undersøgelsesfænomener med henblik på at øge populationen og dermed efterkomme et ideal om generalisérbarhed i numerisk forstand for dermed i overensstemmelse med en 176

179 korrespondanceteori om sandhed - at afklare mulige universelt gældende kausale love. Synteseprocessen synes desuden at være inspireret af en teori om, at kausale processer kan identificeres i forhold til at bestå af tre led; årsag, virkning og reglen. Med udgangspunkt i den rapporterede synteseproces for de pågældende reviews 3-6 vil synteseprocessen i det følgende blive yderligere underbygget ved at bestemme, hvorledes data fra primærforskningen inddrages i de forskellige niveuer. IN DDRAGELSESNIV EAU 1 Review 3 konkluderer, som nævnt, at indslusningsforløb for nyuddannede lærere (NQT induction) har positiv effekt på lærernes resultatpræstationer (teacher performance), samtidig med at det fremgår af synteseprocessen, at den pågældende effekt er påvist positiv hos i alt tre studier. I den forbindelse udgør indslusningsforløb for nyuddannede lærere interventionen, mens lærernes resultatpræstationer udgør outcome og positiv sammenhæng udgør reglen. I reviewene akkumuleres data oven på hinanden i inddragelsesniveau 2, og interventionen for de tre studier må derfor, som tidligere nævnt, blive betragtet som den samme på tværs af de tre studier og ligeledes med outcome-mål for de tre studier. Synteseprocessen viser, hvordan forskellige interventionstyper og outcomemål fra den individuelle primærforskning bliver kategoriseret og akkumuleret, således at de efterkommer den pågældende teori om, at kausale processer identificeres i de tre nævnte led. I eksemplet fra review 3 fremgår det, at det første studie - som akkumuleres med to andre - påviser en sammenhæng mellem indslusningsforløb og styrket klasserumsledelse, mens det næste studie påviser en sammenhæng mellem indslusningsforløb og de nyuddannede læreres selvtillid (overcoming personal blame for classroom problems). Hos det tredje studie udtrykkes i reviewet, at der antages en forventning om lærernes forbedringer givet deres deltagelse i indslusningsforløbet: this improvement was expected by head teachers and induction tutors (Totterdell, Woodroffe et al. 2008). Lærernes resultatpræstationer (teacher performance) som reviewets outcome-mål er dermed sammensat på baggrund af primærstudiernes individuelle variable, henholdsvis som forbedringer i klasseledelse, øgede selvtillid hos lærerne og forventningen om forbedringer hos lærerne. I den rapporterede synteseproces foretages ingen undersøgelser af betingelser i primærforskningen, der måtte bevirke, at de tre studier hver især er vurderet at påvise disse sammenhænge. Der foretages med andre ord ikke analyser af de individuelle kontekster i primærforskningen, som interventionstype, outcome- 177

180 mål og reglen kunne anskues i lyset af. Et lignende forløb kan karakteriseres for de øvrige reviews: I review 5 udpeges streaming som en pædagogisk intervention med positiv effekt på undervisning for særligt begavede elever. I synteseprocessen ses en (kort) beskrivelse af flere af de otte studier, der ligger til grund for den endelige konklusion i forskningssyntesen om, at streaming er effektiv for den pågældende gruppe af elever. Hos ét af studierne påpeges den positive effekt at være på baggrund af outcome-mål i naturfag, mens et andet tager udgangspunkt i pigernes deltagelse i et givet undervisningsforløb. I reviewet diskuteres det ikke, hvordan de individuelle studier måtte forstå streaming, hvilke deltagere, der er undersøgt, under hvilke omstændigheder streaming er blevet undersøgt m.m. Eftersom reviewet indhenter data uden at rapportere disse analyser, fremstår streaming som variabel indhentet neutralt fra primærforskningen. Ved inddragelsesniveau 1 kan det således fastslåes, at inddragelse af primærforskningens forskningsresultater foretages ud fra en betragtning af, at data i primærforskningen behandles og anskues tilstrækkeligt defineret, eftersom der ikke foretages analyser af betingelser i dataene. Ved at afskære studierne fra deres individuelle forudsætninger - herunder at betragte dem (udelukkende) ud fra et spørgsmål om intervention, outcome-mål og reglen må det hævdes, at primærforskningen ved inddragelsesniveu 1 anskues og inddrages i reviewet således, at man efterkommer en kausalitetsopfattelse bestående af tre led: årsag, virkning og reglen. IN DDRAGELSESNIV EAU 2 I synteseprocessen for review 3 tilbydes få oplysninger om interventionen for de tre akkumulerede studier. Det fremgår af fx ét studie, at effekten er påvist på baggrund af en intervention, der består i et særligt program (Montana BTSP), anvendt i en specifik kontekst, herunder i en bestemt delstat i USA (Montana). Det fremgår i et andet studie, at effekten er påvist på baggrund af (en anden type) intervention, der har været implementeret i to år, hvoraf den pågældende geografiske kontekst ikke angives for dette studie. Med konklusionerne i forskningssynteserne tages der ikke afsæt i analyser, der spørger til, hvorfor én type intervention (i Montana) har vist sig effektiv. Mens én anden type (intervention over 2 år) også viser sig effektfuld. Hvad er fælles for disse interventioner, hvad er forskellen? Ligesom det er tilfældet ved inddragelsesniveu 1 af dataene, er konklusionerne i forskningssyntesen for review 3 dermed ikke opbygget på baggrund af, at der foretages analyser af betingelser, der måtte vise sig på tværs af studiernes individuelle interventioner 178

181 og outcome-mål. Derimod bliver variable som indsatstype og outcome-mål lagt sammen som én og den samme. I review 4 undersøges effekten af self and peer assessment. Forskningssyntesen konkluderer, at self and peer assessment har en positiv effekt på elevers selvværd (selfesteem). I synteseprocessen fremgår det, at studierne på tværs har forskellige forståelser af variablen/outcome-mål self-esteem : self esteem was accepted in a number of studies, as a proxy for subsequent attaiment, acknowledging that there are wide variations in definitions of the measures of self esteem. Med review 4 er der således i den rapporterede synteseproces et fokus rettet mod, at variable/outcome-mål på tværs af studierne ikke nødvendigvis kan anskues som identiske. Konklusionerne i forskningssyntesen for det pågældende review tager imidlertid udgangspunkt i en akkumulering af den pågældende variabel som netop én og den samme: Pupil self-esteem (7 out of 9 studies showed a positive effect). Selvom synteseprocessen for det pågældende review understreger, at der er tale om forskellige variable på tværs, får disse betragtninger i reviewet ikke betydning for resultatet, idet konklusionerne i forskningssyntesen fortsat tager udgangspunkt i en akkumulering af (identiske) variable på tværs af primærforskningen. Der findes visse nuancer i synteseprocessen til den neutrale syntetisering af primærforskning på tværs. I tråd med, at der gøres opmærksom på primærforskningens individuelle forskningsdesigns og metoder ses det, at der produceres nye forståelser (tolkninger) ved at sammenholde primærforskningen på tværs på baggrund af studiernes individuelle forskningsdesigns og -metoder. For eksempel i review 6 undersøges virkningen af adult support staff. I reviewets forskningssyntese konkluderes det, at uddannede (trained and supported) lærerassistenter har en positiv effekt på børns udvikling af basale læsefærdigheder. I synteseprocessen fremgår det, at majoriteten af studier er eksperimentelle designs med allokering af deltagere i to grupper. Det fremgår, at en stor del af primærforskningen påviser positive resultater af lærerassisters arbejde, mens enkelte konstaterer ingen forskel mellem resultaterne for, hvorvidt eleverne præsterer bedre med lærerassistenter end uden. Reviewet konkluderer, at studier, som påviser en sammenhæng, skyldes, at de i deres undersøgelsesdesign har forholdt sig til lærerassistenter, der er uddannede. Omvendt, de studier som ikke påviser en sammenhæng skyldes, at de har undersøgt det med lærerassistenter, der er ikke-uddannede. Med et fokus på studiernes individuelle betingelser i forskningsdesigns skaber reviewet dermed nye forståelser og ny 179

182 indsigt og forklarer grundlaget for forskellige resultater i primærforskningen. De pågældende studier påviser ikke denne sammenhæng i sig selv. Det pågældende resultat i forskningssyntesen er derimod fremkommet som en konsekvens af analyser af betingelser i de individuelle studier, betragtet på tværs. Der bliver så at sige skabt ny viden, men ikke viden, der er resultat af en neutral akkumulering. I review 3 er diskussioner om forskningsdesign og metoder ikke nær så tydelige, som de forekommer i flere af de øvrige reviews, se fx review 4: Five of the nine studies reporting outcomes of self esteem measured this though a student completed questionnaire used self reporting by students though interviews and teachers and parants were also interviewed for their recpetions of the studens self esteem (Sebba, Crick et al. 2008: 20-21). Fokus på primærforskningens individuelle forskningsdesigns og -metoder kan betragtes som en måde at gå bag om data på. Primærforskningens forskningsdesigns og metoder synes dermed at blive vurderet som en væsentlig kontekstuel variabel i forhold til at anskue betingelser i primærforskningen. Fokus på forskningsdesigns og metoder er i tråd med henholdsvis evidenshierarkiet og typologien, som redskaber brugt af reviewproducenter til kvalitetsvurdering af primærforskning (jf. kap. 4). Et fokus på forskningsdesigns og metoder kan dermed hævdes at være i tråd med reviewproducenternes blik på at identificere nuancer i forskningen. Introduktionsbøgerne om kvalitativ forskning, som de er kommet til udtryk i den foreliggende afhandling, ville i den sammenhæng mene, at forskningen må vurderes ud fra et væld af kontekstuelle præmisser, hvor betingelser i forskningsdesigns og - metoder blot er én af dem. IN DDRAGELSESNIV EU 3 (O G 2) I den rapporterede synteseproces for de pågældende reviews foregår en udvikling/ændring af variable i primærforskningen, idet variable i primærforskningen ikke er overensstemmende med variable i forskningssynteserne (og reviewspørgsmålet). Ved at betragte synteseprocessen og forskningssynteserne kan det således konstateres, at variable fra primærforskningen ændrer karakter undervejs i synteseprocessen. Trods det at variable indhentes og behandles neutralt under såvel inddragelsesniveau 1 og 2, opstår der alligevel en udvikling/ændring af variable i synteseprocessen. Dette kan fx illustreres med review 5, 180

183 hvor det fremgår, at de indviduelle studier angår undersøgelser af et væld af forskellige variable, der er vurderet at have påvist positiv effekt på undervisningen for særligt begavede elever (pupils identified as gifted). Studiernes individuelle variable (indsatstyper) angår selective programmes, streaming, differentiated provision within mixed ability classes. Reviewet konkluderer, at disse variable tilsammen udgør classroom-based pedagogical intervention, der påviser positiv effekt på personalised learning and differentiation. De individuelle variable selective programmes, streaming. osv., dvs. individuelle indsatstyper og outcome-mål i studierne, indgår og udvikles tilsammen i overordnede kategorier/begreber om indsatstyper og outcome-mål. Med analyserne af inddragelsesniveu 1 og 2 i det foregående har vi set, at der foretages ganske få handlinger i synteseprocessen, der bevirker en ny forståelse eller ændring af primærforskningens variable. Alligevel ændrer variablene i primærforskningen grundlæggende karakter undervejs og ud fra hvilket grundlag? Den pågældende udvikling af variablene må forstås at angå forskningsspørgsmålet, herunder hvorledes den samlede forskning tolkes at falde ud som samlede og overordnede betegnelser for indsatstype og outcome-mål i forskningsspørgsmålet. Eftersom variablene ikke ændres som en konsekvens af analyser af betingelser (konteksten) i primærforskningen under inddragelsesniveau 1 og 2, må variablene blive ændret undervejs med henblik på at tilpasse sig noget andet. Reviewspørgmålene om indsats og outcome-mål må anskues at udgøre begreber, der samlet klassificerer et væld af indsatstyper og outcome-mål indhentet med henblik på at tilpasse sig en mere eller mindre på forhånd defineret struktur, herunder begreber i reviewspørgsmålene. Eftersom primærforskningens betydningsunivers ikke tolkes ind i reviewet, må primærforskningen således forstås at blive tolket ind i reviewet i betydning af, at den - såvel enkeltvis som samlet set - angår samme teori indeholdt i reviewspørgsmålet. Begreberne i reviewspørgsmålet kunne tænkes at blive modificeres undervejs med henblik på at samle forskningens begreber på tværs, men reviewspørgsmålets teori om sammenhænge mellem mere eller mindre på forhånd definerede variable/fænomener må betragtes som styrende og overgribende for forståelsen af primærforskningen. I det følgende afsnit gives en yderligere analyse af reviews 3-9 med fokus på at undersøge syntesetilgange i deres konklusioner om processuelle og implementeringsmæssige karakteristika. I nogle reviews er der, som tidliger nævnt, på forhånd fastsat et tillægssprøgsmål i reviewspørgsmålet, hos andre langt de fleste bliver der besvaret et 181

184 tillægsspørgsmål i forskningssyntesen uden om et på forhånd defineret tillægsspørgsmål i reviewet. Som tidligere nævnt findes der ikke de store udsving i syntesemetoderne i de pågældende 17 systematiske reviews. I nedenstående analyse er det vurderet tilstrækkeligt - og mest interessant - udelukkende at finde frem til, hvorledes inddragelse af primærforskningen foregår i niveau 1 og 2. I tabel 6.12 er vist et udvalg af den rapporterede synteseproces for besvarelse af de processuelle og implementeringsmæssige forhold, som nedenstående analyser tager udgangspunkt i. REVIEWS 3-9 TILLÆGSSPØRGSMÅL I reviews 3-9 har vi set, at der i forskningssynteserne konkluderes en/flere variable, der fungerer som (processuelle) betingelser, dvs. at der identificeres yderligere variable, der vurderes at gøre sig gældende, såfremt (den overordnede) indsatstype i reviewet skal være ensbetydende med den ønskede effekt. Fx i review 3, hvor hovedkonklusionen er, at primærforskningen påviser en forbedring af lærernes arbejde (outcome-mål) i kraft af lærernes deltagelse i særlige programmer for nyuddannede lærere (indsatstype). Det pågældende review konkluderer endvidere, at forudsætningen for den ønskede effekt er, at der fra skolerne er forståelse, værdsættelse og opbakning (emotional support) for lærernes deltagelse i programmerne. I det følgende skal vi finde frem til syntesegrundlaget, der bevirker, at de pågældende reviews konkluderer disse yderligere variable, som vurderes at være en forudsætning for den ønskede effekt. For reviews 3-9 findes i varierende grad informationer om synteseprocessen for konklusionerne om de yderligere variable. I reviews 5 og 6 er det således ikke lykkedes at finde frem til synteseprocessen, dvs., at konklusionerne om tillægs -variable fremstår uden et forskningsmæssigt grundlag. For reviews 4 og 9 findes få informationer, dvs., at der (kun) angives en række udvalgte underordnede variable, hentet fra primærforskningen. Fx for review 4 fremgår det, at der med reviewspørgsmålet ønskes at finde frem til effekten af self and peer assessment som pædagogisk værktøj. I forskningssyntesen konkluderes det, at metoden har positiv effekt på elevers selvværd Pupils self-esteem showed a postive effect. Endvidere konkluderes det som processuel karakteristika for indsatsen at værktøjets postive effekt forudsætter tilstedeværelsen af en særlig kultur i klassen (classroom culture). Det fremgår af synteseprocessen, at den særlige klassekultur konkluderes på baggrund af studier, der påpeger, at værktøjet har vist sig effektivt i de situationer, hvor læreren 182

185 tilskynder eleverne til kontrol over egen læringsproces, og hvor læreren opmuntrer eleverne til dialoger om deres egen læringsproces. Begrebet klassekultur er dermed et overordnet begreb, udviklet på baggrund af de nævnte enkeltstående og unikke begreber/variable hentet fra primærforskningen. I reviewet er grundlaget for variablen, at en flerhed af studier er vurderet at påvise, at variablen er central med henblik på at opnå positive effekter af værktøjet: Social climate is noted in some studies reporting postive outcomes to be important. Det nøjagtige antal studier, der er vurderet at påvise variablen, angives ikke. Ligeledes findes ingen yderligere informationer om de enkelte studier, såsom fx studiernes deltagere, forskningsmetoder, land mv. Der er således kun angivet enkeltstående udvalgte variable fra primærforskningen, der har ført til reviewets overordnede variabel om en særlig klassekultur som en processuel betingelse for effekten. Det må konstateres, at der er langt mere transperans omkring syntesegrundlaget for at konkludere spørgsmål om effekt, sammenlignet med transperansen for syntesegrundlaget, der konkluderer om indsatsens processuelle karakteristika. Et bud på, hvorfor det forholder sig således er, at traditionen inden for udvikling af systematiske reviews historisk betragtet fra start har haft stærke holdninger til, herunder fokus på at afklare effektspørgsmål (jf. kapitel 4). Et andet bud er, at syntesegrundlaget for de yderligere variable ikke består i en udelukkende aggregering af data, men derimod er fundet frem som resultat af en anden proces, der måske har syntes vanskelig at dokumentere. Måske har forfatterne syntes, at en anden type end en aggregering af data overhovdet ikke er en dokumentation for variablen. I et enkelt review fremgår det i synteseprocessen, at andet end frekvensen af studier/variable har haft betydning for deres fund af processuelle karakteristika. Although only two studies reported on the difficulties and stregths of using graphics calculators, this would seem to be an important section for practitioners and has therefore been piched out for special treatment (review 7) For reviews 3, 7 og 8 forekommer mere komplette beskrivelser af syntesegrundlaget for de processuelle karakteristika i den forstand, at der som i synteseprocessen for effektspørgsmål - fremgår beskrivelser af udvalgte studier, fx angående studiernes deltagere, forskningsmetoder og i hvilket land, studierne er undersøgt. Derudover ses det, hvorledes dokumentation for variablene, som tidligere antydet, typisk går på antallet 183

186 af studier, der er vurderet at konstatere variablens relevans. I review 3 konkluderes det - som en del af det processuelle overordnede begreb emotional support - at matching af tutor med deltagere i introduktionsprogrammet for nyuddannede lærere er et vigtigt element, såfremt der skal opnås den ønskede effekt af introduktionsprogrammerne: The benefit of matching paires of tutors with NQT is reported in Houston et al. (1990a), NYC Board of Education (1993), Stallion (1988), Totterdell et al. (2002a) and Whitaker (200oa). (review 3). Citatet viser, hvorledes det i synteseprocessen fremgår, at grundlaget for variablen matching som yderligere variabel er, at en flerhed af studier er vurderet at dokumentere dens relevans. Lignende syntetisering af primærforskningen har vi set gøre sig gældende i grundlaget for at konkludere effekten i de pågældende reviews, hvor syntesegrundlaget på lignende vis udgøres af frekvensen af studier, der vurderes at påvise relevansen af samme variabel. Såfremt reviews 3,7 og 8 med deres mere detaljerede beskrivelser af syntesen er udtryk for, hvorledes de processuelle variable er dukket frem, er der tale om en akkumulering af dataene ved inddragelsesniveau 1 og 2. Som et eksempel på en kontekstuel variabel, der kunne men som der ikke bliver taget højde for er årstal. Som det fremgår af ovenstående citat, er studierne undersøgt i vidt forskellige år, henholdsvis 1988, 1990, 1993, 2000 og I synteseprocessen tages der ikke højde for, at introduktionsprogrammer for nyuddannede lærere gennem årene øjensynligt kunne tage sig forskelligt ud. Studiernes forståelse af matching bliver lagt sammen som én og samme betydning på tværs af årene, hvormed beviset for variablens relevans bliver dens forekomst i en flerhed af studier. I afhandlingen har vi set, at den kvalitative forskning som funktion er vurderet at opnå en rolle, hvor den bidrager med supplerende indsigt, dvs. processer knyttet til indsatsen, der måtte præcisere effekten i forhold til for hvem, hvad og hvorfor den er/ikke er effektfuld. Vi har set, hvorledes den vurderes at besvare disse spørgsmål, idet den modsat et RCT-design forstås at få konteksten i en undersøgelse med. Med Dilthey beskrives det, at forskeren begriber en større flerhed af faktorer gennem forståelse for et enestående og unikt genstandsfelt. Med Dilthey og Habermas har vi set, hvorlede de begge tilskriver åndsvidenskaben og de hermeneutiske videnskaber en indføling og personlig nærhed til objektet som undersøges. Med kompleksitetsteorierne beskrives vidensproduktionen for den kvalitative forskning, at den er i stand til at afdække komplekse kausale strukturer i verden, 184

187 idet den kvalitative forskning forholder sig til, at strukturerne begribes lokalt. Ovenstående eksempel fra review 3 viser, at fundamentet for at konkludere processuelle karakteristika er identisk med syntesetilgange i deres tilgang til at konkludere effekt. Det betyder, at grundlaget ikke er en lokal betragtning af variablen eller et resultat af en begribelse af en flerhed af faktorer, som i denne afhandling er skrevet frem om grundlaget for den kvalitative forskning. Det vil sige, at måden, vidensproduktionen for den kvalitative forskning er beskrevet på i afhandlingen, ikke er lig vidensproduktionen i de pågældende reviews, der på paradoksal vis netop konkluderer om processer for indsatsen, herunder om en klassisk kvalitativ vidensproduktion. Dertil kunne hævdes, at fx det lokale ikke er muligt i systematiske reviews, idet der konkluderes på en flerhed af studier/indsatstyper. Synteseprocessen for variable behøver imidlertid ikke at være variable, der identificeres i en flerhed af studier. I eksemplet med matching kunne det undersøges, hvorledes matching har taget sig ud gennem årene for herigennem at fremdrage underliggende og sammenlignelige teorier og fremgangsmåder i forsøget på matching, som for disse tilsyneladende forskellige indsatstyper gennem årene har ført til positive resultater. Med dette udgangspunkt for syntetisering af processuelle karakteristika opretholdes viden om det lokale, og der indgår en flerhed af faktorer, idet det lokale og de mange faktorer netop er matching, som det fremgår i sin kompleksitet i de pågældende studier. I det konkrete eksempel fra review 3 ses det, at der i reviewet beskrives forskellige metoder til maching, der gør sig gældende på tværs af et udvalg af studier: Houston et al. (1990a) stated in Study 5 that NQt preferred induction tutors with the matching subject and at the same age phase/grade experience Stallion s study (1988) focused strongly on matched paires of trained and untrained mentors and NQTs (review 3). I reviewet får disse detaljer i primærforskningen igen betydning, idet de ikke medanalyseres, og de indgår ikke som en del af synteseprocessen, herunder som grundlag for fund af relevante variable i forhold til at afklare processuelle karakteristika. Derimod konkluderes matching på baggrund af, at variablen fremtræder i en flerhed af studier. REVIEWS I det følgende undersøges syntesetilgange for reviews I nedenstående tabel 6.13 er angivet henholdsvis reviewspørgsmål, synteseproces og forskningssynteser fra de pågældende reviews. 185

188 Review Synteseproces Forskningssyntesen 10. What is the impact of award-bearing training on paid primary and secondary Teaching Assistants (TAs) in mainstream schools? (Cajkler, Tennant et al. 2007:1) Findings from UK studies of STAC courses (N = 4) Medium-low to high studies Three medium to high studies (Edwards and Clemson, 1997; Hutchings, 1997; Swann and Loxley, 1998), focused on STAC courses in England. In addition, one low-medium WoE study (Ryall and Goddard, 2003) was found. The STAC programme was introduced in 1994 by the Department for Education to address the needs of specialist teaching assistants (STAs), with funding to support participation. These opportunities were offered by HEIs and by local authorities, often working together in partnership. The following commentary on the three studies deemed to be medium-low or higher WoE needs to be read in the light of the weights of evidence (WoEs), with Swann and Loxley (1998) clearly the most reliable What does the STAC training do for the TAs? All medium to high weight studies reported impacts in the following: - subject knowledge - job satisfaction - motivation, confidence and self-esteem - teamwork The following impacts on TAs were less frequently reported and will not form part of the detailed discussion: - academic skills - reflection - verbal skills / communication skills SUBJECT KNOWLEDGE Perhaps the most signifi cant impact identifi ed in two of the studies was an increase in subject knowledge, in particular: - understanding educational discourse; language used by teachers; understanding of the teaching/learning process (Hutchings, 1997; Swann and Loxley, 1998) - how children learn (implicit in Edwards and Clemson, 1997; but specifi cally mentioned in the other two studies) - knowledge about subjects in the curriculum; working practices and policies; organisation of teaching and learning in their schools (Swann and Loxley, 1998) - methods of assessment (Hutchings, 1997 p 37 in relation to reading ; Swann and Loxley, 1998) Both Hutchings (1997) and Swann and Loxley All the studies suggest that training is useful programmes reviewed in these studies reported some positive conclusions - STAC courses led to changes in TA job satisfaction, subject knowledge, motivation, confidence, selfesteem, teamwork (three studies ) (Cajkler, Tennant et al. 2007:59) 186

189 (1998) reported that TAs had a better understanding of teacher discourse: informally, students also hinted that the course had enabled them to share a technical vocabulary and set of concepts with teachers that made it easier for them to take part in educational discourse (Swann and Loxley, 1998, p 146). Swann and Loxley identifi ed gains in TAs understanding of pupil perspectives: TAs were asked to rate the degree of increase in their knowledge and understanding in the following categories). Many students believed that a significant increase had occurred in their knowledge and understanding as a result of training (Swann and Loxley, 1998, p 149). JOB SATISFACTION The STAC courses provided mixed views about the impact of training on TAs job satisfaction. On the one hand, The great majority of students who completed the Open University s STAC course perceived themselves as having gained considerable new knowledge, understanding, skills and confidence as a result of the training (Swann and Loxley, 1998 p 157). Swann and Loxley (1998) also reported that the most signifi cant gains in participation by TAs were in areas traditionally reserved for teachers - for example, planning and assessment (particularly informal assessment) and recording (p 153) - while Hutchings (1997) reported that TAs felt an increased sense of belonging to the school. Against this positive picture is a sense of frustration, as reported by Swann and Loxley (1988), that despite the training that TAs had received, there was little change in the participation of TAs in the teaching and learning processes. Similarly, Hutchings (1997) reported a sense of frustration on the one hand when teachers ignored the TAs learning, and on the other when the teachers gave over sole responsibility for children s learning. Edwards and Clemson (1997) reported TAs who wanted increased recognition commensurate with their increased skill levels, and also TAs who felt they should be paid more. Overall, TAs also appeared to be dissatisfi ed about their profession at four levels: deployment; nature of working partnership with teachers; level of participation; and professional status, as will 187

190 11. What is the nature of whole class, subject-based pedagogies with reported outcomes for the academic and social inclusion of pupils with special education needs? (Sheehy & Rix 2009:1) be noted as this commentary progresses. Synthesis of these studies led to the identification of the following five emerging themes: pedagogic community social engagement being intrinsic to the pedagogy flexible modes of representing activities progressive scaffolding of classroom activities the authenticity of classroom activities Social engagement is intrinsic to the pedagogy The theme of social engagement is illustrated in many of the studies: Ferretti et al. (2001), Goatley (1996), Lederer (2000), Morocco et al. (2001), Okolo and Ferretti, (1996), Rieth et al. (2003), Sideridis (1998) and Stevens (1995). This refers to situations in which the social interactions of the classroom are valued. In its strongest form, social engagement is held to be the site for the creation of knowledge. The papers which use a cooperative or group based learning approach (e.g. Ferretti et al., 2001; Okolo and Ferretti, 1996; Palinscar et al., 2001) explicitly use social interactions as pedagogical devices, and each is rated as high in relation to the specific review question. Research by and Goatley (1996) and Palinscar (2001) describes how a learner with SEN needs to develop the skills to access and to consider the knowledge of other class members, in order to develop their own understanding and to be given opportunities to develop the ability to share their own knowledge successfully. Sideris (1998) emphasises the friendship and social relations aspects of the classroom as important in their own right, but also achieves significant academic outcomes from a pedagogy based on social interactions. Classroom interaction is important and is often a measured outcome in the studies. For instance, Rieth et al. (2001) measure both the length and level of students and teachers questions and answers (i.e. considers the quantity and quality of social interactions). In anchored instruction (AI), the learner communicates and reflects on their communication, developing the social engagement in which their understanding develops (Sheehy & Rix 2009: 45-46). The results for the synthesis can be summarized as follows: The pedagogy is mediated by a teacher who is part of a pedagogic community, either within the schools or, more often, form outside the school. The teacher s pedagogical practice is supported by this community with a shared model for how children learn. Therefore the teacher has an understanding not only of how to teach a curriculum subject, but also an understanding of why they are using this approach. The pedagogy gives importance to the social engagement of learners and includes activities in which social interaction is seen as the means (Sheehy & Rix 2009:50-51) 188

191 12. In mathematics lessons in England in Key Stages 2 to 3, what characterizes effective teacher initiated teacher-pupil dialogue to promote conceptual understanding of mathematics? In order to address this review question, the following four underlying questions needed to be considered: - (a) In what ways do teachers use teacherinitiated teacher-pupil dialogue to promote pupils conceptual understanding of mathematics in mathematics lessons in England in Key Stages 2 to 3? - (b) What evidence is there that, such dialogue is more effective than other activities in promoting pupils conceptual understanding? - (c) What evidence is there that particular characteristics of such dialogue are more effective than other characteristics in promoting pupils understanding? - (d) Why and how are the identified characteristics of effective teacher-initiated teacher-pupil dialogue effective? (Kyriacou and Issitt 2008:8-9) Focusing attention on mathematics rather than performativity This characteristic deals with the ways in which teachers can use dialogue to get pupils involved in mathematical thinking rather than getting correct answers. A number of studies addressed this characteristic (Back, 2005; Coles, 2002; Hadjidemetriou and Williams, 2003; Jones and Tanner, overall WoE: 1 medium and 3 low). These studies point towards the use by teachers of dialogue which engages pupils in thinking and arguing mathematically. Back (2005) refers to the need for pupils to engage in mathematical forms of life. For example, Back notes that asking a why question focuses pupils onto the mathematics and away from a focus on getting the correct answer. Coles (2002) refers to the use by teachers of strategies which have the effect of slowing down and opening up discussion. This phrase is very telling as a number of studies have noted a tension between sustaining a lesson with pace and eliciting intellectual depth. Where pupils are used to interactions with the teacher occurring with pace, the use of slow-down strategies can be effective in injecting a more thoughtful approach by pupils towards the nature of the mathematics in which they are engaged. The use of slow-down strategies is also one of the strategies listed by Hadjidemetriou and Williams (2003) to engage pupils in mathematical thinking. Another strategy used by teachers was to leave tensions unresolved, so that the creative energy generated can be used to motivate the pupils to discuss and do the mathematics themselves (rather than have the teacher explain or demonstrate how to do the mathematics); Hadjidemetriou and Williams use the invocation here to make them do the maths!. Another strategy they identified was to ask pupils to make connections by working with different types of problems and methods in order to identify generalities. The use of slowdown strategies is also supported by Jones and Tanner s study (2002) which notes that the quality of discourse is enhanced when teachers provide pupils with opportunities for reflection. (Kyriacou and Issitt 2008:31-32) led to the identification of characteristics of effective teacher-initiated teacher-pupil dialogue: - focusing attention on mathematics rather than performativity (4 studies ) - working collaboratively with pupils (5 studies ) - transformative listening (2 studies ) - scaffolding (3 studies ) - enhancing pupils selfknowledge of how to make use of teacher-pupil dialogue as a learning experience (6 studies ) (Kyriacou & Issitt 2008:34) 13. What is the nature of the The review question requires evidence that We have evidence 189

192 interactions in pedagogical approaches with reported outcomes for the academic achievement and social inclusion of pupils with special educational needs? (Sheehy & Rix 2009:8) will provide teachers and teacher educators with an understanding of the nature of classroom interactions that can infl uence the inclusion of pupils with special educational needs. The following four themes emerged from the studies synthesised for our review question: a) interaction and the mediating role of the teacher b) interaction, cognitive level and engagement c) interaction and the learner s voice d)interaction and knowledge as contextually grounded (a) Interaction and the mediating role of the teacher A common theme across all seven studies is the mediating role of the teacher in shaping interaction, and thereby the quality of learning, for all pupils, especially for pupils with special educational needs. The powerful role of the teacher to infl uence learning opportunities through interaction is evident, fi rstly in the design and execution of studies; secondly, in relation to the evidence made available on the link between interaction and academic and social inclusion; and thirdly, in relation to the teacher s own mindset. With reference to the fi rst point, Tindal and Nolet (1996, WoE: medium), for instance, based their study on the premise that verbal interactions, or more specifi cally the teacher s verbal presentations, are the primary means of instruction. In their study of guided inquiry, Palincsar et al. (2001, WoE: medium) refer to advanced teaching practices (p 29) and the signifi cance of teacher assistance. Ward and Center (1999, WoE D: low) wrote about teachers instructional style. Wallace et al. (2002) used the EBASS software to observe and investigate systematically teacher behaviour and interactional patterns. Moreover, Wallace et al. (2002) focused their study in schools and classrooms that were full and had success in including pupils with special educational needs (WoE D: medium). Six of the studies observed teacher interactions, while the one remaining study audiorecorded classroom interactions involving a direct focus on teachers interactions (Jordan and Stanovich, 2001, WoE D: medium). An important theme and assumption underlying about the nature of interactions in pedagogical approaches, linked to outcomes, for the academic and social inclusion of pupils with special educational needs Four important interrelated themes emerged in the synthesis. The first substantive theme to emerge from all seven studies was the powerful role of the teacher to influence learning opportunities through interaction A major finding of this review was the power of teachers as powerful mediators, both in relation to what they do and how they interact, and in relation to how they think about their responsibilities about pupils with special educational needs We identified the second theme as cognitive level and engagement. This theme is also based on all seven studies. There is evidence that having opportunities to engage in higher order thinking fosters academic and social inclusion of all learners. Classroom interactions in which the teacher invites learners to problem-solve, to think, and to make connections with their own experiences and prior understandings have a more positive impact than interactions that re procedural and oriented merely towards classroom management. (Rix, Hall et al. 2006:47) 190

193 14. What do specialists do in CPD programmmes for which there is evidence of positive outcomes for pupils and teachers? Sub-questions: What is the nature of the specialist contribution? How much, how often, when, where, for how long? How do specialists enhance the professional development of teachers to improve pupil learning? (Cordingley, Bell et al. 2007:7) all these approaches is the power of the teacher to adapt teaching and learning for their pupils at the level of teacher-pupil interactions. (Rix, Hall et al. 2006:41) All the CPD programmes in studies in the indepth review report positive outcomes for students and for teachers Eighteen of the 19 studies set out to identify changes in pupil learning and achievement as a means of assessing the impact of new practice. Changes in learning and achievement were reported in the following areas of: improved knowledge of scientific concepts and problem solving (Cho, 2002) improved mathematical skills (Wilkins, 1997) improved literacy skills (Bryant et al., 2001; Fine and Kossack, 2002; Greenwood et al., 2003; Klingner et al., 2004; McCutchen et al., 2002) improved engagement with classroom activities (Boudah et al., 2003; Harvey, 1999; Jacobsen, 2001; Lin, 2002; Martin et al., 2001; Sawka et al., 2002; Zetlin et al., 1998) improved reasoning and problem solving skills (Jacobsen, 2001; Martin et al.; Reis et al., 1998; Swafford et al., 1999) increased use of ICT (Ertmer and Hruskocy, 1999; Sandholtz, 2001) Teacher change was reported in the following areas: Teaching strategies (eight studies). The teaching strategies to which the teachers were introduced varied. They ranged from specific techniques - e.g. Bryant et al. (2001) and Klingner et al. (2004) where teachers were taught collaborative strategic reading to more general approaches. Examples of the latter include Harvey (1999) where teachers developed their questioning skills and Sawka et al. (2002) where teachers increased their knowledge of classroom management strategies. Learning theories (five studies). Teachers increased their theoretical knowledge of aspects of teaching and learning such as constructivism and cognitive theories (Cho, 2002; Lin, 2002; Martin et al., 2001; Swafford et al., 1999; Zetlin et al., 1998). Changes in teacher practice resulted from teachers learning more about teaching strategies, learning theories, the use of technology, educational policy and subject knowledge (Cordengley, Bell et al. 2007: 144) 191

194 The use of technology (particularly ICT) in the classroom (three studies). Teachers gained a greater understanding of how technology could be used to enhance teaching and learning (Ertmer and Hruskocy, 1999; Jacobsen, 2001; Sandholtz, 2001). Educational policy (two studies). In Cho (2002), teachers reported that their awareness of science education reforms increased through the programme; in Swafford et al. (1999), teachers increased their knowledge of curriculum standards Subject knowledge (two studies). In McCutchen et al. (2002), teachers improved their phonological knowledge; in Swafford et al. (1999), teachers extended their knowledge of probability, statistics, geometry and algebra. (Cordingley, Bell et al. 2007:33-34) Tabel 6.13: Reviewspørgsmål, synteseproces og forskningssyntese for reviews I forrige analyse af forskningsfunktioner har vi set, at gruppen udmærker sig gennem et fokus på beskrivelser af en pædagogisk indsats, der er effektfuld i en given sammenhæng. For at blive inkluderet er studierne vurderet forinden at dokumentere, at indsatsen er bevist virkningsfuld enten ved, at indsatsen har opnået priser, akkreditering eller der foreligger testresultater om indsatsens positive effekt. I de pågældende reviews er der ved inddragelse af data således ikke fokus på at afgøre effekten af en indsats, om den virker eller ikke virker, som det er tilfældet med reviews 1-9. Derimod er det sigtet at beskrive forhold (variable) ved en effektiv indsats. Med udgangspunkt i konkrete eksempler fra gruppen af reviews undersøges i det følgende inddragelsesniveau 1, 2 og 3. IN DDRAGELSESNIV E A U 1 I review 11 ønskes en beskrivelse af en (effektiv) pædagogik for elever med særlige behov. Kravet til den pågældende pædagogiske indsats er, at den skal have fokus på helklasseundervisning og faglighed. I reviewet konkluderes bl.a., at det sociale engagement hos eleverne i læringssituationen er væsentlig for effekten, hvorfor konklusionen i reviewet lyder, at en succesrig læringssituation for elever med særlige behov indbefatter aktiviteter, 192

195 der opmuntrer til socialt engagement hos eleverne. I forskningssyntesen ses beskrivelser af de individuelle studier, der ligger til grund for betydningen af variablen. social engagement hos eleverne: Sideris (1998) emphasises the friendship and social relations aspects of the classroom as important in their own right Rieth et al. (2001) measure both the length and level for students and teachers questions and answers the learner communicates and reflects on their communication, developing the social engagement (review 11). Det fremgår af ovenstående citat, at det første studie fremhæver betydning af venskaber i skolen, mens det næste studie undersøger særlige typer af dialogformer mellem eleverne og læreren. I synteseprocessen forekommer ingen tolkninger af, hvoledes begreberne - venskaber og dialogformer - kan forstås ud fra den sammenhæng, studierne er undersøgt i. Det er fx ikke undersøgt, hvad der måtte ligge i betydningen venskaber og hvordan det forstås i studiet. Ligeledes med dialogformer, hvoraf der fx ikke forekommer analyser af studiets metoder til at undersøge netop disse dialogformer og hvilken betydning dette måtte have for studiets forskningsresultater. Citatet er et eksempel på, hvorledes gruppen af reviews med inddragelse af data i niveau 1 ikke forholder sig til studiernes individuelle omstændigheder (og forskellige) forudsætninger, dvs at studiernes kontekst ikke medregnes som en del af forståelsen for studiernes individuelle data. Derimod er grundlaget for synteseprocessen studiernes variable og udsagn, som de umiddelbart fremtræder i primærforskningen. Eftersom detaljerne om studierne ikke rapporteres at få nogen konsekvens for tolkningen af primærforskningens data, må grundlaget for beskrivelserne af studierne være, at data inddrages, som de umiddelbart fremtræder i primærforskingen. Gruppen af reviews forholder sig således neutralt til primærforskningen ved inddragelsese af data i niveau 1 - ligesom det er tilfældet for reviews i gruppen 3-9. I flere reviews rapporteres i synteseprocessen, at primærforskningen i reviewprocessen er vurderet til enten lav, middel eller høj forskningskvalitet: Tindal and Nolet (1996, WoE: medium), for instance, based In their study of guided inquiry, Palincsar et al. (2001, WoE: medium) and the significance of teacher assistance. Ward and Center (1999, WoE D: low) wrote (review 13). 193

196 Kvalitetesvurdering af de individuelle studier bliver et redskab, der griber ind i primærforskningens data med henblik på at belyse studiernes kontekst, således at studierne individuelt betragtes ud fra dets præmisser. Med kvalitetsvurderingen kunne det således anfægtes, at studierne ikke indhentes neutralt, idet de vurderes ud fra en række af studiernes egne præmisser. Spørgsmålet er imidlertid, hvilken betydning vurderingen af studierne individuelt får for inddragelse af primærforskningens data i niveau 1? Svaret er her, at studiets præmisser får betydning for, i hvilken udstrækning der vurderes at kunne fæstnes lid til primærforskningens konklusioner. Vurderingen af studiernes præmisser opnår betydning i de sammenhænge, hvor fx forskellige studier viser modstridende resultater. Værktøjet får også betydning for, hvor detaljerede data fra et enkelt studie beskrives i et review, idet beskrivelser af studier, der er vurderet til høj kvalitet, forekommer mere fyldestgørende. Til trods for, at kvalitetsvurderingsværktøjet er en måde at gå bag om studiernes indvidiuelle forudsætninger i data på, bliver værktøjet ikke brugt som en måde at forstå data på, dvs. der skabes ikke nye indsigter, herunder tolkninger og ændringer i forståelsen af primærforskningens data. Værktøjet får med andre ord ingen betydning for data, som de optræder i primærforskningen, men udelukkende for vægten, studiernes (neutrale) data tillægges i de pågældende reviews. I forrige analyse af reviews 3-9 sås enkelte bestræbelser på ud fra primærforskningens metoder og designs at udvikle ny viden. Det kan ikke udelukkes, at lignende bestræbelser også vil kunne genfindes i reviews 10-14, der alt andet lige bruger samme kvalitetsvurderingsværktøj med fokus på metoder og designs. Det er dog ikke lykkedes at genfinde lignende analyser i reviews IN DDRAGELSESNIV EAU 2 I gruppen af reviews 3-9 har vi set, at det er bestræbelserne at afklare, om en given indsatstype er effektfuld eller ej og hvilke processuelle karakteristika, der gør sig gældende for at opnå effekten. I forskningssyntesen for gruppen findes, som nævnt, ikke samme fokus på at afklare effekten af indsatsen. Derimod indeholder forskingssyntesen en række begreber/variable, der i tråd med reviewspørgsmålene karakteriserer/beskriver en given effektiv indsatstype/pædagogik på et givet område. Variablene er fundet frem som et resultat af, at studierne på tværs er syntetiseret. Med henblik på at undersøge syntesetilgange for inddragelsesniveu 2, skal vi i det følgende finde frem til det syntesemæssige grundlag for variablene som de fremtræder i synteseprocessen. 194

197 I gruppens forskningssyntese og/eller synteseproces fremgår det, at for hver variabel/karakteristik er fremhævet antal studier, der dokumenterer, at pågældende variabel udgør et (kvantitativt) grundlag i primærforskningen: focusing attention on mathematics rather than performativity (4 studies) working collaborateively (5 studies) transformative listening (2 studies) (review 12 ). Teaching strategies (eight studies) (review 14). En tilsvarende måde at dokumentere beskrivelserne om den effektive pædagogik på er ved at angive, hvilke studier der forstås at være grundlaget for variablene/beskrivelserne: The theme of social engagement is illustrated in many of the studies: Ferretti et al. (2001), Goately (1996), Lederer (2000), Morocco et al. (2001) (review 11). Med dette udgangspunkt for dokumentation i primærforskningen illustreres en syntesetilgang, hvor syntesen fremhæver omfanget/antallet af studier, der på tværs er vurderet at vedrøre én variabel. I flere reviews fremgår det, at variablene, der tilsammen beskriver en effektiv pædagogik, nævnes i rækkefølge efter antallet af studier: Teaching strategies (eight studies) Learning theories (five studies) The use of technology (three studies) Educational policy (two studies) Subject knowledge (two studies) (review 14). Citatet viser, at variablene næves i rækkefølge efter hvor mange studier, der er vurderet at påpege variablen: Des flere studier, des tidligere i rækkefølgen nævnes variablen. Ovenstående tilgange til syntetisering af primærforskningen på tværs kan som tillige er konkluderet i reviews forstås ud fra et forskningsideal relateret til korrespondanceteorien i den forstand, at troværdighed/sandhed knyttes til øget population (antal studier). Inddragelse af primærforskning på tværs foregår således som det er tilfældet for reviews at den betragtes som omhandlende overensstemmende variable, der således lægges sammen. Dette kan anskues at være i tråd med forskningsidealer i korrespondanceteorien, der anskuer sandhed som kontekstuafhængig. I tråd med en korrespondanceteoretisk tilgang gives med nedenstående citat et eksempel på, hvorledes præmisserne i studierne ikke opnår betydning, når studierne syntetiseres på tværs ved 195

198 inddragelsesniveu 2. Citatet viser yderligere, at vurderingen af studiernes forskningskvalitet bruges som en måde, hvorpå der måtte kunne fæstes lid til troværdigheden i studiernes forskningsresultater og dermed ikke som en måde at forstå forskelligheden på tværs af studierne på: Three medium to high studies (Edwards and Clemson, 1997; Hutchings, 1997; Swann and loxley, 1998), focused on STAC corses in England the three studies deemed to be medium-low or higher WoE needs to be read in the light of the weights of evidence (WoEs), with Svann and Loxley (1998) clearly the most reliable All medium to high weight studies reported impacts in the following: - subject knowledge job satisfaction motivation The following impacts on TAs were less frequently reported and will not form part of the detailed discussion: academic skills reflection (review 10) Ovenstående citat viser, at et vist antal studier omhandler en undersøgelse af en særlig indsatstype (STAC-program), implementeret i England. Der rapporteres intet om de nærmere omstændigheder for implementeringen; hvor, hvordan eller under hvilke betingelser de forskellige undersøgelser bliver gennemført og som kunne forklare og tilbyde en forståelse af - overensstemmende eller forskellige forskningsresultater mellem studierne. Bestræbelserne i syntesen er at lægge undersøgelsernes resultater sammen, idet variable som indsatstypen (STAC-program) og forskningsresultatet fra studierne, som fx subject knowedge opfattes indeholdt ens karakteristika på tværs af de pågældende studier. Det fremgår af citatet, at nogle studier med fokus på evaluering af STAC-programmet i reviewprocessen er vurderet til lav forskningskvalitet, og at disse studier samtidig præsenterer andre forskningsresultater end studier vurderet til høj og middel forskningskvalitet. De forskellige præmisser (forskningskvalitet) i studierne, herunder mulige baggrunde for forskellige resultater i studierne anvendes ikke som afsæt i analyserne af, hvordan og hvorfor studierne på tværs måtte være kommet frem til forskellige konklusioner. Studiernes forskningsresultater betragtes m.a.o. ikke i en kontekst, som de hver især kunne anskues at være et resultat af. I enkelte forskningssynteser synes der at være antydninger af, at andre syntesetilgange end den ovenstående aggregerede beabejdning af data - kunne ligge til 196

199 grund for konklusionerne i forskningssynteserne. Det er tidligere nævnt, at for forskningssynteserne er det typisk, at rækkefølgen af variablene nævnes efter graden af deres antalsmæssige tilslutning blandt primærforskningen. De variable, som har mindst tilslutning, nævnes sædvanligvis sidst. Rækkefølgen må så blive yderligere kompliceret, såfremt der tages højde for den vurderede forskningskvalitet hos studierne, som det fx er tilfældet i nedenstående citat. I review 12 fremgår følgende resultat i reviewet for, hvad der karakteriserer effektive læreinitierede dialoger med eleverne: - focusing attention on mathematics than performativity (4 studies; overall WoE: 1 medium and 3 lov) - working collaboratively with pupils (5 studies; overall WoE: 1 medium and 4 low) - transformative listening (2 studies; overall WoE: 1 medium and 1 low) - scaffolding (3 studies; overall WoE: 3 medium) - enhancing pupils self-knowledge of how to make use of teacher-pupil dialogue (6 studies; overall WoE: 3 medium and 3 low) (review 12) I ovenstående citat fremgår det, at for hver variabel angives både antal af studier og studiernes forskningskvalitet. Citatet er et eksempel på, at visse reviews ikke følger en logik om, at variable med størst tilslutning og med højest vurderede forskningskvalitet nævnes først. I ovenstående citat fremgår det, at sidstnævnte variabel enhanching puils selfknowledge støttes af flere studier med højere forskningskvalitet end førstnævnte variabel og flere af de øvrige variable. Hvorfor vælge at nævne en variabel sidst, der tilsyneladnede har størst tilslutning blandt studierne? Et bud er, at syntesen udtrykker, at andre forhold end aggregering af data - og dermed et fokus på frekvensen af studier på tværs om samme variabel (og studiernes forskningskvalitet) - har gjort sig gældende for reviewets forskningssyntese? Måske har forfatterne til reviewet opfattet det besværligt og indviklet at forklare, hvorfor de vælger at nævne den pågældende variabel med kvantitativ størst tilslutning sidst i forskningssyntesen og en anden først, og derfor helt udelader at tilbyde en forklaring herpå. Med en ellers udpræget aggregering af data i synteseprocessen kunne det 197

200 måske synes inkonsekvent, at der i et review kan opstå behov for anden type bearbejdning af primærforskningens data. I indledningen er refereret til tidligere undersøgelser af Eppis systematiske reviews. MacLure (2004) fremdrager, at Eppis systematiske reviews er ensbetydende med fastlagte procedurer, hvor tolkning, analyse og argumentation for syntesen ikke er transparent, og at disse handlinger ikke anderkendes som en del af et videnskabeligt arbejde. Forskningssyntesen som den er beskrevet i ovenstående kunne netop bekræfte MacLures pointe om manglende transparens, herunder manglende anderkendelse af metodologisk diversitet i reviewprocessen. IN DDRAGELSESNIV EAU 2 OG 3 I gruppen af systematiske reviews 3-9 har vi set, at gruppens reviewspørgsmål indeholder et begreb om en mere eller mindre specificeret indsatstype, hvoraf der ønskes viden om dens positiv eller negativ effekt på et mere eller mindre specificeret outcome-mål. Det vil sige, at der er tale om en teori om sammenhæng mellem to variable, som primærforskningen forstås at relatere til. I gruppen af systematiske reviews findes, som nævnt, et krav om at primærforskningen forinden har dokumenteret indsatsens effekt, hvorfor det som nævnt er bestræbelserne i de pågældende reviews at beskrive en pædagogisk indsatstype (som i primærforskningen er dokumenteret effektfuldt). Gruppen af reviews 3-9 har til sammenligning med reviews et mere lukket spørgsmål indeholdt mere eller mindre specificerede variable (som primærforskningen forstås også at omhandle), mens reviewspørgsmålene i gruppen af reviews er mere åbne: What is the nature of.. What characterizes... What do specialists do Gruppens reviewspørgsmål er mere åbne, idet der efterspørges en beskrivelse af en (samlet) indsatstype, dvs., at indsatstypen ikke er givet med reviewspørgsmålene på forhånd. Dertil påviser forskningssyntesen fund af forskellige variable, der tilsammen netop kan forstås at udgøre en beskrivelse af en (samlet) indsatstype. Den samlede indsatstype som udgør konklusionen på reviewets problemstilling - er stykket sammen af enkeltstående variable, hentet fra primærforskningen. De identificerede syntesetilgange til disse variable og dermed metoderne og således også det forskningsmæssige udgangspunkt for konklusioner i de pågældende reviews - er forsøgt illustreret i det foregående ved en overvejende aggregering af data i inddragelsesniveu 1 og 2, men bliver yderligere underbygget i nedenstående analyser. 198

201 I tråd med gruppens reviewspørgsmål skal gruppens forskningssynteser forstås således, at der på baggrund af primærforskningen bliver udviklet en ny samlet viden om en (effektfuld) indsatstype. Den nye viden er, som vist i det foregående, stykket sammen af enkeltstående og unikke variable fra primærforskningen, der som allerede illustreret er dokumenteret som væsentlige ud fra den betragtning, at de kan genfindes og er fremhævet i en flerhed af studier. The pedagogy is mediated by a teacher who is part of a pedagogic community, either within the schools or, more often, form outside the school The pedagogy gives importance to the social engagement of learners and includes activities in which social interaction is seen as the mean (review 11) Ovenstående citat er et udsnit af forskningssyntensen for review 11 og et eksempel på, hvordan en beskrivelse af en ny samlet indsatstype fremtræder som svar på problemstillingen i det pågældende review. I citatet forekommer (mindst) to variable, henholdsvis pedagogic community og social engagement being intrisic to the pedagogy. I synteseprocessen fremgår det - som allerede illustreret - at argumentet for begge variable er, at de pågælende variable hver især er vurderet at have tilslutning blandt en flerhed af studier. Centralt i denne sammenhæng er, at de to variable ikke nødvendigvis er påvist i samme studie: The first theme of pedagogic community is based on eight of the studies Miller et al. (1998), Okolo and Ferretti (1996), Palincsar et al. (2001), Ferretti et al. (2001), Goatley (1996), Lederer (2000) The theme of social engagemtn is illustrated in many of the studies: Ferretti et al. (2001), Goatley (1996) Lederer (2000), Morocco et al. (2001), Okolo and Ferreti, (1996), Rieth et al. (2003), Sideridis (1998), and Stevens (1995) (review 11) I ovenstående citat nævnes kun tre studier, der, på tværs af de to variable, er dukket frem i samme studier. Begge variable (og mange flere) er fremhævet i forskningssyntesen, men de er ikke nødvendigvis fundet, at de gør sig gældende i samme studier/indsatstyper på tværs af 199

202 forskningen. Kompleksitetsteorierne må antages at forholde sig kritisk til, at beskrivelserne af den samlede (effektive) indsatstype i forskningssynteserne er stykket sammen af enkeltstående variable, hentet vidt forskellige steder i primærforskningen. Kritikken skal ses i lyset af, at kompleksitetsteorien ville hævde, at kausalitet, herunder opnåelse af den ønskede effekt, skal anskues lokalt ud fra tilstedeværelse af en flerhed af variable. Opfattelsen er her, at såfremt der ændres i én variabel, påvirker det resten af variablene, der er omfattet i antagelsen om en effektfuld indsatstype. I analysen af inddragelsesniveu 1 og 2 har vi på lignende vis set, hvorledes syntesetilgange udmærker sig igennem en kausalitetsopfattelse, hvoraf konteksen i primærstudierne - som effekten kan anskues ud fra - ikke tillægges betydning. Det forhold, at den samlede indsatstype er stykket sammen af flere enkeltstående variable, hentet fra vidt forskellige studier, bekræfter igen tendensen i de pågældende reviews, at konteksten i primærforskningen ikke tages i betragtning ved spørgsmålet om at konkludere effektive pædagogiske indsatser. Kompleksitetsteorierne ville indvende, at variablene, som nævnes, der tilsammen udgør den samlede nye viden/beskrivelse af en effektiv indsatstype, ikke nødvendigvis bevirker den ønskede effekt. Kompleksitetsteorierne ville hævde, at der ikke er forskningsmæssigt belæg i reviewet for, at netop disse variable som rammen for indsatstypen gør sig gældende for den ønskede effekt. Under inddragelse af primærforskningens data på tværs findes syntesetilgange, hvoraf der foregår en ændring i primærforskningens data. Det handler om - som vi også har set, at det gør sig gældende for reviews at primærforskningens (neutrale) begreber/variable ikke er identiske med variable, som de optræder i forskningssynteserne, hvorfor det må konstateres, at der i synteseprocessen foregår en udvikling af primærforskningens variable. Et eksempel herpå er variablene venskaber og bestemte dialogtyper fra review 11 om succesrige læringssituationer for elever med særlige behov. På tværs af primærforskningens variable oversættes de to nævnte (og i reviewet mange flere) samlet set under betegnelsen/variablen social engagement. Den nye overordnede variabel social engagement udgøres dermed af flere enkeltstående og unikke variable, der, som tidligere vist, indledningsvist er hentet neutralt fra primærforskningen, men som i sig selv ikke optræder i primærforskningen. Den overordnede variabel udgør en del af reviewets forskningssyntese og er en del af besvarelsen på reviewets konklusion om karakteristika for effektfulde pædagogiske indsatstyper. I lighed med synteseprocessen for reviews

203 forekommer udviklingen af disse overordnede begreber ikke som en konsekvens af analyser af primærforskningens egne præmisser (inddragelsesniveu 1 og 2). I de foregående analyser af gruppen af reviews 3-9 blev der argumenteret for, at udvikling af primærforskningens begreber skal forstås i lyset af gruppens teori i reviewspørgsmålene om indsatstype og outcome-mål som styrende og overgribende for forståelsen af primærforskningen. Primærforskningen i reviews er underlagt en lignende forståelse, idet teorien om sammenhænge mellem indsats og outcome-mål indledningsvist fungerer som et inklusionskrav. Derudover skal primærforskningen i reviews tilbyde mere og andet, idet fokus i reviewspørgsmålene er på en beskrivelse af indsatstypen (der er effektfuld). Reviews 3-6 forstås at have et overordnet fokus på at afklare effekten af indsatser, dvs. reglen mellem indsats(er) og outcome-mål. For reviews er reglen på forhånd vurderet dokumenteret i primærforskningen, hvorfor fokus er lagt an på en beskrivelse/afklaring af den/de tilsyneladende effektfulde indsatstyper i primærforskningen. Reviewspørgsmålene i reviews må derfor antages mere åbne i forhold til, at primærforskningens perspektiver kan lykkes med at bidrage til at beskrive ét enkelt fænomen. Reviewspørgsmålene i reviews 3-6 må til sammenligning med reviewspørgsmålene i reviews antages mere lukkede, idet primærforskningen forstås kun at skulle indgå i en struktur om en indsatstype, outcome-mål og reglen. I den forbindelse spørges der ikke efter en (åben) beskrivelse af et af fænomenerne i strukturen/teorien, som det er tilfældet for reviews Med et fokus på en beskrivelse af ét fænomen må det antages, at reviews i højere grad end reviews 3-9 inddrager en større flerhed af variable fra primærforskningen og i højere grad medtager perspektiver i primærforskningen, end hvad der er muligt i reviews med mere lukkede reviewspørgsmål. I synteseprocessen for reviews ses typisk identificering af temaer (themes) på tværs af primærforskningen. The following four themes emerged from the studies synthesized for our review question: a) interaction and the mediating role of the teacher; b) interaction, cognitive level and engagement (review 13) Udvikling af disse såkaldte temaer kan sammenlignes med, hvad der foregår i reviews 3-6, hvoraf variable i primærforskningen klassificeres i overordnede begreber om henholdsvis indsatstype og outcome-mål. Udviklingen af temaer kan endvidere sammenlignes med 201

204 reviews 3-6 i den forstand, at temaerne ikke opstår som en konsekvens af en analyse af primærforskningens præmisser ved inddragelse af data i niveau 1 og 2. Der er tale om begreber, der er vurderet relevante for beskrivelsen af en (effektfuld) indsatstype, dvs. begreber/variable, der på tværs samler sig i forskellige temaer, hvoraf begreber i hvert tema er vurderet at minde om eller på anden måde er vurderet at være i overensstemmelse med hinanden og forskellig fra andre. En væsentlig forskel i synteseprocessen mellem reviews 3-6 og reviews er imidlertid, at de udviklede temaer/overordnede variable i reviews ikke på forhånd er begrebssat i reviewspørgsmålene. Dette sidste understreger denne større åbenhed sammenlignet med vilkårene i reviews for perspektiver fra primærforskningen, der alt andet lige er ensbetydende med større frihed i dannelse og skabelse af begreber/variable i reviews REVIEWS I det følgende undersøges syntestilgange for reviews I nedenstående tabel 6.14 er angivet henholdsvis reviewspørgsmål, synteseproces og forskningssynteser fra de pågældende reviews. Review Reviewspørgsmål Synteseproces Forskningssyntesen 15. What are the perceptions and experience of the principal educational stakeholders (pupils, parents, teachers and teaching assistants) of what teaching assistants do in relation to pupils academic and social engagement in secondary schools ( ? (Cajkler, Tennant et al. 2007:13) This was the largest category with more than 30 major contributions listed (see Appendix 4.1). In addition, the views of TAs, teachers and pupils tended to coincide in recognising this contribution. Supporting pupils learning was seen as a significant TA contribution in primary schools and, despite the varied subject demands of the secondary curriculum, this perception applied equally to secondary schools, with TAs reporting that they engaged in interpreting and communicating teacher instructions and input, adapting pedagogy and mediating input to make it more accessible, helping groups with tasks set by teachers. Help for small groups and individuals with tasks set by the teacher (including practical activities) was described in several studies (Chambers and Pearson, 2004; MENCAP, 1999; O Brien and Garner, 2001; Shaw, 2001), both cross-phase and secondary-specific. While much of their contribution was targeted at individual assigned children, the All stakeholders claimed that TAs contributed in the following way: a. Directly to pupils learning and engagement in the classroom. This was deemed to be the most significant contribution. (Cajkler, Tennant et al. 2007:64-65) 202

205 general perception was that TAs worked with groups of pupils (Ebersold, 2003; MENCAP, 1999; Moran and Abbott, 2002; Mortimore et al., 1994; Neill, 2002a) and teachers expected them to support other pupils, even when they were assigned to a specific child. An assessment role was also mentioned in some studies but this might be the case of an activity that required just a flick or a tick. Each stakeholder group s perceptions are discussed in the following sections in the following order: pupils, TAs, teachers, parents, and headteachers. Pupils perceptions about TAs academic and socio academic contribution. Pupil perceptions are reported in eight studies. They were rather limited, but centered on the teaching assistant being someone to turn to, someone to listen to them and someone who helped the teacher. Overall, pupils identified the following categories of support, particularly in studies of medium weight as indicated in Table In MENCAP (1999) and Bowers, (1997), TAs were seen as helping pupils in general and as helping pupils with specific needs. Pupils in the MENCAP study reported that LSAs taught them and also helped them, for example, with music notes, with physical activities on wallbars and other needs, such as with the tying of shoelaces (MENCAP, 1999). Older pupils in the Bowers study (1997) saw support as individual-specific, with help offered to those who were identified as being somehow different, needing something additional to the provision offered to the rest of the class. A minority of recipients of support felt singled out. Moreover, a few pupils associated a sense of frustration with the support they received (Bowers, 1997, p 228). Bowers indicated some secondary schools pupils felt that receiving extra help from an additional adult singled them out, and the help could be unnecessary and time wasting. Some of the older pupils were apprehensive about being perceived as silly and different from their peer groups. Bowers (1997) reported the perceptions of 128 secondary pupils (and more than five hundred primary pupils) and made clear that older pupils in schools perceived help as pupil-focused and potentially unwelcome. (Cajkler, Tennant et al. 2007:41-43) 203

206 16. What are the perceptions and experience of the principal educational stakeholders (Pupils, parents, teachers and pupil support staff) of what support staff do in relation to pupils academic and social engagement? (Cajkler, Tennant et al. 2006:1) 17 What impact does employer engagement in Contributions to inclusion Enabling inclusion Tas were identified as critical to educational inclusion in a number of reports by a range of stakeholders: teachers (Ebersold, 2003; Farrell et al., 1999: Lacey, 2001; O Brien and Garner, 2001; Shaw, 2001) and, where consulted, by parents and headteachers (Ebersold, 2003; Farrell et al., 1999; Moran and Abbott, 2002).Tabel 4.13 illustrates the breakdown of studies that reported these perceptions. Disentangling the voices in relation to support for educational inclusion was a challenging task. Although some perceptions of good practice were reported, the studies did not report in detail exactly what the TAs did to support or impede inclusion. Shaw (2001) reported how supporters described their inclusive function mainly in relation to easing the way for pupils and encouraging them through difficulties Generic contributions were reported, although it is not clear by how many TAs these perceptions were shared: for example, They promoted inclusion by facilitating participation and learning, and helped build confi dence, self-esteem and independence so that all children were enabled to reach their full potential alongside their peers. They were guides, contributing to preparing children for life (Shaw, 2001, p 7). Shaw makes impressive claims for learning supporters, but limitations in the report mean that only low weight can be accorded to the evidence presented in the study. However, the Farrell et al. (1999) study reported (WoE D: high/medium) that TAs believed they were making a genuine contribution towards helping pupils with special needs. On the other hand, they also reported the perception that inclusion practices might cause embarrassment in some pupils. Pupils wanted support to be given in as non-intrusive a way as possible, welcoming the support but preferring not to have their need highlighted. They found that strategies that gave space and distance to pupils were particularly important. (Cajkler, Tennant et al. 2006:37-39) Benefits of work-based learning to students Contributions to inclusion: TAs supported the inclusion of pupils by maximizing the opportunities for pupils to participate constructively in the social and academic experience of schooling. This involved building pupils self-esteem and confidence, mediating social interaction with peers, bridging between pupils and teachers, and managing in-class behavior. (Cajkler, Tennant et al. 2006:3) - Benefits of WBL (workbased learning red.) to 204

207 course development have on employers and students (from the student/employer perspective)? (Scesa & Williams 2008:5) 18. What are the factors that drive high post 16 participation of many ethnic minority groups? The majority of studies have demonstrated the benefits of WBL to students and a number report students gaining new and improving existing skills as a result of WBL. The exception is Leslie and Richardson s study (1999) of supervised work experience (SWE) in tourism management degree programmes; this study found that students anticipated benefits of SWE were not often realised and that the problem lay in the way SWE was managed by departments. Of the studies highlighting the benefits to students, new and improved skills were identified in a range of personal, problem solving and communicative skills, (Thomas and Grimes 2003, Thomas and Busby 2003). Hillier and Rawnsley (2006) cite increased confidence and knowledge, and greater respect from colleagues and credibility in the employing organisation as the benefits experienced by the students in their study. Greenbank (2002) refers to expansive learning where the students on placement in a micro-business were able to adapt their existing knowledge and skills to meet the needs of the situations they faced Barriers to engaging employers A number of studies highlighted barriers to engaging employers. Hillier and Rawnsley (2006) in their study noted that employers were not able or interested in being fully engaged in the programme, the main reasons being time and work pressures. Lack of interest was one of three barriers identified in another study (York Consulting 2004) along with a lack of understanding (of the foundation degree) and its potential benefits to the organisation, and the difficulties of the engaging organisations employing limited numbers of people. Another barrier can be the use of academic language. A study exploring in-company education found that the use of academic language in the delivery of the curriculum was perceived as negative and pejorative by the participants (Kinman and Kinman 2000). Findings from the QAA study of foundation degrees (2005) emphasise that documents for employers, while setting out clearly information about the programme, should avoid unnecessary educational terms. (Scesa and Williams 2008:22-23) Family: factors promoting participation High value placed on education by parents; strong parental support for post-16 students include gaining new and improving existing skills such as personal (e.g. increased confidence), problemsolving and communicative skills; adapting existing knowledge and skills to the needs of new situations in the workplace; managing their own learning: and applying theory in practice. - Barriers to engaging employers included lack of interest, lack of understanding, and lack of ability through time and work pressures on the part of employers (Scesa & Williams 2008:23-24) In the synthesis, of all eight levels of influence determining post 16 participation, two factors 205

208 (Torgerson, Gorard et al. 2008:5) participation; positive family/cultural/community influence; social class(sixteen studies: Ahmad, 2001; Allen, 1998; Archer and Hutchings, 2000; Bagguley, 2007; Basit, 1997; Connor et al., 2004; Crozier, 2005; Dale et al., 2002; Fitzgerald et al., 2000; Francis and Archer, 2004; Gayle, 2002; Joseph Rowntree Foundation, 2006; Middleton et al., 2005; Rhamie and Hallam, 2002; Strand, 2007; Strand and Winston, 2008). Of the studies, 13 found that parental value of education was an important determinant; and twelve studies found that strong parental influence or support was crucial in determining post-16 destinations. Nine studies noted the positive influence of wider family, culture and community, and four studies highlighted higher social class as being influential. The authors found that parents and families were stronger push factors for minority ethnic groups than for white students, with respect to helping them to succeed through gaining HE qualifications. Parental influence had a greater effect on minority ethnic young people than on white students in steering them towards certain courses, especially in professional/vocational subjects. Parental influence was the strongest factor for potential entrants, although parental influence on final choice of institution and course was limited. A high to medium secondary data analysis (Gayle et al., 2002) undertook an analysis to identify the factors that influence young people s choices of entry to HE and participation on a degree level course. The authors undertook an exploratory analysis of a set of nationally representative data through statistical modelling, using data from the Youth Cohort Study of England and Wales (YCS): Cohort III. In the analysis, the outcome variable was participation at degree level in HE. The statistical method used was sample enumeration, to identify statistically significant factors influencing participation in HE and to quantify the level of significance of various factors after controlling for educational attainment. This method enabled the contribution of control variables to be estimated. The research aimed to explore what external factors, beyond educational attainment, influence participation. After controlling for educational attainment, the influence of family and individual aspirations stand out as being the major determinants. (Torgerson, Gorard et al. 2008:2) 206

209 19 What do practitioners in FE colleges say about the conditions, attitudes and implementation of national education policy (Nixon, Gregson et al. 2008:1) occupational social class was found to be a highly statistically significant factor influencing young people s entry into HE. This applies to all young people, from all ethnic groups including white participants. Family: non-promoting factors Low value placed on education by parents; parental influence against post-16 participation; negative family/cultural/community influence; social class (Eight studies: Abbas, 2002; Ahmad, 2001; Allen, 1998; Bowl, 2001; Dale, 2002; Middleton et al., 2005; Shiner and Modood, 2002; Strand, 2007) Overall, there were eight studies which provided evidence that family influence could be a barrier to post-16 participation For example, in the study by Middleton et al. (2005) the aim was to explore the destinations, achievements and opinions of young people from different ethnic minority backgrounds using two samples of young people from the education maintenance allowance pilot dataset. Middleton et al. (2005) found that Indian and Pakistani/Bangladeshi young people noted financial constraints and family issues as important reasons in the decision to leave education. (Torgerson, Gorard et al. 2008:33-34) This section therefore presents each finding statement; identifies the key terms associated with that statement; and then explores the meaning of these terms, with reference to the in-depth themes and quotations taken from reports. In this way, it is hoped that the link between these terms and the in-depth reports could be made explicit Practitioner pragmatism Practitioners commonly respond pragmatically to local policy, making it work for the benefit of their institution/learners. This statement is framed by two notions: a pragmatic response the benefit of the institution/learners Practitioners commonly respond pragmatically to local policy making it work for the benefit of their institution/learners Direct quotes 6: Bathmaker (2005), The Impact of Policy on Learning and Inclusion in the New Learning and Skills Sector (Edward - Practitioners commonly respond pragmatically to local policymaking 207

210 et al. 2007), Transforming Learning Cultures in Further Education Project (Gleeson et al. 2005), Hamilton and Hillier (2006), Robson et al. (2004), Shain and Gleeson (1999) Analysis of attitudes, conditions and themes (Appendix 4.2) 5 Bathmaker (2005), Bolton and Hyland (2003), The Impact of Policy on Learning and Inclusion in the New Learning and Skills Sector (Coffield and Edward, 2007), Gleeson (2001), Robson et al. (2004) A pragmatic response and the benefit of the institution/learners Articles by Bathmaker (2005), Bolton and Hyland (2003), Coffield et al. (2007), Gleeson (2001) and Robson et al. (2004) explored the way in which practitioners responded to policy through a reciprocal process of interaction. On the one hand, they adapted themselves and their institutions to policy innovations; on the other hand, they adapted policy to their local settings. In a forceful piece of work, Bolton and Hyland (2003) demonstrate how a policy articulated through a problematic skills discourse has been made to carry real and positive meanings for learners through the work of tutors. Tellingly, Bolton and Hyland also illustrate just how many different translations can be rung from the same policy statement. Another example of pragmatic response is found in Bathmaker (2005), who considers the response of tutors to the policy of extending inclusivity as actualised through the policy of GNVQs. Bathmaker charts the pragmatic way practitioners strive to make the policy a success. The ways in which tutors strive to pragmatically implement policy is illuminated in the following: We give students an aim to go as high as they can, and we try to give them an incentive to stay in training because it s a difficult industry to stay in It is about the actual pride in the work, which is a great motivator and that does not appear on the NVQ (Robson et al., 2004, p 189). The pragmatic response to policy is found in the expressed determination to work with the NVQ framework and supplement it in ways that enhance the learning experience. (Nixon, Gregson et al ) 208

211 Tabel 6.14: Reviewspørgsmål, synteseproces og forskningssyntese for reviews Reviews udmærker sig ved, at der udtrykkes et eksplicit fokus på, at deres reviewspørgsmål skal afklares gennem holdninger og opfattelser hos deltagerne. De pågældende reviews har visse gennemgående karakteristika, som vil blive fremhævet i det følgende. Enkelte reviews adskiller sig en smule fra de øvrige i gruppen, der er tale om reviews 18 og 19, som sidst i analysen vises, hvorledes ved datainddragelse de adskiller sig fra de øvrige i gruppen. I det følgende beskrives syntesetilgange for de pågældende reviews IN DDRAGELSESNIV EAU 1 OG 2 I reviews foregår inddragelse af data i niveau 1 og 2 som i de øvrige reviews, dvs. gennem en overvejende aggregering af data. Review 15 er et eksempel herpå. I det pågældede review konkluderes i forskningssyntesen, at lærerassistenter (teaching assistants) bidrager til elevers læring og engagement i klassen: Tas contributed in the following way a. directly to puils learning and engagement in the classroom. I tråd med gruppering af reviews fremgår det i forskningssyntesen, at konklusionen i reviewet er funderet på baggrund af deltagernes perspektiver og holdninger til lærerassistenternes arbejde: Alle stakeholders claimed that Tas contributed directly to pupils learning and engagement. I synteseprocessen fremgår udgangspunktet for konklusionen med følgende: This is what the largest category with more than 30 major contributions listed the views of TAs, teachers and puils tended to coincide in recognizing this contribution. Supporting pupils learning was seen as a significant Help for small grups and individuals with tasks set by the teacher (including practical activities) was described in several studies (Chambers and pearson, 2004; MENCAP 1999; O brien and Berner, 2001; Shaw, 2001) Pupil perceptions are reported in eight studies In MENCAP (1999) and Bowers (1997), TAs were seen as helping pupils in general and as helping pupils with specific needs. Pupils in the MENCAP study reported that SLAs taught them and also helped them, for example, with music notes, with 209

212 physical activites on wallbares and other needs, such as with the trying of shoelaces (MENCAP, 1999) (review 15) I ovenstående citat fremgår det, hvorledes der i synteseprocessen beskrives detaljer om udvalgte studier ud af de i alt 30 studier. De 30 studier er tilsammen vurderet således, at de bidrager til og er grundlaget for konklusionen, at lærerassistenternes arbejde bidrager til elevers læring og engagement. Det fremgår af citatet, at en gruppe af studier er vurderet til at påvise, at lærerassistenternes bidrag består i, at lærerassistenterne hjælper elever med at komme i gang med opgaver. En anden gruppe af studier er vurderet til samlet at påvise, at lærerassistenterne bidrager med assistance til elever med særlige behov. Yderligere fremgår det af et tredje studie, at lærerassistenterne, der i dette tilfælde betegnes som LSA (learning support assistent), hjælper med musiknoter, fysisk aktivitet i gymnastik og med at binde elevernes sko. Der er tilsyneladnede tale om vidt forskellige resultater (outcome-mål) i primærforskningen (fx at komme i gang med opgaver og at binde sko), der er blevet grupperet og som tilsammen er vurderet at fungere som grundlaget for, at reviewet konkluderer, at lærerassistenterne bidrager til undervisningen. Ligeledes er der tale om vidt forskellige deltagere (fx elever med særlige behov) og indsatstyper (fx SLA) samt forskellige skolefag (fx gymnastik og musik): TA contribution in primary schools and, despite the varied subjects demands of the secondary curriculum (review 15). Selvom der gives disse enkelte oplysning om fx særlige deltagertyper, fag og anden information om konteksten i studierne, foretages der ikke analyser af, hvad disse måtte betyde, hverken for studierne individuelt under inddragelsesniveu 1 eller på tværs af studier under inddragelsesniveu 2. Studier bliver derimod akkumuleret og lagt sammen i forhold til at indgå i en struktur, hvor der opbygges en (overordnet) indsatstype (teacher assistent), en regel (contribution) og outcome-mål (pupils learning and engagement). En lignende struktur til syntetisering af data har vi set gøre sig gældende for reviews 3-9. I reviews klassificeres primærforskningen typisk i forhold til respondentyper, dvs. hvilke deltagere der mener hvad. Dette er i tråd med gruppens reviewspørgsmål, der netop fremhæver, at effekten konkluderes på baggrund af deltagernes opfattelser og meninger. For reviews 15 og 16 er primærforskningen klassificeret i forhold til, om det enten er eleverne, læreren, forældrene eller lærerassistenterne selv, der mener, at lærerassistenterne bidrager til undervisningen. Det fremgår ikke, hvorfor man har valgt 210

213 denne klassificering af primærforskningen, andet end at klassificeringen fremgår af reviewspørgsmålet. Klassificeringen er imidlertid interessant, fordi ny viden på tværs kunne tænkes at dukke frem på baggrund af inddelingen i respondenttyper. I de pågældende reviews forholder man sig ikke til sådanne analyser på tværs af respondenterne, men såfremt der havde vist sig forskellige udfald på tværs, ville det alt andet lige have været svært at undgå, at reviewet udlod at forholde sig til forskellen. Hvorfor skulle fx lærerassistenterne mene, og ikke forældrene, at lærerassistenternes arbejde bidrager til undervisningningen? Med disse analyser vil der kunne blive knyttet nogle betragtninger til primærforskningens resultater, set i lyset af betingelser i primærforskningens tilvalg af respondenttyper. Med analyser af dén karakter ville reviewene kunne bevæge sig fra en aggregering af data til i højere grad at bearbejde data som uafsluttet med henblik på at få ny viden om lærerassistenternes arbejde, som primærforskningen ikke i sig selv præsenterer. Klassificering af data fra primærforskningen kan dermed siges at blive afgørende for, hvilke fund (og analyser) der foretages i et review. I de pågældende reviews synes klassificering at opstå som en konsekvens af et på forhånd defineret reviewspørgsmål, og virker som en måde at holde styr på eller indledningsvist kategorisere primærforskningen. I synteseprocessen for review 17 ses et eksempel på, hvorledes der tilbydes forklaringer om variationer på tværs af primærforskningen. The majority of studies have demonstrated the benefits of WBL to students and a number report students gaining new and improving existing skills as a result of WBL. The exception is Leslie and Richardson s study (1999) of supervised work experience (SWE) in tourism management degree programmes; this study found that students anticipated benefits of SWE were not often realised and that the problem lay in the way SWE was managed by departments. (review 17) I ovenstående citat fremgår det, at størstedelen af studier er vurderet at fremhæve, at WBL (work-based learning) er ensbetydende med fordele konkret gennem forbedring af visse færdigheder hos kursisterne. Det fremgår, at ét enkelt studie ikke vurderes at bekræfte denne tendens. I reviewet fungerer begrebet/indsatstypen work-based learning (WBL) som en overordnet (udviklet) betegnelse/begreb om en indsatstype, der er en samlet betegnelse for unikke indsatstyper i studierne. I citatet fremgår det, at ét studie, der undersøger 211

214 indsatstypen supervised work experience (SWE) har været ensbetydende med en særlig (uhensigtsmæssig og implementeringsmæssig) styring, der bevirkede, at det forventede positive resultat ikke blev imødekommet. Selvom reviewet i eksemplet viser bestræbelser på at forklare variationer på tværs af studierne gennem visse analyser af betingelser i studierne, er det med udgangspunkt i en betragning af data som ens på tværs. Det er selvfølgelig klart, at en uhensigtsmæssig styring af en indsats sjældent fører til positive resultater af indsatser i al almindelighed, men lad os betragte uhensigtsmæssig styring som en variabel for sig selv, der er fundet at gøre sig gældende i ét studie. I ovenstående citatet ses det, at variablen bliver en (inddirekte) forklaring på, hvorfor netop ét studie finder frem til et andet resultat, sammenlignet med de øvrige studier, hvilket som nævnt bidrager til ny indsigt om materialet på tværs. Forklaring på variationen bliver, at variablen er tilstede i det pågælende studie, mens den er ikke tilstede i den øvrige primærforskning, der således vurderes at være baggrunden for, at de øvrige studier viser et andet resultat. Det vil sige, at variablen, der identificeres i ét studie, vurderes relevant for en flerhed af studier. Det er imidlertid spørgsmålet, om identificering af variablens betydning, der er vurderet at gøre sig gældende i ét studie, ville få samme betydning i andre studier, der kan anskues at have en sammensætning af helt andre variable. I citatet fremtræder dog denne antagelse, at variablen har betydning for de øvrige studier, og grundlaget herfor er, at betragtninger af primærforskningens data er ens på tværs, idet variable fundet i ét studie vurderes at være relevante for de resterende studier (der således vurderes at have identiske forudsætninger). Dette eksempel viser, at der i de pågældende reviews forekommer analyser af betingelser i studierne på tværs, der således kan oplyse om grundlaget og betingelserne for studiernes individuelle forskningsresultater. Samtidig viser eksemplet, at analysen er foretaget ud fra en anskuelse af, at konteksten i (de øvrige) studier ikke tages i betragtning. IN DDRAGELSESNIV EU 2 O G 3 I den foregående analyse af reviews så vi, hvorledes disse typer reviews forstås at bevirke en større åbenhed i forhold til at imødekomme perspektiver i primærforskningen. Dette skyldes, som vi så, at reviewene har sikret sig, at der i primærforskningen er tale om effektive indsatstyper, idet fokus i disse reviews angår beskrivelser af ét fænomen (i dybden), som er indsatstypen. For reviews 3-9 så vi derimod, at primærforskningen tilsyneladende ikke i forvejen er sikret at tegne et positivt resultat af indsatser, idet fokus i disse reviews netop 212

215 er at afklare effekten, hvorfor primærforskningen både indeholder positive og negative resultater af en given indsats. I bearbejdningen af primærforskningen udvikles, som vi har set med reviews 3-9, overordnede indsatstyper og outcome-mål på baggrund af primærforskningens individuelle og unikke indsatstyper og outcome-mål, og i forskningssyntesen afklares reglen mellem indsatstype og outcome-mål. Ved inklusion af dataene i reviews er der ligeledes i forvejen ikke sikret, at der er tale om effektive pædagogiske indsatser. Fokus i forskningssynteserne er, i lighed med reviews 3-9, derfor - med udgangspunkt i deltagernes perspektiver og holdninger - at afklare reglen (dog med undtagele af review 19). I reviews 15 og 16 betegnes reglen som contributed, significant contrubution. I review 17 som benefits og barriers. Data fra primærforskningen klassificeres i forhold til disse begreber, dvs., at de individuelle data fra primærforskningen forstås at vedrøre en regel mellem indsats og outcome-mål, samtidig med at unikke variable fra dataene udvikles til dette overordnede begrebssæt om en regel. En lignende bearbejdning af data har vi som nævnt set gøre sig gældende for reviews 3-9, hvor data klassificeres under lignende begreber om en regel mellem indsats og outcome-mål; som show som evidence of, positive effect, improvement positive impact. Contribution to inclusion Shaw (2001) reported how supporters described their inclusive function mainly in relation to easing the way for puils and encourganing them through difficulties Generic contributions were reported, although it is not clear by how many TAs these percpetions were shared: for example They promoted inclusion by familitating participation and learning, and helped build confidence, self-esteem and independence so that alle children nwere enabled to reach their full potential alongside their peers (reviw 16) I ovenstående citat fra synteseprocessen i review 16 fremgår det, at ét studie rapporterer, at support staff gør det nemmere for eleverne at arbejde med svært tilgængeligt stof (through difficulties). Yderligere fremgår det, at et ukendt antal studier påviser, at support staff bidrager til fx øget selvtillid og uafhængighed hos eleverne (helped build confidence... and independence ). De nævnte data indgår i reviewet som unikke outcome-mål (om support staff) hentet fra primærforskningen, der i reviewet bliver klassificeret under contributions to inclusion, hvorfor reviewet konkluderer, at support staff som indsatstype bidrager til inklusion 213

216 i klassen. På tværs af studierne vurderes de at omhandle samme indsatstype. Contribution er her reglen i reviewet, mens to inclusion er et overordnet outcome-mål i reviewet, der begge er skabt af samme unikke begreber/variable i primærforskningen. I synteseprocessen for review 18 er primærforskningens outcome-mål vurderet i grader/vægten for reglen, idet outcomemål fra primærforskningen er vurderet ud fra, om de enkelte variable er important determinant, crucial in determining eller being influential. Samme bearbejdning har vi set gøre sig gældende fra review 15, hvor contribution som regel konkluderes på baggrund af primærforskningens unikke outcome-mål som, at lærerassistenterne hjæper med musiknoter og at binde børnenes sko. I syntesetilgange for reviews 3-9 findes også samme tilgang i bearbejdningen af primærforskningen, hvor der udvikles en (overordnet) regel (fx contribution) og (overordnet) outcome-mål (fx pupils learning and engagement i review 15 og to inclusion i review 16) samt betragningerne, at indsatstypen er den samme på tværs. Reviews 3-9 og ligner således hinanden i deres bestræbelser på at afklare effekten af indsatsen, hvoraf gruppen af reviews eksplicit afklares ud fra deltagernes holdninger og perspektiver. I det følgende argumenteres der for, hvorledes de, til trods for flere ligheder på tværs af de to grupper af reviews, alligevel kan forstås at adskille sig en smule fra hinanden. I det konkrete eksempel fra review 15 ses det, at (den overordnede) indsatstype teacher assistant figurerer i reviewspørgsmålet, mens (det overordnede) outcome-mål pupils learning and engagement ikke er en del af reviewspørgsmålet. Ligeledes med review 16 er outcome-målet to inclusion heller ikke at genfinde i reviewspørgsmået. Generelt for gruppen af reviews er, at der i forskningssyntesen rapporteres på en lang række (forskellige) outcome-mål. Tas supported the inclusion of pupils by maximizing the opportunites for pupils to participate contructively in the social and academic experience of schooling. This involved building pupils self-esteem and confidence, mediating social interaction with peers (review 16) Ovenstående eksempel viser, hvorledes der i det konkrete review rapporteres outcome-mål i forskningssyntesen, der kan være overordnet i dette tilfælde to inclusion og underordnet fx pupils selv-esteem and confidence. De underordnede outcome-mål er hentet mere eller mindre direkte (neutralt) fra primærforskningen, mens ingen af de pågælende outcome-mål (hverken overordnede eller underordnede) optræder i reviewspørgsmålet. I reviews 3-9 er det mere 214

217 typisk, at de overordnede outcome-mål figurerer både i reviewspørgsmålene og i forskningssyntesen, som fx det overordnede outcome-mål teacher performance i review 3 og learning of pupils i review 6. I reviews 3-9 findes en bearbejdning af primærforskningens outcome-mål identisk med bearbejdning af primærforskningens outcome-mål i reviews 15-19, men for reviews 3-9 figurerer denne tilgang i synteseprocessen, mens for reviews fremgår de også i forskningssyntesen og udgør en del af forskningsresultaterne for reviewene. Med reviews bliver reviewspørgsmålet i forskningssyntesen besvaret med langt flere outcome-mål, såvel overordnede som underordnede. En måde at betragte forskellen mellem reviews 3-9 og reviews på er, at outcome-mål(ene) i reviews i forskningssynteserne i højere grad får lov til at lade sig præsentere gennem deres forskellighed. Outcome-målene er ikke defineret på forhånd, fordi det netop er sigtet i tråd med gruppens reviewspørgsmål - at få disse frem. I det pågældende review 15 lyder reviewspørgsmålet: what are the perceptions and experience of what teaching assistants do. Med review 16 hedder det of what support staff do. I review 19 lyder det: what do practitioners say about. Lignende reviewspørgsmål gør sig gældende for reviews med et fokus på uddybning af ét fænomen, indsatstyper. Gruppen af reviews kan derimod forstås at have et fokus på uddybning af fænomenet outcome-mål i forhold til, at der indhentes perspektiver fra primærforskningen om, hvordan deltagerne mener, at indsatsen virker (reglen), og hvad de mener, det virker på (outcome-mål). Selvom de pågældende reviews har flere karakterisika tilfælles med reviews 3-9 i den forstand, at begge grupper (undtagen review 19) søger at afklare effekten/reglen mellem en indsatstype og et outcome-mål, udmærker reviews sig ved et større fokus på at gå i dybden med outcome-målene i den forstand, at der indhentes forskellige perspektiver i primærforskningen (fra forskellige deltagere) vedrørende outcome-mål for indsatstypen. Det vil sige, at reviews kan anskues ikke blot at finde frem til, om det virker (ved at identificere en regel), men også hvad der virker på (fund af forskellige outcome-mål) og for hvem virker det (deltagerperspektivet i de pågældende reviews). Reviews og ligner således hinanden ved, at de begge efterspørger en (dybere) beskrivelser af ét fænomen og således i højere grad forstås at medtage (forskellige) perspektiver fra primærforskningen, end hvad der er muligt i reviews 3-9, hvis fokus snarere er på at afgøre reglen mellem et outcome-mål og en indsatstype. 215

218 Benefits of WBL (work-based learning red.) to students include gaining new and improving existing skills such as personal (e.g. increased confidence), problem-solving and communicative skills; adapting existing knowledge and skills to the needs of new situations in the workplace; managing their own learning: and applying theory in practice. (review 17) Ovenstående citat er et eksempel på, hvorledes der med forskningssyntesen for reviews er fokus på at afklare såvel reglen som outcome-mål. Citatet viser reglen, der i eksemplet er benefits of WBL, dvs., at der konkluderes, at WBL-work-based learning, som indsatstype har visse positive virkninger/fordele. Derudover vises for hvem, indsatsen er effektiv for.. to students. Den øvrige tekst i citatet, såsom: gaining new and improving existing skills such as personal er det overordnede outcome-mål, mens adapting existing knowledge and skills to the needs for new situation managing their own learnin er enkeltstående variable, dvs underordnede outcome-mål, indhentet neutralt fra primærforskningen. De underordnede outcome-mål fungerer på den ene side som udgangspunkt for, at reviewet konkluderer reglen (contribution), på den anden side udgør de (forskellige) virkninger, dvs. outcome-mål som indsatstypen(erne) i primærforskning er fundet at indvirke på. Med reviews er der således ikke tale om at besvare et effektspørgsmål, der som vist i kap. 6 er ensbetydende med en black-box, hvor en lang række spørgsmål om effektens karakterer ikke besvares. Derimod konkluderes i reviewene i grupperne på hvilken måde virker indsatsen og for hvem virker den. Som tidligere nævnt adskiller review 19 sig fra de øvrige reviews i gruppen. I review 19 er det udelukkende et outcome-mål (practitioners commonly respond pragmatically to local policymaking), der søges afklaret, ikke reglen. Hos de øvrige reviews i gruppen markeres reglen med klassificeringer som fx fordele, ulemper, barrierer og facilitatorer eller bidrag/ikke bidrager. I review 19 forekommer disse eller lignende begreber ikke i forskningssyntesen. Review 19 er imidlertid overensstemmende med gruppen af reviews med dets fokus på at finde frem til (forskellige) outcome-mål/virkninger af indsatsen. Review 18 adskiller sig fra gruppen af reviews ved, at den i lighed med gruppen af reviews har fokus på i forskningssyntesen at konkludere indsatstype ikke outcome-mål. Gruppen af reviews er som nævnt blevet grupperet i lyset af deres eksplicitte fokus på deltagernes oplevelser og holdninger, og samme fokus findes i review

219 Review 18 er et eksempel på, at det tilsyneladende også kan være (en effektfuld) indsatstype, som søges afklaret gennem deltagernes oplevelser og holdninger; hvad mener deltagerne, der virker. I review 18 findes ikke et krav om, at indsatsen skal være dokumenteret effektiv forinden primærforskningen inkluderes i reviewet, hvorfor den heller ikke er grupperet i reviews Med review 18 er det deltagernes holdninger og meninger, der er grundlaget for reglen og dermed de udsagn fra deltagerne om, hvilken indsatstype der er effektfuld. Dette ses fx i følgende citat fra forskningssyntesen, hvor i alt seksten studier om forældrenes meninger og opfattelser vurderes at påpege, at familien (indsatstype) er et væsentligt grundlag (seksten studier = reglen), der bevirker, at unge (post 16) fra etniske minoriteter gennemfører/deltager (participation) i uddannelses- og skoleforløb (outcome-mål). High value placed on education by parents; strong parental support for post-16 participation; positive family/cultural/community influence; social classe (sixteen studies (review 18) EFFEKTBEGREB I forrige afsnit om forskningsfunktioner blev det gjort klart, at den kvalitative forskning opnår en effektafklarende forskningsfunktion, hvoraf begrebet om effekt kan knyttes til en idé om at identificere kausalitet, som også findes i kompleksitetsteoriernes forståelse af effekt. Med det foreliggende afsnit om analyser af inddragelse af data i de 17 systematiske reviews kan der suppleres yderligere til opbygning af effektbegrebet og dermed til forståelsen af den effektafklarende forskningsfunktion, som den kvalitative primærforskning indtager. Måden data inddrages i afklaring af effekt - som vi har set i analysen af reviews 3-6 og foregår med udgangspunkt i en overvejende akkumulering af data. Det vil sige, at data ved niveau 1 indhentes og inddrages neutralt og ved niveau 2 sammenlægges de neutralt som ens på tværs med henblik på frekvensmæssigt at bevise effekten i kraft af variables hyppighed. Ved niveau 2 og 3 foregår en ændring eller nærmere bestemt en oversættelse af primærforskningens begreber med henblik på, at de er overensstemmende med reviewspørgsmålets på forhånd kontruerede variable og teori om effekt. Som det fremgår af indledningen er det kendetegnet for integrative tilgange, at der foregår udvikling af begreber i niveau 2, hvilket netop adskiller aggregative og integrative tilgange fra hinanden. Med de pågældende reviews er der imidlertid fokus på frekvensen og hyppigheden af variable i 217

220 niveau 2 ikke kun en udvikling af begreber - hvorfor de pågældende reviews mest af alt forekommer at efterligne aggregative tilgange ved inddragelse af data. Aggregative tilgange til inddragelse af data er, som vi har set i kapitel 4, traditionelt knyttet til reviewproducenters forskningsideal om inddragelse af data fra RCT-designs i udvikling af metaanalyser. I tråd med dette ideal er vist i analyserne om inddragelse af data i de 17 systematiske reviews, at data inddrages i afklaring af effekt ved, at man forholder sig til, at kausalitet identificeres i tre led/variable. Dette er i tråd med opfattelsen af, hvordan reviewproducenter traditionelt anskuer kausalitet, men er ikke lige opfattelsen af kausalitet, som den er skrevet frem med især kompleksitetsteorierne, hvis forståelse af samme er mere knyttet til praktiske sammehænge og endvidere er mere dynamisk og mangfoldig. Med Cartwrights begreber om effekt i betydning af enten efficacy eller effictiveness (jf. kapitel 4) ender de pågældende reviews i et effektbegreb, der mest efterligner effekt i betydning af efficacy. Cartwright angiber netop reviewproducenter for dette effektbegreb, der kun består i afklaring af indsatsers effekt, relevant i videnskabelige sammenhænge. For at kunne komme frem til et effektbegreb i betydning af effictiveness må effekt knyttes til indsatsers betydning i mere unikke og praktiske sammenhænge. Dette sker dog ikke i de pågældende 19 systematiske reviews, hvor variables unikke og praktiske betydning med den aggregative tilgang udvandes til fordel for variables ensliggørelse. Cartwright mener, at især den kvalitative forskning har mulighed for at udfylde denne rolle om et effektbegreb i betydning af effictiveness. Med Carthwrigth er det således et paradoks, at de pågældende 19 systematiske reviews konkret anvender et datamateriale, der er i stand til at bidrage til indsigt i effekt i betydning af effictiveness og alligevel ikke lykkes med det. Med Cartwright kunne man sige, at der med de 19 systematiske reviews opstår det, der kan beskrives med talemåden, at barnet bliver smidt ud med badevandet. Endvidere er det spørgsmålet, hvilke konsekvenser den aggregative tilgang har for forståelsen af primærforskningen. Dertil kunne det hævdes, at der opstår en simplificering af primærforskningen, idet inddragelsen og dermed forståelsen af data rammesættes gennem en aggregativ bearbejdning af data. I de pågældende reviews forekommer akkumuleringen af data at kunne sammenlignes med Diltheys beskrivelser af erkendelsesgrundlaget i naturvidenskaben, der med sin begrænsede adgang til viden om verden kun kan erkendes stykvis som tegn og som repræsentationer, og den mangler adgang til at erkende nogle dybere strukturer. Med det udgangspunkt er det spørgsmålet, om den kvalitative forsker vil kunne 218

221 genkende sin forskning i de pågældende reviews, hvor konteksten og historikken for forståelsen af data udelades. DEN PROCESAFKLARENDE OG FORTOLKENDE FORSKNINGSFUNKTION I sammenligning med de tidligere analyser af forskningsfunktioner for den kvalitative forskning bliver det mere klart med datainddragelse, hvad det er for spørgsmål, som primærforskningen - herunder den kvalitative forskning indgår i besvarelserne af. For reviews 3-9 fremgår det udover at der med disse reviews ønskes en afklaring af indsatsens effekt - at der inddrages data med henblik på at kunne identificere yderligere variable (fra primærforskningen), der måtte gøre sig gældende, såfremt en konkret indsats skal have den ønskede effekt. Denne funktion kan sammenlignes med, at primærforskningen opnår en procesafklarende forskningsfunktion, hvoraf processer og mekanismer for indsatsens succes afdækkes. For reviews og 18 gælder det, at primærforskningen inddrages i afklaring af ét fænomen, dvs. den effektive indsats. I disse reviews efterspørges en beskrivelse af, hvad der er ensbetydende med en effektiv indsatstype, og i disse reviews udvikles et nyt samlet grundlag om en indsatstype. Disse typer reviews kunne siges at være begrebsafklarende, der endvidere har karakteristika tilfælles med funktionen for den kvalitative forskning i den forstand, at det handler om at gå i dyben med ét fænomen med henblik på udvikling af ny viden (jf. kap. 1 og 3). Idéen om at primærforskningen bruges til at bidrage med en ny samlet begrebsmæssig indsigt i, hvad der er en effektiv indsatstype, er ikke at genfinde blandt reviewproducenternes forståelse af, hvad der er funktionen for den kvalitative forskning i systematiske reviews (jf. kapitel 4). Det tætteste vi kommer her, er, at reviews kunne betragtes ud fra en eksplorativ forskningsfunktion, således at den samlede idé om en (ny) indsatstype (senere) kunne afprøves/bevises/dokumenteres af kvantitativ effektforskning. Denne betragtning af funktionen for reviews og 18 er dog ikke ekspliciteret i de pågældende reviews, der i øvrigt heller ikke synes at hænge sammen med, at det er bestræbelserne i de pågældende reviews at udlede en netop effektiv indsatstype. For gruppen af reviews og 19 indgår primærforskningen med henblik på at udlede, hvordan en effektfuld indsats virker og på hvem. Der er således atter med disse reviews fokus på processer og mekaniser ved en given indsats. I den forbindelse synes reviews og 19 at udmærke sig ved, at det særligt er afklaring af implementeringsforhold, der er i fokus. Det vil sige, at de konkrete reviews undersøger 219

222 deltagernes oplevelser ved henholdsvis levering og implementering af en given indsats, hvordan en indsats opleves af deltagerne, at den virker, under hvilke omstændigheder og på hvem og hvordan virker den. Af analysen af datainddragelsen i de 17 systematiske reviews er det gennmgående for samtlige forskningsfunktioner, som primærforskningen opnår hvad enten det er procesafklarende, forstående eller indsigt i implementeringsforhold - at data inddrages overvejende aggregativt. Det vil sige, at inddragelsen - hvor den er transparant - er kendetegnet ved overvejende aggregative tilgange. Ved inddragelsesniveu 1 indhentes data neutralt, ligeledes ved niveau 2, hvor hyppighed af tilsyneladende ens variable på tværs af studierne er væsentlige elementer i konklusionerne om beskrivelser af henholdsvis effektive indsatstyper og i virkninger af en indsats og for hvem. I analysen af de 17 reviews identificeres en forskel i datainddragelsen ved niveau 3, hvad enten data indgår effektafklarende eller processuelt beskrivende, idet reviewspørgsmål om effekt er mere lukkede og styrende, ligesom det er tilfældet for review 3-6. Det samme er ikke gældende, når primærforskningen indgår i de øvrige funktioner om henholdsvis at beskrive en samlet ny effektiv indsatstype (review 10-14), afklaring af processer og om implementeringsforhold, hvordan virkede det og på hvem virkede det/virkede det ikke (15-19 og 7-9). Ved inddragelse af data i de to sidst nævte grupper af review findes ingen på forhånd kontruerede teorier eller begreber i et reviewspørgsmål, som data styres i retning af. Det styrende kan antages at være perspektiver i primærforskningen. I sammenligning med datainddragelsen ved en effektafklarende forskningsfunktion er inddragelsesniveau 3 ved de øvrige forskningsfunktioner dermed mere fleksibel. Det vil sige, at inddragelsesniveau 3 ved de øvrige forskningsfunktioner trækker sig væk fra en udelukkende aggregativ inddragelse af data til at have perspektiver om fleksibilitet tilfælles med interpretative tilgange. Det som bestemmer og styrer afgrænsning er variable i niveau 3 er imidlertid styret af, hvorledes data er bearbejdet i de foregående niveauer. I analysen af de 17 reviews fremgår det, at det til trods for fleksibiliteten i reviewspørgsmålet - er aggregative elementer om hyppighed af variable og betragtninger af variable som ens på tværs af forskningen, der er afgørende for besvarelserne i forskningssynteserne. Samlet set kan review 3-6 og forstås at have fokus på at udpege effektive indsatser, enten i snæver forstand, dvs. om indsatsen virkede eller ikke virkede (reviews 3-6) eller i betydning af, hvilken (ny og samlet) indsatstype, der er effektfuld (reviews 10-14). Disse reviews kunne derfor kaldes interventionsreviews. I de øvrige reviews (7-9 og 15-19) 220

223 findes elementer af funktioner af mere klassisk kvalitativ karakter, som det på forskellige vis er forsøgt i ovenstående at fremlægge. Klassisk i betydning af, at funktionerne på forskellig vis kan genfindes i de materialer, der har været genstand for analyse i afhandlingen (jf. kap 3 og 4). Review kan imidlertid også påstås at have karakter som klassisk kvalitativ i lyset af deres fokus på begrebsafklaring i betydning af undersøgelse af ét fænomen. Af analysen af datainddragelsen i de 17 systematiske reviews lader det til, at forskningsidealet om en aggregativ tilgang i afklaring af effekt går videre og bliver fundamentet for, hvorledes data indgår i de andre funktioner, såsom begrebsafklaringer, indsigt i processer samt mekanismer og implementeringsforhold. I afhandlingen har vi set, at denne type funktion forstås som værende knyttet til den fortolkende kvalitative tilgang til genstandsfeltet i bestræbelser på at nå i dybden med beskrivelserne og perspektiverne. I de pågældende reviews skal samme funktion imidlertid ikke forstås som værende knyttet til samme fortolkende tilgang til genstandsfeltet, idet funktionen i de pågældende reviews om fx at afklare processer og mekanismer ved en indsats afklares gennem aggregative tilgange. Det kan dermed konkluderes, at de pågældende reviews præsenterer mange forskningsfunktioner, som den kvalitative forskning indtræder i, men datainddragelsen er nogenlunde ens på tværs af funktionerne. Således kan det hævdes, at funktionerne er pluralistiske, mens metodologien er endimensionel. I de pågældende reviews har vi således set, hvordan kvalitative variable ikke betragtes og heller ikke behandles som enestående og unikke, men derimod i tråd med et korrespondanceteoretisk syn på sandhed - opnår legitimitet i en betragtning af variables hyppighed. Ud fra en forståelse af den kvalitative forsknings funktion og inddragelse, som er skabt i afhandlingen, må det antages at være et paradoks i de pågældende reviews, at viden om fx processer bliver knyttet til indsatser (fænomen), hvoraf samme proces ikke nødvendigvis er dokumenteret at være til stede ved samme indsats. Ud fra dette kan det hævdes, at den kvalitative forskning i de pågældende systematiske reviews rives ud af sine vante (fortolkende og interpretative) rammer og indgår i nye. Det betyder, at vidensgrundlaget i funktionen, den kvalitative forskning indtager i de pågældende reviews, skal forstås på nye måder. Selvom den kvalitative forskning indgår i afklaringer af relativt velkendte og klassiske funktioner såsom begrebers (interventioners) karakteristika, processer og implementeringsforhold ved interventioner, er grundlaget for funktionerne imidlertid ikke fænomeners kvalitet og dybde, idet metoden og 221

224 fundamentet bagved er fænomeners hyppighed og ensliggørelse af variable, frem for fuldstændige og enestående perspektiver om variable og fænomeners betydninger. I indledningen er refereret til tidligere undersøgelser af Eppis systematiske reviews. Undersøgelsen af Andrews & Harlen (2006) konkluderer med udgangspunkt i de mange narrative analyser i Eppis systematiske reviews, at der ikke foregår en favorisering af RCT-designs og en prioritering af konklusioner baseret på statistiske målinger. Samtidig konkluderer undersøgelsen, at de narrative analyser imødekommer uddannelsesforskningens diversitet i metoder, designs og forskningsspørgsmål. Denne afhandling nuancerer dette perspektiv ved på tværs af 19 systematiske reviews fra Eppi-Centre at have identificeret den aggregative inddragelse af data, der har karakteristika tilfælles med synteser baseret på RCTdesigns, såkaldte metaanalyser. Med denne afhandling bliver der således sat spørgsmålstegn til diversiteten i metoder til syntetisering af uddannelsesforskningen. I nedenstående figur er vist, hvordan de 19 systematiske reviews til sammenligning med de øvrige to materialer i afhandlingen - kan forstås at placere sig i en figur om forskningsfunktioner og inddragelse. 222

225 Figur 6.1: Om inddragelse af og forskningsfunktioner for den kvalitative forskning ifølge henholdsvis reviewproducenter, introduktionsartikler og -bøger om kvalitativ forskning samt i 19 systematiske reviews. Ovenstående figur 6.1 viser, at der i de 19 systematiske reviews viser sig forskningsfunktioner om det effektafklarende, men også mere forstående funktioner, såsom at der findes begrebsafklaring af fænomener og forståelser for, hvordan indsatser virker, på hvem og hvordan. Figuren viser, at de pågældende systematiske reviews inddrager data aggregativt, dvs., at der er fokus på at betragte begreber som neutrale og tilstrækkeligt afsluttede med henblik på, at de indgår i reviewet for således at afklare hyppighed ved såvel effekt og forståelse af et fænomen. Figuren viser yderligere de øvrige materialer (reviewproducenter og introduktionsartikler og -bøger om kvalitativ forskning) og deres forståelse af, hvordan den kvalitative forskning bør placerer sig funktions- og inddragelsesmæssigt i systematiske reviews. Det fremgår af figuren, at kvalitativ forskning i de 19 systematiske reviews indgår i afklaring af effekt, hvilket ikke er en forståelse af den kvalitative forskningsfunktion, der kan 223