Evidensbegrebet set fra forskningens værksted

Transkript

1 Evidensbegrebet set fra forskningens værksted Kjeld Høgsbro Professor i Socialt Arbejde Institut for Sociologi og Socialt Arbejde Aalborg Universitet Frederiksberg Kommunes temamøde om effekt og evidens

2 Mandag Morgen om Evidens Det er opsigtsvækkende resultater, der er kommet ud af den eksisterende evidensbaserede viden. Vi ved f.eks. nu, at nogle offentlige indsatser direkte skader. I andre tilfælde ved vi, at der findes langt bedre metoder, end dem der anvendes. Der er også situationer, hvor forskellige metoder virker nogenlunde lige godt eller skidt også selv om der er voldsomme faglige og politiske uenigheder om dem. Endelig og heldigvis ved vi også, at mange af de offentlige tilbud faktisk virker og virker godt. Det er en vigtig oplysning, da det så gælder om ikke at lave ændringer, der undergraver en god praksis. (Mandag Morgen: Virker Velfærden? Januar 2005)

3 Evidens og evidensbevægelsen Evidens som lig med troværdig, sikker viden. Evidens som forskningsresultater fra kontrollerede lodtrækningsforsøg (RCT). Evidens som den viden, der opsamles i forskningsoversigter (systematiske reviews). Evidensbevægelsen som social bevægelse af aktører og diskurser: Netværk af organisationer, der producerer og formidler forskningsoversigter. Aktører som efterspørger disse produkter. Diskurser som understøtter denne aktivitet.

4 Evidensdiskussionens temaer Hvordan etablerer man i praksis normer for og organisering af arbejdet med systematiske review der skal skabe oversigt over samtlige resultater fra de forskningsprojekter, der gennemføres over hele verden? Hvilke videnskabsteoretiske overvejelser kan man referere til når man vil gennemføre en kvalitetsvurdering af forskningsprojekter på tværs af fagdiscipliner og empiriske problemstillinger? Er diskussionen om evidensbaseret/informeret praksis grundlæggende forskellig fra tidligere perioders diskussion af betingelserne for anvendt og praktisk relevant socialforskning herunder traditionerne for social engineering og evalueringsforskning? Hvilke styringsmæssige konsekvenser har det for indholdet af det sociale arbejde, at det bliver dirigeret og underlagt forskningsresultater der angår generelle, almene virkemidler?

5

6 Systematik: Evidensbevægelsens arbejdsmetode Udvælgelse af emne Udarbejdelse af protokol Godkendelse af protokol Identifikation af primærstudier Udvælgelse og kvalitetsvurdering af primærstudier Syntetisering af data Udarbejdelse af endelig rapport Godkendelse og publicering af rapport

7 Evidenshierarkiet Evidenshierarkiet er i princippet bygget op som en rangorden af primærstudiernes design, fx: 1. Kontrollerede lodtrækningsforsøg (RCT) 2. Kontrollerede forsøg med uden lodtrækning 3. Registeranalyser baseret på tidserier 4. Tværsnitsundersøgelser 5. Kvalitative case studier 6. Fagprofessionelles opfattelse 7. Brugeres opfattelse

8 Iain Chalmers og Merete Konnerup For Iain Chalmers er den fundamentale problemstilling knyttet til spørgsmålet om hvorvidt det er muligt for forskeren at manipulere med sine egne resultater, bevidst eller ubevidst. RCT s eneste og væsentligste fortrin frem for andre metoder er, ifølge IC, at hverken kendte eller ukendte faktorer påvirker resultatet udover deres tilfældige fordeling på interventions- og kontrolgruppe, og at denne tilfældige spredning kan bestemmes på baggrund af anerkendte matematiske modeller. Merete Konnerup afgrænser hele Campbellsamarbejdets arbejdsområde til at handle om effektstudier, hvorimod studier af brugerinddragelse, implementering, organisationskulturer, kompetenceudvikling m.v. defineres som liggende uden for samarbejdets kompetenceområde. RCTbaserede metaanalyser må således suppleres med kvalitative studier for at identificere årsager til effekter. Det fremstår som noget uklart hvordan og i hvilken udstrækning systematisk revue der ikke inddrager spørgsmål om brugerinddragelse, implementering og identifikation af årsagssammenhænge kan være handleanvisende for praksis.

9 Den afgørende uenighed Den ene problemstilling knytter sig til spørgsmålet om resultaternes determinerende betydning for praksis Den anden problemstilling angår gyldigheden af metaanalyser baseret på RCT. Mark Pearson hævder at det er den sidstnævnte problemstilling som åbner op for de egentlige grundlæggende uenigheder blandt de involverede forskere.

10 Det eksperimentelle design (Campbell) A B C D E A B C D E Teoretisk og statistisk validering Statistisk validering Kvalitativ validering Teoretisk stipulering Statistisk validering

11 Reviewets metaanalyser + 0 -

12 Den grundlæggende kritik af metaanalyser baseret på RCT En metaanalyse som identificerer en gennemsnitlig effekt er udtryk for statistisk illusionsmageri (Ekeland 2005, 17:40). Mark Pearson peger på to basale mangler i en sådan empirisk pragmatisme: Den første angår et manglende fokus på undersøgelsernes eksterne validitet, dvs. de påviste sammenhænges relation til forskellige kontekster. Den anden mangel angår en manglende refleksion over den konstruktion af basale kategorier af målgrupper (populationer) og interventionsformer som undersøgelserne bygger på (sygdomskategorier, behandlingskategorier, målemetoder) som finder sted udenfor reviewinstitutionernes regi.

13 Problem Intervention Forbedret fremtidigt funktionsniveau Diagnose Koncept/Model Umiddelbart forbedret funktionsniveau Anerkendte test

14 Faktorer i konteksten der påvirker problemstillingen Diagnostisk definerede symptomer Familiernes sociale situation Supplerende diagnostiske problemstillinger Problemet Kulturelt definerede interaktionsformer, værdier og normer Socialt netværk og lokalt miljø Tidligere tilbud Aktuel struktur af tilbud

15 Faktorer der påvirker implementeringen af konceptet Beskrivelsen af konceptet Rekruttering af personale Baggrundsviden for forståelsen af konceptet Intervention Fysiske omgivelser og ressourcer Administrativ regulering Supervision Lokal institutions kultur for pragmatisk implementering

16 Evidensbevægelsens problemer Hvis man antager at det tager 4 år at udvikle og teste en ny metode indenfor klinisk praksis og to år for at gennemføre arbejdet med et systematisk review vil der gå minimum seks år før en metode er genstand for en vurdering baseret på systematiske review. Hvis praktikeren tøver med at bruge metoder som ikke er baseret på SR, eller beslutningstagerne blokerer for det, vil det således afgørende forsinke udviklingen af praksis (Levine and Fink 2006:408).

17 Evidensbevægelsens problemer Evidens baseret på metaanalyser af RCT angiver den gennemsnitlige virkning indenfor en given population og denne gennemsnitlige virkning er til dels irrelevant på det individuelle niveau i den kliniske praksis, idet (Ekeland 2005, 17:34-47): Individuelle forskelle og betingelser kan være vigtigere end den gennemsnitlige effekt. Eksperimentelle forhold kan være så specielle og så forskellige fra praksis at en generalisering til praktisk anvendelse af metoderne er særdeles problematisk. Den menneskelige relation mellem terapeut/behandler/rådgiver kan have afgørende betydning.

18 Evidensbevægelsens problemer Forskellige professioner der domineres af forskellige faglige referencerammer vil have forskellige udgangspunkter for at implementere/forstå/relatere SR resultater i deres praksis (Ventimiglia et al. 2000, 70: ). Evidensbevægelsen skaber på denne måde en ny relation mellem forskning, praksis og common-sence som er helt uforudsigelig (Webb 2001:57-79). Konteksten som dominerer SR er knyttet til amerikanske samfundsforhold, selvom den fremstår som international. Uanset hvilke principper der ligger til grund for SR risikerer et ensidigt fokus på SR at ødelægge en nødvendig diversitet i sociale systemer og interventioner (Burawoy 2005, 70:20-21).

19 Evidensbevægelsens problemer I den udstrækning SR er baseret på en forestilling om objektive fund knyttet til RCT privilegerer det biomedicinske og mere enkle kognitive interventionsmetoder med veldefineret virkning på kort sigt frem for aspekter af kommunikation, empati, etik, omsorg og hensyn til kontekst og relationer som har en mere diffus langsigtet betydning (Ekeland 2005, 17:34-47).

20 Evidenshierarki eller -typologi? Selektionen af primærstudier bliver vigtig for at vurdere kvaliteten af forskningsoversigten Debat om hvordan kvalitet skal forstås Fortalere for det smalle evidensbegreb lægger vægt på evidenshierarkiet med RCT i toppen Fortalere for det brede evidensbegreb slår til lyd for evidens-typologi.

21 Evidenstypologi RCT Forløbsundersøgelser Casestudier Evalueringens formål Stop/go Stop/go Tilpasning Forståelse Tilpasning Indsatsens karakter Enkel teknisk Veldefineret Kompleks Kontekstens karakter Lavt differentieret Moderat differentieret Højt differentieret Forhåndsviden om årsagvirkning Hypoteser om specifikke virkninger Modelleres statistisk Lille viden

22 Evalueringsforskningens historie 1960erne: 1. Summative effektevalueringer der sammenfatter effekten af en given indsats. 2. Summative procesevalueringer der sammenfatter udviklingen i effekten over tid. 3. Eksperimentelle design som sammenligner effekten af en given indsats sammenlignet med anden indsats. 1970erne: Formative procesevalueringer som giver feed-back til aktørerne undervejs i udviklingen af et tilbud. 1980erne: Empowermentevalueringer som udvikler redskaber til selvevaluering og monitorering.

23 To organisationers udvikling af to nye koncepter for intervention Effekt Tid

24 Donald Campbels forskningsoperationelle retningslinier Udgangspunktet for Campbell er at menneskesamfund til alle tider har været involveret i programudvikling. Campbell ser hele den kulturelle udvikling som et stort eksperimentelt laboratorium med løbende frasortering af institutionelle tiltag med uønsket virkning. The raw material for such evaluations is the remembered experiances of participants transformed into institutional decissions. Det er dette råmateriale de kvalitative studier beskæftiger sig med og Campbell er derfor åben overfor alle former for dokumentanalyser, informantinterview, deltagerobservationer og forskellige dialogiske forskningsmetoder som f.x. ideen om at samle deltagere fra forskellige programmer på Konferencer som en del af en erfaringsopsamling (Campbell 1978).

25 Donald Campbels forskningsoperationelle retningslinier Det samme gælder hans understregning af at et fortrolig kendskab til begivenheder og aktører er nødvendig for at sikre mod misforståelser og fejlfortolkninger af data og much of all this aquintanceship base can be lost in large-scale modern quantitative programme evaluation. Dette forstærkes yderligere af troen på at eksterne evaluatorer er mere objektive og muligheden for større mængder computer prints-outs often provide a pseudo-scientific facade (Campbell 1978:201). Kvantitative undersøgelser burde derfor altid suppleres med project-anthropologists, sociologists or historians assigned to the task of common-sence aquantance with the overall context including the social interactions producing the measures (ibid. s. 202).

26 (Kilde: Camhis, 1979: 34)

27 Institutional Ethnography Institutional ethnography explores the SOCIAL RELATIONS organizing INSTITUTIONS as people participate in them and from their perspectives. People are the expert practitioners of their own lives, and the ethnographer s work is to learn from them to assemble what is learned from different perspectives and to investigate how their activities are COORDINATED. It aims to go beyond what people know to find out how what they are doing is connected with others doings in ways they cannot see. The idea is to MAP the institutional aspects of the RULING RELATIONS so that people can expand their own knowledge of their everyday worlds by being able to see how what they are doing is coordinated with others doings elsewhere and elsewhen. (Dorothy E. Smith 2005)

28 Familiens kontakter Kriminalf orsorg fængs el KIF politi Arbejds marked Mentor Jobcenter VUC Specialkurser Oplysn.forb und Individ Familie Netværk Uddannelser Psykiatri Skoler Voksen/hand ikap Bostøtte

29 Det professionelle sociale arbejdes forskellige opgaver Rådgivning Tilgængelighed, organisering af det samlede tilbud, matchning, visitation. Interventioner med store og med små konsekvenser. Magtanvendelse. (Tvangsfjernelse af børn.) Terapeutisk intervention. Rehabilitering. Mediation. Kommunikation. Socialt miljøarbejde.

30 Etnicitet Personlighed Barndoms-oplevelser Livshistorie Miljø Omsorgsbegreb Neurologi Sygdomsbegreb Sociologi Menneskesyn Didaktik Antropologi Indikation Prædiktion B2 Praksis Rehabilitering B3 Effekt B1 Problemstilling A Episteme Teoretisk diskussion Psykologi Etik Familienormer Simreb Teoretisk udledning forventning C1 Problemer C2 Ophold Relationer C3 Et nyt Liv D Hverdags- kultur Summativ eva Formativ evaluering MTV

31 Ad 1. Normer for og organisation af systematiske review. Sociologisk set er diskussionen om evidensbaseret praksis knyttet til en social bevægelse (Bhatti, Foss Hansen, and Rieper 2006; Foss Hansen and Rieper 2009, Hammersley 2005). Der etableres reviewproducerende institutioner hvor principper for søgningen i databaser og netværk skal følge nogle standardiserede forskrifter og i sidste instans godkendes af institutionernes ledelser (Bhatti, Foss Hansen, and Rieper 2006; Konnerup 2005). Én mulighed er at have et formaliseret hierarki, hvor visse undersøgelsesmetoder vægtes mere end andre. En anden mulighed er at anvende en evidenstypologi, hvor man åbner op for at forskellige spørgsmål besvares med forskellige metoder. For at belyse kontekstuelle forholds betydning suppleres de internationale review med nationale implementeringsstudier, men disse review tillægges herefter primært national og lokal gyldighed.

32 Hvad er ikke nyt i evidensdebatten Selve instrumentariet i form af undersøgelsesmetoder, overvejelser vedrørende intern og ekstern validitet og normer for review er ikke nyt Undersøgelsesmetoderne og overvejelserne vedrørende validiteten af eksperimentelle studier, kontekstens betydning og forholdet mellem rekvirentens common-sence baserede forestillinger og frontmedarbejdernes praksiserfaringer er allerede fuldt udfoldet omkring Normerne i forbindelse med systematiske review som en nødvendig del af ethvert forskningsprojekt har eksisteret i flere hundrede år om end de altid har været vanskelige at leve op til og til tider har været betragtet som en så selvfølgelig del af en forskers daglige arbejde at det ikke er blevet særskilt prioriteret og honoreret.

33 Hvad er nyt i evidensdebatten En voldsom ekspansion og specialisering i den internationale forskningsaktivitet En udvikling i internationale databaser og muligheden for global elektronisk søgning af forskningsresultater. Dette har muliggjort en langt mere effektiv administration af forskningsmæssige review der kan kompensere for stigende informationsmængder og kompleksitet indenfor forskningen. Dette gælder både de systematiske review der har institutionernes kvalitetsstempel og de review som er en del af den enkelte forskers virksomhed. Det er således den stigende internationale forskningsaktivitet og en rent teknisk innovation af hardware og software, som udnyttes i de nye reviewproducerende institutioner.

34 Vidensinteresse og forskningsdesign Vidensinteresse Virkningen af et bestemt koncept i ren form Virkning af bestemt indsats i konkret institutionel sammenhæng Identifikation af koncept, paradigme og metode i etablerede tilbud. Udvikling af nye tiltag Udvikling af selvevalueringer Udvikling af tilgængelighed, koordination og styring af det samlede tilbud Forskningsdesign RCT Realistisk evaluering. Kvasieksperimentelle design. SIMREB Formative evalueringer Empowermentevalueringer Institutionel Etnografi

35 Arbejdet med evidensbegrebet har ført til følgende artikler og monografier: Høgsbro, Kjeld (2013): Evidenslogik og praktisk erfaring indenfor rehabilitering. I Bonfils, Kirkebæk, Olsen og Tetler: Handicapforståelser. Under udgivelse på Akademisk Forlag. Høgsbro, Kjeld, Leena Eskelinen, Maja Lundemark og Nichlas P. Berger. (2013): ADHD-problematikkens sociale aspekter. Aalborg Universitetsforlag. Høgsbro, Kjeld (2013): Evidensbegrebet i styringsteknologisk perspektiv. I Hans Wadskjær ed.: Metermålssamfundet. Aalborg Universitetsforlag. Høgsbro, Kjeld, Leena Eskelinen, Mia Arp Fallov, Kirsten Mejlvig og Nichlas Permin Berger (2012): Når grænser udfordres. Arbejdsbelasninger og pædagogiske udfordringer i specialpædagogiske boenheder. AKF/Aalborg Universitet. Kjeld Høgsbro (2011): Evidensbaseret praksis forhåbninger, begrænsninger og muligheder. I Tidsskrift for Forskning i Sygdom og Samfund. Korsbæk, Lisa, Kjeld Høgsbro, Lone Petersen, Mette Olander og Lene Falgaard Eplov (2010): Forskning I Rehabilitering. I Eplov et. al. Psykiatrisk og psykosocial rehabilitering. Munksgaard. Høgsbro, Kjeld (2010): SIMREB towards a systematic inquiry into models for rehabilitation. I Scandinavian Journal of Disability Research vol. 12 no. 1. Høgsbro, Kjeld (2007): Etiba. En forskningsbaseret evaluering af rehabiliterings- og træningsindsatsen for børn med autisme, herunder af behandlingsmetoden ABA (Applied Behavior Analysis). MarcelisborgCentret. Høgsbro, Kjeld (2004): Evaluering af socialt arbejde for udsatte grupper. I Olaf Rieper (red.): Håndbog i evaluering. AKF Kjeld Høgsbro, Kirsten Marie Bovbjerg, Louise Hardman Smith, Mette Kirk og Jesper Henriksen, (2003): Skjulte livsverdener AKF Forlaget.