Hvorfor skændes vi? - Positioner i evidensdebatten

Transkript

1 Hvorfor skændes vi? - Positioner i evidensdebatten ved Professor Hanne Kathrine Krogstrup, Dekan ved Det Samfundsvidenskabelige Fakultet, Aalborg Universitet SFI-konference, Det svære evidensbegreb

2 Evidensbegrebets historie Forskningsoversigter og metaevaluering Organisering af videnskaben Cochrane, Campbell, MTV, Clearinghouse Den medicinske verden USA Kamp i forskersamfundet DET SAMFUNDSVIDENSKABELIGE FAKULTET 2

3 Evidensbaseret politik Sammenhængen mellem evidensbaseret politik og evaluering/forskning Evaluering skal hjælpe beslutningstagere til at udvikle evidensbaseret politik på baggrund af dybtgående videnskabelig viden Krogstrup 2011:101) DET SAMFUNDSVIDENSKABELIGE FAKULTET 3

4 Eksperimentelle design DET SAMFUNDSVIDENSKABELIGE FAKULTET 4

5 Hvorfor skændes vi? Forskellige opfattelser af problemet Forskellige opfattelser af kontekst Forskellige opfattelser af effekt DET SAMFUNDSVIDENSKABELIGE FAKULTET 5

6 DET SAMFUNDSVIDENSKABELIGE FAKULTET 6

7 Tamme problemer Nemme at definere Kan adskilles fra andre problemer Klare kriterier for bedste løsning Løsningen er af teknisk karakter DET SAMFUNDSVIDENSKABELIGE FAKULTET 7

8 Vanskelige at definere Vilde problemer Vanskelige at adskille fra andre problemer Der er ikke objektive kriterier for den bedste løsning Mange variable er inddraget i løsningen Kontekst har indflydelse på interventionen og på effekterne heraf DET SAMFUNDSVIDENSKABELIGE FAKULTET 8

9 Interventioner mod vilde problemer Komplekse og uregelmæssige Årsagsvirkningssammenhænge kan ikke generes gennem iagttagelse af regelmæssige handlinger Udfordring: Generative mekanismer må identificeres DET SAMFUNDSVIDENSKABELIGE FAKULTET 9

10 Generative mekanismer Alle interventioner er baseret på antagelser om, hvad der virker "Hvad virker, for hvem, hvornår og i hvilken sammenhæng?" DET SAMFUNDSVIDENSKABELIGE FAKULTET 10

11 Kontekstuafhængig viden/tamme problemer Interventionen virker uafhængigt af kontekst Resultater kan nemt duplikeres og overføres til en anden kontekst DET SAMFUNDSVIDENSKABELIGE FAKULTET 11

12 Kontekstafhængig viden/vilde problemer Interventionen er kompleks og mangefacetteret Ingen entydige kausalsammenhænge Vanskeligt at identificere entydige kausalsammenhænge DET SAMFUNDSVIDENSKABELIGE FAKULTET 12

13 Deterministisk effekt Sikker effekt indebærer, at variabel X forårsager Y, hvis og kun hvis X uvægerligt fører til Y. Det betyder, hvis X er til stede, da vil Y nødvendigvis og uundgåeligt forekomme. Sikker effekt udtrykker en lovmæssighed. Et centralt begreb i forbindelse med sikker effekt er alt andet lige, så vil X producere Y. DET SAMFUNDSVIDENSKABELIGE FAKULTET 13

14 Probabilistisk effekt Sandsynlighedseffekt vil sige, at en forøgelse eller formindskelse af en bestemt faktor tilsvarende vil forøge (eller formindske) sandsynligheden for, at en bestemt effekt er tilstede. Det er således muligt at specificere betingelserne under hvilke X mere eller mindre sandsynligt vil forårsage Y statistisk og analytisk generalisering DET SAMFUNDSVIDENSKABELIGE FAKULTET 14

15 Hvorfor skændes vi? Tamme problemer Kontekstuafhængig viden Entydig Kausalitet Tilnærmelsesvis deterministisk effekt Vilde problemer Kontekstuafhængig viden Tvetydig kausalitet Probabilistisk effekt DET SAMFUNDSVIDENSKABELIGE FAKULTET 15

16 The Golden Standard-Evidens hierarkiet Det randomiserede kontrollerede forsøg Quasi-eksperimentelle design Før og efter sammenligninger Procesevaluering, formative studier og aktionsforskning Kvalitative studier og etnografisk design Deskriptive guidelines og eksempler på god praksis Professionelle og ekspertvurderinger Brugervurderinger DET SAMFUNDSVIDENSKABELIGE FAKULTET 16

17 Kritik af The Golden Standard Forskningsresultater giver ikke sikker viden Eksperimentelle og ikke-eksperimentelle studier giver samme resultater Samme intervention udsat for forskellige RKT giver forskellige resultater Kontrol -og indsatsgrupper er i mange sammenhænge ikke mulige at etablere Der er lavet mange årsagsforklaringer uden involvering af eksperimenter Social viden er ikke rationel og entydig men: Fortolket, kontekstuel og dynamisk, midlertidig, inkluderer værdi og ideologi Gennemsnitsviden kan være interessant, men behøver ikke at være det DET SAMFUNDSVIDENSKABELIGE FAKULTET 17

18 Realismen i forestillingen om det evidensbaserede samfund Evalueringsviden anvendes ikke instrumentelt, men kognitivt og symbolsk Ufuldkommenhed hos forskere Forskningsviden er fragmenteret og ufuldkommen Politiske krav om hurtige resultater skaber overfladisk og kortsigtet viden Metaevalueringer skaber begrænset viden om kontekst specifikke forhold Ufuldkommenhed hos politikere Anvendelse afhænger af politiske dagsordner og ideologi Vilkårene for kommunikation mellem forskere og politikere er komplicerede: forskellige dagsordner; Skriftlig/mundtlig kommunikation DET SAMFUNDSVIDENSKABELIGE FAKULTET 18

19 Autorativ viden/autorative beslutninger Evidens som forudsætning for bevilling Evalueringsresultater er ofte inkonsistente og modstridende Evidens bæres oppe af magtfulde organisationer Evidens udgør autoritativ viden, der kan lukke eller åbne programmer DET SAMFUNDSVIDENSKABELIGE FAKULTET 19

20 Europæiske tendenser versus USA Ikke samme tendens til at hylde evidens ukritisk Ikke samme fokus på det randomiserede kontrollerede design Højere grad af paradigme-flertydighed En samfundsmæssig kamp mellem evidens og politik DET SAMFUNDSVIDENSKABELIGE FAKULTET 20

21 Professor Hanne Kathrine Krogstrup Det Samfundsvidenskabelige Fakultet