MÅLING AF EFFEKTER METODE VERSUS DATA METTE DEDING

Transkript

1 MÅLING AF EFFEKTER METODE VERSUS DATA METTE DEDING

2 DISPOSITION Effektmålinger på det sociale område Forskellige metoder Forskellige data 2

3 HVORFOR EFFEKTMÅLING? Velfærdsstaten griber ind i flere og flere områder i forhold til borgere og virksomheder Ofte på et utroligt lille vidensgrundlag Det sociale område kan betragtes som et stort ukontrolleret forsøg Store mængder penge bliver brugt på indsatser som vi ikke kender effekten af. 3

4 HVORFOR EFFEKTMÅLING Øgede krav om evidens Dyre foranstaltninger uden viden om effekter i forhold til alternativer Den demografiske udvikling giver behov for mere evidens - Offentlig sektor får rekrutteringsproblemer - Mindre arbejdsstyrke mindsker finansiering - Behov for mere effektive løsninger 4

5 EFFEKTMÅLING I TIDEN Effektmåling er noget, der er oppe i tiden Vi vil gerne vide om de ting vi gør virker Men ordet effekt bliver brugt om mange ting Også ting der ikke kan kaldes effekt SFI oplever at mange udbud/projekter indeholder ønske om måling af effekter hvilket på den ene side er godt og på den anden side er mindre godt Man kunne ønske sig større fokus på hvad forskellige metoder kan bruges til og hvordan de komplimenterer hinanden 5

6 EFFEKTMÅLING SOM METODE Effektmåling besvarer spørgsmål om kausalitet: Hvordan går det (i gennemsnit) personer, der modtager en specifik indsats, i forhold til hvordan det ville være gået, hvis de ikke havde modtaget indsatsen? 6

7 7

8 8

9 TILFREDSHEDSUNDERSØGELSER OG EFTERMÅLINGER 90% af dem, der modtog behandlingen var tilfredse eller meget tilfredse men det siger ikke noget om effekten 75% af dem, der trænede havde et kondital på 40 men hvad var deres kondital før træningsprogrammet? Kan ikke bruges til effektmålinger 9

10 FØR-EFTERMÅLINGER Man måler inden man starter indsatsen (førmåling) og når indsatsen er udført (eftermåling) for hele målgruppen. Nok det mest anvendte undersøgelsesdesign og noget som vi alle bruger. 10

11 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Statistisk signifikant forskel p <

12 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Forskel mellem grupper er IKKE signifikant 12

13 HVORFOR RCT? Målgruppen Randomisering A B Indsats Måle udfald/outcome 13

14 RCT VERSUS ANDRE EFFEKTMETODER RCT er det design, der teoretisk set er bedst til at måle effekt Men det er ikke det eneste rigtige at gøre! Vi kan/skal bestemt ikke altid trække lod. Forskellige økonometriske metoder, der løser kontrolgruppe problematikken. 14

15 DATA Effektmåling kræver kvantificerbare data Fx beskæftigelse, uddannelse, livskvalitet, standardiserede testscores kan være fra registre eller surveys En RCT/effektmåling stiller store krav til dataindsamling ofte mange data over lang tid Der skal samles lige præcis de rigtige data ind ikke for mange og ikke for få og de skal være sammenlignelige med andre studier 15

16 EKSEMPEL ELI: Effekter af efteruddannelse af lærere i indskolingen RCT-studie i regi af Center for Strategisk Uddannelsesforskning Lærere fra klasser er randomiseret til 2 forskellige efteruddannelseskurser: - didaktik - klasserumsledelse 16

17 EKSEMPEL 3 målinger: Baseline sommer eftermåling: vinter eftermåling: sommer 2012 Data: Spørgeskemaer til lærere Standardiserede test til eleverne: psyko-social, læsning, koncentration 17

18 AFRUNDING Effektmåling på det sociale område er kommet for at blive Men skal bruges på den rigtige måde på den rigtige problemstilling, med den rigtige metode, og suppleret med mange andre slags viden Effektmålinger bruger næsten altid survey-data vi kan sjældent vente på registerdata som i øvrigt ikke indeholder den relevante information Saml de rigtige data ind på den rigtige måde! 18

19 19