MÅLING AF EFFEKTER METODE VERSUS DATA METTE DEDING
DISPOSITION Effektmålinger på det sociale område Forskellige metoder Forskellige data 2
HVORFOR EFFEKTMÅLING? Velfærdsstaten griber ind i flere og flere områder i forhold til borgere og virksomheder Ofte på et utroligt lille vidensgrundlag Det sociale område kan betragtes som et stort ukontrolleret forsøg Store mængder penge bliver brugt på indsatser som vi ikke kender effekten af. 3
HVORFOR EFFEKTMÅLING Øgede krav om evidens Dyre foranstaltninger uden viden om effekter i forhold til alternativer Den demografiske udvikling giver behov for mere evidens - Offentlig sektor får rekrutteringsproblemer - Mindre arbejdsstyrke mindsker finansiering - Behov for mere effektive løsninger 4
EFFEKTMÅLING I TIDEN Effektmåling er noget, der er oppe i tiden Vi vil gerne vide om de ting vi gør virker Men ordet effekt bliver brugt om mange ting Også ting der ikke kan kaldes effekt SFI oplever at mange udbud/projekter indeholder ønske om måling af effekter hvilket på den ene side er godt og på den anden side er mindre godt Man kunne ønske sig større fokus på hvad forskellige metoder kan bruges til og hvordan de komplimenterer hinanden 5
EFFEKTMÅLING SOM METODE Effektmåling besvarer spørgsmål om kausalitet: Hvordan går det (i gennemsnit) personer, der modtager en specifik indsats, i forhold til hvordan det ville være gået, hvis de ikke havde modtaget indsatsen? 6
7
8
TILFREDSHEDSUNDERSØGELSER OG EFTERMÅLINGER 90% af dem, der modtog behandlingen var tilfredse eller meget tilfredse men det siger ikke noget om effekten 75% af dem, der trænede havde et kondital på 40 men hvad var deres kondital før træningsprogrammet? Kan ikke bruges til effektmålinger 9
FØR-EFTERMÅLINGER Man måler inden man starter indsatsen (førmåling) og når indsatsen er udført (eftermåling) for hele målgruppen. Nok det mest anvendte undersøgelsesdesign og noget som vi alle bruger. 10
FØR-EFTERMÅLING AF LÆSE INTERVENTION 105 100 95 90 Indsats Kontrol 85 80 Før Efter Statistisk signifikant forskel p < 0.001 11
FØR-EFTERMÅLING AF LÆSE INTERVENTION 110 105 100 95 90 Indsats Kontrol 85 80 Før Efter Forskel mellem grupper er IKKE signifikant 12
HVORFOR RCT? Målgruppen Randomisering A B Indsats Måle udfald/outcome 13
RCT VERSUS ANDRE EFFEKTMETODER RCT er det design, der teoretisk set er bedst til at måle effekt Men det er ikke det eneste rigtige at gøre! Vi kan/skal bestemt ikke altid trække lod. Forskellige økonometriske metoder, der løser kontrolgruppe problematikken. 14
DATA Effektmåling kræver kvantificerbare data Fx beskæftigelse, uddannelse, livskvalitet, standardiserede testscores kan være fra registre eller surveys En RCT/effektmåling stiller store krav til dataindsamling ofte mange data over lang tid Der skal samles lige præcis de rigtige data ind ikke for mange og ikke for få og de skal være sammenlignelige med andre studier 15
EKSEMPEL ELI: Effekter af efteruddannelse af lærere i indskolingen RCT-studie i regi af Center for Strategisk Uddannelsesforskning Lærere fra 60 2. klasser er randomiseret til 2 forskellige efteruddannelseskurser: - didaktik - klasserumsledelse 16
EKSEMPEL 3 målinger: Baseline sommer 2011 1. eftermåling: vinter 2012 2. eftermåling: sommer 2012 Data: Spørgeskemaer til lærere Standardiserede test til eleverne: psyko-social, læsning, koncentration 17
AFRUNDING Effektmåling på det sociale område er kommet for at blive Men skal bruges på den rigtige måde på den rigtige problemstilling, med den rigtige metode, og suppleret med mange andre slags viden Effektmålinger bruger næsten altid survey-data vi kan sjældent vente på registerdata som i øvrigt ikke indeholder den relevante information Saml de rigtige data ind på den rigtige måde! 18
19