EFFEKTMÅLING AF SOCIALE INDSATSER MAIKEN PONTOPPIDAN SFI DET NATIONALE FORSKNINGSCENTER FOR VELFÆRD
MEGET BRUGTE ORD Effekt Evidens Dokumentation Krav om effekt og dokumentation fylder meget i kommuner, ministerier, organisationer, mm. 2
EFFEKTMÅLINGER besvarer spørgsmål om kausalitet: Hvordan går det (i gennemsnit) personer, der modtager en specifik indsats, i forhold til hvordan det ville være gået, hvis de ikke havde modtaget indsatsen? 3
KAUSAL EFFEKT HVAD KAN GÅ GALT? Enkelt at undersøge, om der er en sammenhæng eller korrelation mellem indsats og udfaldsmål men den kan ikke nødvendigvis fortolkes som en kausal effekt at det er netop A der giver B Eksempler: Antal storke og børnefødsler Alkoholindtagelse og lungecancer 4
KAUSAL EFFEKT FORMÅL MED EFFEKTMÅLING: At finde den kausale effekt af indsats på udfaldsmål 5
6
HVORFOR EFFEKTMÅLING? Vi gerne vil vide, om det vi gør, rent faktisk hjælper Vi gerne vil bruge de tilgængelig ressourcer på den bedste måde (penge, tid) Og fordi vi gerne vil sikre os, at indsatserne ikke har en skadelig virkning. 7
HVORFOR ER DET VIGTIGT MED EFFEKTMÅLING? 8
HVORFOR ER DET VIGTIGT MED EFFEKTMÅLING? 9
STOR EFTERSPØRGSEL PÅ EFFEKTMÅLINGER Tilfredshedsmålinger: 90% af dem, der modtog behandlingen var tilfredse eller meget tilfredse Eftermålinger: 75% af dem, der trænede havde et kondital på 40 det siger ikke noget om effekten 10
FØR-EFTERMÅLING AF LÆSE INTERVENTION 105 100 95 90 Indsats Kontrol 85 80 Før Efter Statistisk signifikant forskel p < 0.001 11
FØR-EFTERMÅLING AF LÆSE INTERVENTION 110 105 100 95 90 Indsats Kontrol 85 80 Før Efter Forskel mellem grupper er IKKE signifikant 12
HVAD ER PROBLEMET MED FØR-EFTER MÅLINGER? Man ved ikke om ændringen skyldes indsatsen eller noget helt andet Ændringerne kan skyldes: Modning/spontan remission Regression mod gennemsnittet EFFEKTMÅLING MAIKEN PONTOPPIDAN 21-03-2013 13
MODNING/SPONTAN REMISSION Mennesker er ikke statiske de udvikler sig over tid indsats eller ej! Eksempler: Unge kriminelle bliver mindre kriminelle med alderen også uden at man gør noget Man kan få det bedre, mens man står på venteliste men det er næppe effekt af ventelisten! 14
REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før 15
REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før Efter 16
REGRESSION MOD GENNEMSNITTET - EKSEMPLER Sammenhæng mellem forældres og børns højde Effekt af at få ros på pilotelevers landinger 17
MÅLINGER UDEN KONTROLGRUPPE Pas på med tolkninger det er udviklingstendenser og IKKE nødvendigvis kausale effekter For at kunne lave en effektmåling SKAL der være en kontrolgruppe 18
FORUDSÆTNINGER FOR EFFEKTMÅLING Veldefineret indsats Veldefineret (stor) målgruppe Veldefineret (stor) kontrolgruppe Målbare effekter Data for BÅDE indsatsgruppe og kontrolgruppe Effektmål Oplysninger til brug for korrektion af forskelle => MANGE data skal indsamles for både indsatsgruppe og kontrolgruppe 19
EFFEKTMÅL Nogle er tilgængelige i registre fx ledighed, uddannelse, medicin, diagnoser Mange er ikke tilgængelige fx trivsel, alkoholforbrug, smerter, stress, IQ Hvis kommunerne i højere grad anvender måleskalaer/testredskaber vil de data kunne bruges 20
TO HOVEDTYPER AF METODER TIL EFFEKTMÅLING RANDOMISEREDE KONTROLLEREDE FORSØG Designes før indsatsen sættes i værk Data indsamles undervejs Via randomisering styrer man, hvem der får en indsats Indsats- og kontrolgruppe kan umiddelbart sammenlignes MIKRO-ØKONOMETRISKE METODER Kan bruges både før og efter indsats er gennemført Kan anvende eksisterende data Ikke muligt at styre, hvem der deltager Indsats- og kontrolgruppe er typisk ikke ens - metoderne anvendes til at korrigere for forskelle 21
KONTROLGRUPPE - SELEKTIONSSKÆVHED Kontrolgruppe afviger systematisk fra indsatsgruppe på forhold af betydning for udfald => Selektionsskævhed Vi måler ikke den rene effekt af indsatsen Udfaldsmål Faktisk effekt af indsats Selektionsskævhed Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb Kontrolgruppe Indsats Tid 22
SELEKTIONSSKÆVHED HVORNÅR? Eksempler Kommuner: Ishøj sammenlignet med Gentofte Unge på forskellige uddannelser, fx gymnasium vs. HTX Skoler i forskellige boligområder 23
HVORFOR RCT? Målgruppen Randomisering A B Indsats Måle udfald/outcome 24
HVORFOR RCT? Når personer fordeles tilfældigt til to eller flere grupper vil både de kendte og de ukendte forhold fordele sig ligeligt i grupperne => vi sikrer os at indsatsgruppe og kontrolgruppe er sammenlignelige => Dermed får vi mulighed for at sige noget om det kontrafaktiske forløb og om effekten af interventionen 25
ETISKE PROBLEMSTILLINGER Er det uetisk, at det er en lodtrækning der afgør, om man skal have behandling eller ej? Sjældent at kontrolgruppen ikke bliver tilbudt nogen behandling overhovedet. Oftest får kontrolgruppen den standard behandling, der er på området. Det man tilbyder indsatsgruppen kan betragtes som noget ekstra oven i standard behandlingen. 26
RCT OG POLITIK Voter turnout (fx Donald Green USA) Breve, besøg, tv kampagner, pride/shame Behavioural Insights Team (Nudge team) England SOCIAL NORMS: investigates whether informing people that the vast majority of those in their area have already paid their tax can significantly boost payment rates. SALIENT IMAGES: investigates whether using images captured by the Driver and Vehicle Licensing Agency can help to reduce unnecessary repeat correspondence and encourage prompt payment of fines. PERSONALISED TEXT MESSAGES: tests the impact of sending more personalised text messages on people s propensity to pay court-ordered fines. TONE OF LETTERS: explores the effectiveness of different types of communication in encouraging plumbers to get their tax affairs up to date. 27
MIKROØKONOMETRISKE METODER Alternativer til randomisering: Matching Instrumentvariabel (IV) Regression discountinuity (RD) Interrupted time series Fixed effects Difference-in-differences (Dif-in-dif) 28
MATCHING Kontrol Indsatsgruppen Indsats Indsats Kontrol Personer i indsatsgruppe matches med en eller flere uden for indsatsgruppe baseret på målbare forhold = forsøg på efterligning af RCT => selektionsskævhed forsvinder => kausalt resultat opnås 29
MATCHING STYRKER OG SVAGHEDER Styrke: Mere fleksibel metode end regressionsanalyse: Sammenhæng ikke nødvendigvis lineær Heterogene effekter kan belyses bedre Potentielle svagheder: Hvis ikke-målbare forhold af betydning => misvisende resultater Hvis manglende overlap => behov for stort datamateriale for at finde éns grupper 30
INSTRUMENTVARIABEL - IV At finde variation i tilgang til indsats, der stammer fra variabel, som ikke korrelerer med udfaldsmål Fx rygning i forhold til helbred Instrument: niveau af afgifter på tobak Har indflydelse på hvor meget man ryger men ikke på helbred Ikke-målbare forhold Instrument FORUDS. 1 Indsats Udfaldsmål FORUDSÆTNING 2 21-03-2013 EFFEKTMÅLING MAIKEN PONTOPPIDAN 31
IV - SVAGHEDER Kan være meget vanskeligt at finde et brugbart instrument Resultat gælder kun for personer, der ændrer adfærd som følge af instrumentet 32
REGRESSION DISCOUNTINUITY - ANVENDELSE Sammenligning af personer, der ligger hhv. lige over og lige under grænseværdi = indsats- og kontrolgruppe Personer i de to grupper er ikke forskellige, bortset fra, om de får en indsats. Eksempel: Ansatte på virksomhed, der har arbejdsrelateret stress og ligger på mindst 80 på en skala fra 1-100 33
Udfald: Andel rigtige i test2 REGRESSION DISCOUNTINUITY EKSEMPEL Indsatskriterie: Andel rigtige i test1 34
Udfald: Andel rigtige i test2 REGRESSION DISCOUNTINUITY EKSEMPEL Indsatskriterie: Andel rigtige i test1 35
REGRESSION DISCOUNTINUITY POTENTIELLE SVAGHEDER Vanskeligheder, hvis sammenhæng mellem indsatskriterie og udfaldsmål er ikke-lineær Der er ingen værdier for indsatskriterie, hvor der både er personer i indsats- og kontrolgruppe Kun effekt omkring grænseværdien 36
INTERRUPTED TIME-SERIES Man udnytter en ændring der sker en ændring over tid Man har data før og efter ændring gerne mange 37
FIXED EFFECTS Paneldatametode - alle er observeret mindst to gange over tid Tid Nogle modtager indsats, andre ikke Uobserverbare forhold der er konstante over tid bliver fixed ved at man fokuserer på ændringer over tid og identificerer effekt ud fra dem 38
DIFFERENCE-IN-DIFFERENCES Paneldatametode - alle er observeret mindst to gange over tid Tid To grupper, hvoraf kun den ene modtager en indsats mellem de to observationstidspunkter Forskel mellem grupper differentieres ud Tid Tid 39
DIFFERENCE-IN-DIFFERENCES Effekt af UU-vejledning på påbegyndelse af ungdomsuddannelse 40
FIXED EFFECTS OG DIF-IN-DIF - SVAGHED Tager højde for gruppespecifikke uobserverbare forhold, der er konstante over tid men tager ikke højde for uobserverbare forhold, der varierer over tid 41
OPSAMLING ÉN METODE, der kan løse alle udfordringer, FINDES IKKE Randomiser hvis du kan løser rigtig mange problemer Regressionsanalyse og matching: Fortolkes med forsigtighed, især ikke-målbare forholds betydning Brug af instrumentvariabel og regression discountinuity: Naturlige eksperimenter kræver instrument for eller diskontinuitet i indsatsvariabel Fixed effects og Differences-in-differences: Kan tage højde for individ- eller gruppespecifikke ikke-målbare forhold, der er konstante over tid 42
SPØRGSMÅL? MPO@SFI.DK 43