ALTERNATIVER TIL RANDOMISEREDE KONTROLLEREDE FORSØG: Mikro-økonometriske metoder. Jan Høgelund

Transkript

1 ALTERNATIVER TIL RANDOMISEREDE KONTROLLEREDE FORSØG: Mikro-økonometriske metoder Jan Høgelund

2 INDHOLD Introduktion Skitsering af udvalgte metoder med eksempler, styrker og svagheder Regressionsanalyse Matching Regression discountinuity Difference-in-difference 2

3 INTRODUKTION Alternativ til lodtrækningsforsøg: Kigge tilbage vha. eksisterende data Alternativt: være på forkant og indsamle masser af data Udgangspunktet: Ikke muligt at styre, hvem der deltager Indsats- og kontrolgruppe typisk ikke ens (= selektionsskævhed ) Metoderne anvendes til korrektion 3

4 INTRODUKTION FORMÅL At I får en intuitiv forståelse af metoderne for dermed at: Få bedre indsigt i, hvornår metoder kan anvendes som alternativ Få bedre forudsætninger for at vurdere validiteten af eksisterende undersøgelser 4

5 INTRODUKTION STORE KRAV TIL FAGLIGE FORUDSÆTNINGER Krav til anvendelse: Detaljeret indsigt i økonometri og databehandling Konsekvens: Formålet er ikke, at I skal blive i stand til selv at gennemføre analyserne 5

6 METODER TIL HÅNDTERING AF SYNLIGE /MÅLBARE FORSKELLE Indsats Udfald Målbare forhold 6

7 REGRESSIONSANALYSE - FORMÅL Sammenhæng med et eller flere forhold? Eksempel: Er der sammenhæng mellem andel piger i 9. klasse på en given skole og andel elever, der gennemfører en ungdomsuddannelse? 7

8 REGRESSIONSANALYSE - EKSEMPEL Andel elever, der gennemfører en ungdomsuddannelse Skoler Andel piger i 9. klasse 8

9 REGRESSIONSANALYSE - EKSEMPEL Andel elever, der gennemfører en ungdomsuddannelse Forventet andel elever, der gennemfører en ungdomsuddannelse givet andel piger i 9. kl. Skoler Andel piger i 9. klasse 9

10 REGRESSIONSANALYSE - EKSEMPEL Andel elever, der gennemfører en ungdomsuddannelse Forventet andel elever, der gennemfører en ungdomsuddannelse givet andel piger i 9. kl. Skoler Hældning udtrykker sammenhængen Andel piger i 9. klasse 10

11 REGRESSIONSANALYSE - EFFEKTMÅLING Effekt af vejledningsindsats som gives i udvalgte skoler Er der (positiv eller negativ) sammenhæng mellem at få vejledning og andel elever, der gennemfører en ungdomsuddannelse? Vi må tage hensyn til andelen af piger 11

12 REGRESSIONSANALYSE - EFFEKTMÅLING Eksempel: Effekt af forøget vejledningsindsats Andel elever, der gennemfører en ungdomsuddannelse Effekt af indsats Forventet andel elever, der gennemfører en ungdomsuddannelse givet andel piger i 9. kl. Skoler med indsats Skoler uden indsats Andel piger i 9. klasse 12

13 REGRESSIONSANALYSE SVAGHED = OMVENDT KAUSALITET Udfaldsmål kan have kausal effekt på indsats: Indsats Udfald Eksempel: Hvis især skoler med dårligt karaktergennemsnit gennemfører indsats: Skoler med indsats har systematisk lavere karaktergennemsnit end skoler uden indsats Kan være årsag til negativ sammenhæng mellem indsats og karaktergennemsnit 13

14 REGRESSIONSANALYSE SVAGHED = UDELADTE VARIABLER Ikke-målte variabler påvirker både indsats og udfald: Målbare/ikke målbare forhold Eksempel: Effekt af mindre klassestørrelse på elevpræstationer: Forældre med størst engagement kan være dem: der arbejder mest for at få små klasser der mere end andre sikrer bedst mulig lektiehjælp Indsats Udfald Hvis forældreengagement påvirker både elevpræstationer og klassestørrelse: Sammenhæng kan skyldes forældreengagement 14

15 REGRESSIONSANALYSE SVAGHED Statistisk sammenhæng mellem indsats og udfaldsmål Kausal effekt af indsats 15

16 MATCHING Indsatsgruppen Indsats Kontrol Indsats Kontrol Central ide: Personer i indsatsgruppe matches med en eller flere uden for indsatsgruppe baseret på målbare forhold = forsøg på efterligning af RCT Kontrolgruppe = udvalgte sammenligningspersoner Central antagelse: Når betinges på lang række målbare forhold => selektionsskævhed forsvinder => kausalt resultat opnås 16

17 MATCHING EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED Lars Skipper (2010): En mikroøkonometrisk evaluering af den aktive beskæftigelsesindsats (AKF) Fokus: Fuld population af aktiverede kontanthjælpsmodtagere med problemer ud over ledighed (match 4 og 5) i vinteren

18 MATCHING EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED Registerdata fra Arbejdsmarkedsstyrelsen, Danmarks Statistik og Sundhedsstyrelsen Oplysninger om: Kontaktforløb mellem ledig og sagsbehandler Sagsbehandlervurdering af fx søgeadfærd, risiko for langtidsledighed, matchindplacering og årsag hertil Arbejdsmarkedshistorie, indkomst, overførselsindkomster Alder, køn, samlivsstatus, nationalitet, uddannelse Diagnoser, hospitalsindlæggelse, køb af receptpligtig medicin 18

19 MATCHING EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED Matching anvendes til at konstruere sammenligningsgruppe af kontanthjælpsmodtagere Forudsætninger: Har alle oplysninger, der kan forventes at påvirke udfaldsmålet De to grupper er ikke så forskellige, at der ikke findes overlap 19

20 MATCHING EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED Indsatsgruppe: Kontanthjælpsmodtagere, der deltager i aktivering mellem to tremåneders samtaler omkring årsskiftet 2005/2006 Kontrolgruppe: Kontanthjælpsmodtagere, der i samme periode ikke deltager i aktivering 20

21 MATCHING EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED Sammenligning af indsats- og kontrolgruppe med matching: Der matches på lang række forhold knyttet til den enkelte kontanthjælpsmodtager af betydning for udfald, bl.a.: Demografiske forhold, arbejdsmarkedshistorik, sagsbehandlervurdering, sundhedsoplysninger => ren effekt af aktiveringsindsats beregnes eneste forskel mellem grupper: indsats/ikke indsats (forhåbentlig) 21

22 MATCHING EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED Analyse: Virker aktiveringen? Udfaldsmål: Tilknytning til arbejdsmarkedet (beskæftigelsesgrad og lønindkomst) Sum af offentlige overførsler Konklusion: Aktivering har ingen effekt, hverken på kort (3-6 mdr.) eller mellemlangt (op til tre år) sigt 22

23 MATCHING STYRKER OG SVAGHEDER Styrke: Mere fleksibel metode end regressionsanalyse: Sammenhæng ikke nødvendigvis lineær Heterogene effekter kan belyses bedre Potentielle svagheder: Hvis ikke-målbare forhold af betydning => misvisende resultater Hvis manglende overlap => behov for stort datamateriale for at finde éns grupper 23

24 METODER TIL HÅNDTERING AF USYNLIGE /IKKE-MÅLBARE FORSKELLE Indsats Udfald Målbare forhold Ikke-målbare forhold 24

25 REGRESSION DISCOUNTINUITY - ANVENDELSE Når deltagelse/ikke-deltagelse i indsats er bestemt af, om person ligger over/under grænseværdi for variabel, der er afgørende for modtagelse af indsats Eksempel: Ansatte på virksomhed, der har arbejdsrelateret stress og ligger på mindst 80 på en skala fra

26 REGRESSION DISCOUNTINUITY IDE OG INTUITION Ide: Sammenligning af personer, der ligger hhv. lige over og lige under grænseværdi = indsats- og kontrolgruppe Intuition: Personer i de to grupper er ikke forskellige, bortset fra, om de får en indsats. Argument: De er i høj grad ens mht. den variabel, der afgør om de får indsats 26

27 REGRESSION DISCOUNTINUITY Kausal effekt af indsats = spring i udfald ved grænseværdi Forudsætning = Ikke andre spring omkring grænseværdi, der kan påvirke udfaldsmål Tænkt eksempel: Indsatsgruppe består af elever, der har mindre end 50% rigtige i en given test (test1). Hvordan påvirker en given indsats disse elevers andel rigtige i ny test (test2)? 27

28 REGRESSION DISCOUNTINUITY EKSEMPEL Udfald: Andel rigtige i test2 Indsatskriterie: Andel rigtige i test1 28

29 REGRESSION DISCOUNTINUITY EKSEMPEL Udfald: Andel rigtige i test2 Indsatskriterie: Andel rigtige i test1 29

30 REGRESSION DISCOUNTINUITY EKSEMPEL Eksempel fra forskerverdenen (Leuven m.fl., 2007) Indsats = ekstra økonomiske midler til hollandske skoler med mange børn, der var etniske minoriteter eller havde forældre med et lavt uddannelsesniveau Indsatskriterie = Mindst 70% af eleverne opfyldte krav Formål: at forbedre elevers præstationer på udvalgte skoler 30

31 REGRESSION DISCOUNTINUITY EKSEMPEL Eksempel (Leuven m.fl., 2007) Fremgangsmåde: Sammenligne skoler, der fik ekstra midler med skoler, der ikke fik disse midler Sammenligne før og efter introduktion af program (plus/minus 5% og 10% omkring de 70%) Resultat: ingen klar effekt svag tendens til negativ effekt 31

32 REGRESSION DISCOUNTINUITY POTENTIELLE SVAGHEDER Vanskeligheder, hvis sammenhæng mellem indsatskriterie og udfaldsmål er ikke-lineær Der er ingen værdier for indsatskriterie, hvor der både er personer i indsats- og kontrolgruppe Kun effekt omkring grænseværdien 32

33 DIFFERENCE-IN-DIFFERENCES Paneldatametode: Bygger på data, hvor hver person (eller aldersgruppe eller skole eller etc.) er observeret mindst to gange over tid Tid Datamateriale: To grupper, hvoraf kun den ene modtager en indsats mellem de to observationstidspunkter Tid Tid 33

34 DIFFERENCE-IN-DIFFERENCES - IDÉ De to grupper kan være forskellige på målbare forhold De gruppespecifikke gennemsnit for udfaldsmål kan være forskellige i fravær af indsats Men: Forskel kan differentieres ud Trække ændring for kontrolgruppe fra ændring for indsatsgruppe Tilbageværende forskel = kausal effekt 34

35 DIFFERENCE-IN-DIFFERENCES EKSEMPEL: JENSEN OG NIELSEN (2010) Effekt af UU-vejledning på påbegyndelse af ungdomsuddannelse C = (Indsatsgruppe efter -indsatsgruppe før ) (kontrolgruppe efter -kontrolgruppe før ) 35

36 DIFFERENCE-IN-DIFFERENCES EKSEMPEL : JENSEN OG NIELSEN (2010) Brug af kontrolvariabler som elevsammensætning, familiestatus, mors alder ved fødsel, mors uddannelse, antal uddannelsestilbud i kommunen, ledighed i kommunen, m.m. Tager højde for årgangsforskelle Fx vil regeringens budskab om, at unge skal hurtigere i gang med en uddannelse påvirke begge grupper ens => påvirker ikke det endelige resultat => Resultater af DiD kan fortolkes som egentlige årsagssammenhænge 36

37 DIFFERENCE-IN-DIFFERENCES ANTAGELSER Gruppespecifikke udviklingstræk for udfaldsmål ville have været være ens (= parallelle) i fravær af indsats, dvs. forskel skal være konstant over tid Før-måling må ikke være påvirket af fremtidig indsats (annonceringseffekt) Der må ikke samtidig med indsatsen være andre ændringer af betydning for adfærd, der påvirker de to grupper forskelligt 37

38 DIFFERENCE-IN-DIFFERENCES STYRKER OG SVAGHED Styrker: anvender kontrolgruppe tager højde for gruppespecifikke uobserverbare forhold, der er konstante over tid Potentiel svaghed: men tager ikke højde for uobserverbare forhold, der varierer over tid 38

39 OPSAMLING ÉN METODE, der kan løse alle udfordringer, FINDES IKKE Regressionsanalyse og matching: Fortolkes med forsigtighed, især overveje ikke-målbare forholds betydning Brug af regression discountinuity: Naturlige eksperimenter kræver diskontinuitet i indsatsvariabel Differences-in-differences: Kan tage højde for individ- eller gruppespecifikke ikkemålbare forhold, der er konstante over tid 39

40 Hvad er forudsætningen for at lave en effektmåling Veldefineret indsats Veldefineret (stor) målgruppe Veldefineret (stor) kontrolgruppe Målbare effekter Data for BÅDE indsatsgruppe og kontrolgruppe Effektmål Oplysninger til brug for korrektion af forskelle => MANGE data skal indsamles for både indsatsgruppe og kontrolgruppe 40