Kommunale data og økonomiske analyser Hvilke muligheder er der i de kommunale data for at måle effekt (og omkostningseffektivitet?) Professor Dorte Gyrd-Hansen Leder, Center for Sundhedsøkonomisk Forskning (COHERE), Syddansk Universitet E-mail: dgh@sam.sdu.dk; Twitter: @DorteGyrd @COHERE_SDU
Effekt analyse En præmis for enhver økonomisk analyse Økonomer interesserer sig ført og fremmest for at se på effekter Økonomiske effekter, er jo blot endnu et outcome. 24-10-2016 2
Centralt kriterie: kausalitet Til forskel fra ASSOCIATION Meget lettere at afdække associationer, end at finde beviser for kausalitet X X Y Y 24-10-2016 3
Fokus for indlæg Tricks til at afdække kausalitet Difference-in-difference (diff-in-diff) Regression discontinuity design (RDD) Instrument variable (IV) Eksempler er valgt ud fra illustrative kriterier Variationsanalyser Knap så stærkt et design, men det kan være OK (særligt hvis der er tale om panel data). Eksempler fra kommunen
Naturlige eksperimenter detektiv arbejde! Ofte har vi ikke adgang til data fra randomiserede kontrollerede studier. RCTer har den fordel at vi kan variere X (vores treatment) helt uafhængigt at andre faktorer. Dermed udelukker vi at Y X, eller Z X OG Z Y og kan derfor konklude at en association mellem X og Y må skyldes X Y Når vi spejder efter naturlige eksperimenter så prøver vi at finde naturlige scenarier hvor X varieres grundet eksogene faktorer. 24-10-2016 5
Lodtrækning i real life Det sker at vi opererer med tilfældige allokeringer af ressourcer, eller opererer med tilfældige tærskelværdier Er det tilfældet så har vi en naturlig RCT Lad os se på nogle eksempler 24-10-2016 6
Betyder nabolag noget for mental sundhed? Normalt svært at afgøre for måske havner man i et dårligt nabolig fordi man har problemer med mental sundhed. Selv ved tidsserie analyse hvor vi kan se fremadrettet udvikling af mental sundhed - er det svært at afvise at det er uobserverbare personlighedstræk, der driver både valg af nabolag og senere udvikling af mental sundhed. Naturligt lodtrækningsforsøg: Boligløse i København: lokal sagsbehandler indstiller boligløse til bolig i København De sættes på venteliste til social bolig ved Den Boligsociale Anvisning Der anvises til social bolig efter kø-princip, og dermed tilfældigt. 24-10-2016 7
Does changing neighborhood affect mental health? Evidence from randomized social housing allocation af Jane Greve, KORA + medforfattere (difference-in-difference)
Difference-in-difference Sammenligner ændringer over tid mellem interventionsgruppe og kontrolgruppe Man se således på om der er en forskel i den tidsmæssige ændring. Der er dobbelt kontrol idet man leder objektet være sin egen kontrol, og samtidig opererer med en kontrol gruppe. Bruges når der er tilfældig randomisering i feltet. Nul-hypotesen må naturligvis være at den tidsmæssige ændring er den samme for de to grupper der sammenlignes.
Endnu et trick. Tilfældige tærskelværdier Klinisk eksempel, men måske har I lignende arbitrære regler i kommunerne. I Holland (og andre lande) har man fastsat at grænsen for en for tidlig fødsels er fødsel før 38. gestationsuge. Sådan et præcist cut-off vil altid være mere eller mindre arbitrær.
Ydelse på hver side af fødsel før og efter 37 fulde gestationsuger gravide ikke i risikogruppe
Heterogeneous Effects of Medical Interventions on the Health of Low-Risk Newborns (Daysal, Trandafir, Ewijk (2006)) Ser at der er positiv effekt på Apgar score og dødelighed af at være født i 37. uge snarere end 38. uge blandt kvinder med lav indkomst Indikerer at der er en effekt af intensiv indsats for denne gruppe og at bør overveje mere generel intensiv indsats.
Effekt af øgning i social hjælp (+55%) når enlige uden børn fylder 25 (Anders Bruun Jonassen, 2013, SFI) Antal af personer (andel) på social-hjælp
Regression discontinuity modeller Metoden kræver ikke en policy ændring, men tilstedeværelse af en policy regel. Er denne regel gældende i mange år, så kan man udelukke at det er andre politikker der har forstyrret billedet. Man skal kigge efter arbitrære regler, og se om man kan lære af dem
Instrument variable Når vi skal søge at finde en kausal sammenhæng mellem X og Y, står vi ofte overfor problemet med at Z kan påvirke både X og Y. Hvis det er Z der driver værket, så observerer vi blot en association mellem X og Y, og der er ikke tale om kausalitet. Hvordan afdækker vi om der er en direkte effekt af X på Y (foruden den effekt der måtte være af Z på begge) En mulig løsning er at benytte sig af en instrument variabel Det velegnede instrument kommer af det naturlige eksperiment.
Instrument variabel - eksempel 1 Påvirker aldersmæssig afstand mellem børn (X) karakterer i skolen (Y)? Problem: forældre har indvirkning på både X og Y, en sammenhæng er måske blot en association drevet af forældretype Instrument variable: En variabel der er stærkt korreleret med X men som ikke teoretisk kan påvirke Y. Muligt forslag: Spontan abort Spontan abort mellem barn 1 og barn 2 er korreleret med længere afstand mellem børnene. Spontan abort (som ikke er forårsaget af livsstil) er eksogen og derfor ikke associeret med forældre type, og dermed heller ikke uddannelse LØSNING: Estimer sammenhængen mellem karakterer og den forventede længde mellem børn (som funktion af spontan abort)
Instrument variabel- eksempel 2 Valide instrumenter oprinder typisk fra naturligt experiment tilfældige hændelser Rygning sundhed? Problem 1: Andre faktorer kan påvirke både rygning og sundhed Problem 2: Sundhed kan påvirke rygning Instrument skat på cigaretter? Test for om skatten er associeret med ændring i rygning. Forudsig ændring i rygning som funktion af skat. Find sammenhæng mellem denne forventede ændring i rygning og sundhed Da skat er eksogen, og skat ikke kan påvirke sundhed direkte, så vil en association være kausal.
Variationsanalyse Lidt mere enkelt, ikke helt vandtæt Variations analyse kan indikerer at vi har at gøre med et naturligt eksperiment. Hvis vi kan se at der er variation i Y erne så kunne det være givtigt at se på om der er systematisk variation i X erne. Særligt hvis variationen i X erne ændrer sig over tid så kan vi komme tættere på kausal sammenhæng, idet vi kan antage at mange andre faktorer er konstante Dermed udelukker vi at Y X, eller Z X OG Z Y og kan derfor konklude at en association mellem X og Y må skyldes X Y
Kan kommunerne forebygge unødvendige sygehusindlæggelser blandt ældre? Betina Højgaard (KORA) og Jørgen Lauridsen (COHERE) Y: Undgåelige indlæggelser blandt +65 årige X. Niveauet af sociale ydelser I kommunen rettet (primært) mod + 65 årige Panel data 2000-2005. Vigtigt for at kontrollere for kommune effekter. Sammenhæng mellem X og Y kan gå begge veje. Hvis vi ser en nedgang i Y som funktion af X så er det et underestimat.
Kommune- og hospitals data
Resultater
Variationsanalyse på social området Kim Rose Olsen, COHERE Analyse Et igangværende projekt. Afdækning af forskelle i kommunernes praksis på det sociale område. Brug af register data Særlig fokus på rehabiliteringsindsatser til voksne med hjerneskade.
Konklusion Meget er muligt. Men det er nødvendigt med naturlig (tilfældig) variation. Vi kan så vidt muligt sandsynliggøre kausalitet (aldrig fuldt ud bevise den). Kunsten er at gøre et så godt job som muligt! I kommunerne ligger variation, tilfældige randomiseringer, tærskelværdier. Det handler om at være kreativ!