HVAD ER EN EFFEKTMÅLING? Mette Deding
TILFREDSHEDSUNDERSØGELSER OG EFTERMÅLINGER 90% af dem, der modtog behandlingen var tilfredse eller meget tilfredse men det siger ikke noget om effekten 75% af dem, der trænede havde et kondital på 40 men hvad var deres kondital før træningsprogrammet? Kan ikke bruges til effektmålinger 2
FØR-EFTERMÅLINGER Man måler inden man starter indsatsen (førmåling) og når indsatsen er udført (eftermåling) for hele målgruppen. Nok det mest anvendte undersøgelsesdesign og noget som vi alle bruger. 3
FØR-EFTERMÅLING AF LÆSE INTERVENTION 105 100 95 90 Indsats Kontrol 85 80 Før Efter Statistisk signifikant forskel p < 0.001 4
FØR-EFTERMÅLING AF LÆSE INTERVENTION 110 105 100 95 90 Indsats Kontrol 85 80 Før Efter Forskel mellem grupper er IKKE signifikant 5
HVAD ER PROBLEMET MED FØR-EFTER MÅLINGER? Man ved ikke om ændringen skyldes indsatsen eller noget helt andet Ændringerne kan skyldes: Modning/spontan remission Regression mod gennemsnittet HVAD ER EFFEKTMÅLING? 04-04-2013 6
MODNING/SPONTAN REMISSION Mennesker er ikke statiske de udvikler sig over tid indsats eller ej! 7
MODNING/SPONTAN REMISSION - EKSEMPLER Unge kriminelle bliver mindre kriminelle med alderen også uden at man gør noget 8
MODNING/SPONTAN REMISSION - EKSEMPLER Man kan få det bedre, mens man står på venteliste men det er næppe effekt af ventelisten! Personer går til lægen med forkølelse, når de har det værst. Men får de det bedre pga. af behandlingen eller blot fordi tiden går? Smitte Symptom Tid 9
REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling 10
REGRESSION MOD GENNEMSNITTET NORMALFORDELING Model for, hvordan mange af de udfald vi vil måle, fordeler sig omkring gennemsnittet gennemsnit 11
REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før 12
REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før Efter 13
REGRESSION MOD GENNEMSNITTET - EKSEMPLER Sammenhæng mellem forældres og børns højde Effekt af at få ros på pilotelevers landinger 14
FØR-EFTERMÅLING Der er brug for at få lavet før-eftermålinger af indsatser i Danmark Og det kan forholdsvis nemt gøres i praksis Men pas på med tolkninger det er udviklingstendenser og IKKE effekter 15
KAUSAL EFFEKT FORMÅL MED EFFEKTMÅLING: At finde den kausale effekt af indsats på udfaldsmål 16
17
KAUSAL EFFEKT HVAD KAN GÅ GALT? Enkelt at undersøge, om der er en sammenhæng eller korrelation mellem indsats og udfaldsmål En sådan sammenhæng kan imidlertid ikke nødvendigvis fortolkes som en kausal effekt at det er netop A der giver B Eksempler: Antal storke og børnefødsler Alkoholindtagelse og lungecancer 18
INDSATS- OG KONTROLGRUPPE Indsatsgruppen består af personer, der modtager indsatsen Kontrolgruppen består af personer, der ikke modtager indsatsen For at kunne tale om en effektmåling SKAL der være en form for kontrolgruppe 19 HVAD ER EN EFFEKTMÅLING? 04-04-2013 19
SELEKTIONSSKÆVHED HVAD ER PROBLEMET? Systematiske forskelle mellem personer i hhv. indsats- og kontrolgruppe => personer, der udtages til deltagelse, kan ikke sammenlignes direkte med de personer, der ikke deltager, hvis den målte effekt er påvirket af, at personerne er forskellige fordi det dermed ikke er den rene effekt af indsatsen, der måles 20
SELEKTIONSSKÆVHED HVORNÅR? Eksempler Kommuner: Ishøj sammenlignet med Gentofte Unge på forskellige uddannelser, fx gymnasium vs. HTX Skoler i forskellige boligområder 21
SELEKTIONSSKÆVHED HVORNÅR? Opstår, når man ikke har et retvisende billede af den kontrafaktiske situation: Udfaldsmål Indsats Effekt af indsats = det vi vil måle MEN kontrafaktisk forløb ukendt Tid Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb 22
SELEKTIONSSKÆVHED HVORNÅR? Hvis vi bruger kontrolgruppe som mål for kontrafaktisk situation, der afviger systematisk fra indsatsgruppe på forhold af betydning for udfald: Udfaldsmål Målte effekt af indsats Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb Kontrolgruppe Indsats Tid 23
SELEKTIONSSKÆVHED HVORNÅR? I eksempel: En del af målt effekt kan tilskrives selektionsskævhed => Vi måler ikke den rene effekt Udfaldsmål Faktisk effekt af indsats Selektionsskævhed Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb Kontrolgruppe Indsats Tid 24
TO HOVEDTYPER AF METODER TIL EFFEKTMÅLING RANDOMISEREDE KONTROLLEREDE FORSØG Designes før indsatsen sættes i værk Data indsamles undervejs Via randomisering styrer man, hvem der får en indsats Indsats- og kontrolgruppe kan umiddelbart sammenlignes MIKRO-ØKONOMETRISKE METODER Kan bruges både før og efter indsats er gennemført Kan anvende eksisterende data Ikke muligt at styre, hvem der deltager Indsats- og kontrolgruppe er typisk ikke ens - metoderne anvendes til at korrigere for forskelle 25