HVAD ER EN EFFEKTMÅLING? Mette Deding

Transkript

1 HVAD ER EN EFFEKTMÅLING? Mette Deding

2 TILFREDSHEDSUNDERSØGELSER OG EFTERMÅLINGER 90% af dem, der modtog behandlingen var tilfredse eller meget tilfredse men det siger ikke noget om effekten 75% af dem, der trænede havde et kondital på 40 men hvad var deres kondital før træningsprogrammet? Kan ikke bruges til effektmålinger 2

3 FØR-EFTERMÅLINGER Man måler inden man starter indsatsen (førmåling) og når indsatsen er udført (eftermåling) for hele målgruppen. Nok det mest anvendte undersøgelsesdesign og noget som vi alle bruger. 3

4 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Statistisk signifikant forskel p <

5 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Forskel mellem grupper er IKKE signifikant 5

6 HVAD ER PROBLEMET MED FØR-EFTER MÅLINGER? Man ved ikke om ændringen skyldes indsatsen eller noget helt andet Ændringerne kan skyldes: Modning/spontan remission Regression mod gennemsnittet HVAD ER EFFEKTMÅLING?

7 MODNING/SPONTAN REMISSION Mennesker er ikke statiske de udvikler sig over tid indsats eller ej! 7

8 MODNING/SPONTAN REMISSION - EKSEMPLER Unge kriminelle bliver mindre kriminelle med alderen også uden at man gør noget 8

9 MODNING/SPONTAN REMISSION - EKSEMPLER Man kan få det bedre, mens man står på venteliste men det er næppe effekt af ventelisten! Personer går til lægen med forkølelse, når de har det værst. Men får de det bedre pga. af behandlingen eller blot fordi tiden går? Smitte Symptom Tid 9

10 REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling 10

11 REGRESSION MOD GENNEMSNITTET NORMALFORDELING Model for, hvordan mange af de udfald vi vil måle, fordeler sig omkring gennemsnittet gennemsnit 11

12 REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før 12

13 REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før Efter 13

14 REGRESSION MOD GENNEMSNITTET - EKSEMPLER Sammenhæng mellem forældres og børns højde Effekt af at få ros på pilotelevers landinger 14

15 FØR-EFTERMÅLING Der er brug for at få lavet før-eftermålinger af indsatser i Danmark Og det kan forholdsvis nemt gøres i praksis Men pas på med tolkninger det er udviklingstendenser og IKKE effekter 15

16 KAUSAL EFFEKT FORMÅL MED EFFEKTMÅLING: At finde den kausale effekt af indsats på udfaldsmål 16

17 17

18 KAUSAL EFFEKT HVAD KAN GÅ GALT? Enkelt at undersøge, om der er en sammenhæng eller korrelation mellem indsats og udfaldsmål En sådan sammenhæng kan imidlertid ikke nødvendigvis fortolkes som en kausal effekt at det er netop A der giver B Eksempler: Antal storke og børnefødsler Alkoholindtagelse og lungecancer 18

19 INDSATS- OG KONTROLGRUPPE Indsatsgruppen består af personer, der modtager indsatsen Kontrolgruppen består af personer, der ikke modtager indsatsen For at kunne tale om en effektmåling SKAL der være en form for kontrolgruppe 19 HVAD ER EN EFFEKTMÅLING?

20 SELEKTIONSSKÆVHED HVAD ER PROBLEMET? Systematiske forskelle mellem personer i hhv. indsats- og kontrolgruppe => personer, der udtages til deltagelse, kan ikke sammenlignes direkte med de personer, der ikke deltager, hvis den målte effekt er påvirket af, at personerne er forskellige fordi det dermed ikke er den rene effekt af indsatsen, der måles 20

21 SELEKTIONSSKÆVHED HVORNÅR? Eksempler Kommuner: Ishøj sammenlignet med Gentofte Unge på forskellige uddannelser, fx gymnasium vs. HTX Skoler i forskellige boligområder 21

22 SELEKTIONSSKÆVHED HVORNÅR? Opstår, når man ikke har et retvisende billede af den kontrafaktiske situation: Udfaldsmål Indsats Effekt af indsats = det vi vil måle MEN kontrafaktisk forløb ukendt Tid Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb 22

23 SELEKTIONSSKÆVHED HVORNÅR? Hvis vi bruger kontrolgruppe som mål for kontrafaktisk situation, der afviger systematisk fra indsatsgruppe på forhold af betydning for udfald: Udfaldsmål Målte effekt af indsats Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb Kontrolgruppe Indsats Tid 23

24 SELEKTIONSSKÆVHED HVORNÅR? I eksempel: En del af målt effekt kan tilskrives selektionsskævhed => Vi måler ikke den rene effekt Udfaldsmål Faktisk effekt af indsats Selektionsskævhed Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb Kontrolgruppe Indsats Tid 24

25 TO HOVEDTYPER AF METODER TIL EFFEKTMÅLING RANDOMISEREDE KONTROLLEREDE FORSØG Designes før indsatsen sættes i værk Data indsamles undervejs Via randomisering styrer man, hvem der får en indsats Indsats- og kontrolgruppe kan umiddelbart sammenlignes MIKRO-ØKONOMETRISKE METODER Kan bruges både før og efter indsats er gennemført Kan anvende eksisterende data Ikke muligt at styre, hvem der deltager Indsats- og kontrolgruppe er typisk ikke ens - metoderne anvendes til at korrigere for forskelle 25