Connie Nielsen Peter Thisted Dinesen Lars Benjaminsen Jens Bonke INTRODUKTION TIL EFFEKT- MÅLING AF SATSPULJEPROJEKTER

Transkript

1 Connie Nielsen Peter Thisted Dinesen Lars Benjaminsen Jens Bonke INTRODUKTION TIL EFFEKT- MÅLING AF SATSPULJEPROJEKTER

2 INTRODUKTION TIL EFFEKTMÅLING AF SATSPULJEPROJEKTER Peter Thisted Dinesen Connie Nielsen Lars Benjaminsen Jens Bonke KØBENHAVN 2007 SOCIALFORSKNINGSINSTITUTTET

3 INTRODUKTION TIL EFFEKTMÅLING AF SATSPULJEPROJEKTER Afdelingsleder: Ole Gregersen Afdelingen for Socialpolitik og velfærdsydelser ISSN: Layout: Hedda Bank 2007 Socialforskningsinstituttet Socialforskningsinstituttet Herluf Trolles Gade København K Tlf sfi@sfi.dk Socialforskningsinstituttets publikationer kan frit citeres med tydelig angivelse af kilden. Skrifter, der omtaler, anmelder, henviser til eller gengiver Socialforskningsinstituttets publikationer, bedes sendt til instituttet.

4 I manualen Effektmåling har vi beskrevet forskellige metoder til at foretage effektmålinger af projekter under SATS-puljen. 1 Hvor formålet med manualen har været en grundig gennemgang af principperne bag effektmåling, sigter denne introduktion mod at give en overordnet indføring i effektmålingstankegangen. Det er således hensigten på en kortfattet, ikke matematisk måde at øge forståelsen for de forskellige effektmålingsmetoder, idet dette gerne skulle bidrage til at udforme gode bestillinger af effektmålinger. Det betyder, at manualens klassifikationsskema, som er udviklet til valg af metoder, er gengivet her med det formål at blive anvendt til en umiddelbar vurdering af, om et konkret projekt bør effektmåles og i givet fald efter hvilken metode. HVAD ER EFFEKTMÅLING OG HVORFOR ER DET RELEVANT? I kølvandet på den stigende interesse for effektmåling er der fulgt forskellige opfattelser af, hvad dette begreb dækker over. Det er i den forbindelse vigtigt at pointere, at det, vi her forstår som effektmåling, er en måling af, om de resultater, der opnås med en given socialpolitisk indsats, skyldes selve indsatsen. Hvor Performance Management anvendes til at monitorere implementeringen af en indsats fra input over aktiviteter til umiddelbare produkter, og til at vurdere mulige resultater i form af forandringer i borgerens livssituation på kort og langt sigt, har effektmålinger fokus på virkningen af indsatsen. Performance Management kan således ikke afklare, om resultaterne skyldes indsatsen, men derimod via en forandringsteori bidrage til at sandsynliggøre det ud fra gældende viden på området. For at være sikker på, at en given indsatsen virker, er det nødvendigt at anvende en af de effektmålingsmetoder, som er beskrevet i denne introduktion. Performance Management-tilgangen kan i den for- 1. Connie Nielsen, Peter Thisted Dinesen, Lars Benjaminsen, Jens Bonke: Effektmåling. Socialforskningsinstituttet 07:08. 3

5 bindelse skabe et godt grundlag, idet man herigennem får viden om implementeringen af indsatsen og et godt datagrundlag. DEN KONTRAFAKTISKE SITUATION OG SELEKTIONSSKÆVHED Helt centralt i forhold til at måle effekten af et givet tiltag er spørgsmålet om, hvad der ville være sket, hvis tiltaget ikke havde fundet sted, hvilket man kalder den kontrafaktiske situation. Hvis en gruppe hjemløse deltager i en indsats, som skal hjælpe dem ud af hjemløshed, er det nødvendigt at have et troværdigt estimat af, hvad der ville være sket med denne gruppe, hvis de ikke havde deltaget i programmet, for at kunne sige noget om effekten af dette program. En simpel før og efter sammenligning af de, som modtager indsatsen, og de som ikke gør, vil ofte være misvisende, idet den gruppe, der modtager indsatsen, kan vise sig at afvige systematisk fra gruppen, som ikke modtager den. Det betyder, at den effekt, som ikke-deltagerne ville have opnået, hvis de havde modtaget indsatsen, ikke nødvendigvis er den samme som den, deltagerne opnår efter at have modtaget indsatsen. Når deltagerne afviger systematisk fra ikkedeltagerne kaldes det for selektionsskævhed, hvilket kan være ødelæggende for muligheden for at vurdere, hvorvidt et givet tiltag har den ønskede effekt, fordi man ikke kan vurdere den kontrafaktiske situation. Selektionsskævheden er illustreret i figur 1 nedenfor som forskellen mellem deltagernes kontrafaktiske forløb i forhold til ikke-deltagernes forløb. 4

6 Figur 1: Resultat Effekt af deltagelse Selektionsskævhed Deltagere Deltageres kontrafaktiske forløb Ikke-deltagere Indsats Tid De effektmålingsmetoder, som vi præsenterer i det følgende, forsøger på forskellig vis at tage højde for selektionsskævheden. Vi konstruerer således den kontrafaktiske situation på baggrund af personer, der ikke modtager indsatsen, men som samtidig ligner dem, der gør. De to grupper kan derfor sammenlignes. DEN EKSPERIMENTELLE METODE: RANDOMISEREDE KONTROLLEREDE FORSØG Tankegangen bag randomiserede forsøg er helt parallel til den, som man kender inden for eksempelvis medicinsk forskning. Ideen er således, at vi tilfældigt udvælger en gruppe (forsøgsgruppen), som deltager i eksperimentet (som vi har valgt at kalde indsatsen), mens de resterende udgør den gruppe, som ikke deltager. Idet deltagerne af indsatsen er tilfældigt udvalgte, kan vi antage, at personerne ligner de personer, der ikke deltager i indsatsen, inden denne sættes i værk. En registreret positiv eller negativ effekt af deltagelse kan derfor alene tilskrives den pågældende indsats. De randomiserede forsøg udgør et meget stærkt effektforskningsdesign og er derfor også guldstandarden inden for effektforskning. 5

7 Der kan dog være problemer forbundet med de randomiserede forsøg. For det første kan disse forsøg være relativt omkostningskrævende, hvilket begrænser anvendelsen heraf. For det andet kan der også være en række implementeringsproblemer, som kan forhindre, at de randomiserede forsøg fungerer efter hensigten. I visse situationer kan man forestille sig, at nogle personer i ikke-deltagergruppen selv gør noget for at modtage en tilsvarende indsats som forsøgsgruppen (fx selv at anskaffe sig medicin til afvænning), hvilket betyder, at resultaterne af forsøget ikke længere er troværdige. Herudover stiller randomiserede forsøg store krav til ekspertisen hos de sagsbehandlere og øvrige socialarbejdere, som bidrager til udførelsen heraf. Hvis disse ikke er tilstrækkeligt trænede i udførelsen af de randomiserede forsøg, kan det betyde, at resultaterne af eksperimentet bliver usikre og som en konsekvens heraf opnås ikke den viden om det givne tiltags effekt, som man ønsker. Herudover kan der for det tredje være problemer med generaliserbarheden af de randomiserede forsøg. De personer, der deltager i et givet forsøg både deltager- og ikkedeltagergruppe - kan afvige fra den gruppe, som siden hen skal modtage denne indsats, hvilket indebærer et generaliseringsproblem. Vi ved med andre ord ikke, om resultaterne kan overføres til andre grupper. Endelig kan der for det fjerde være etiske spørgsmål forbundet med udførelsen af de randomiserede forsøg, idet de, der ikke modtager indsatsen, kan føle sig snydt. På den anden side ved man ikke, om indsatsen virker, hvilket forsøget netop har til formål at afklare. De problemer, der kan opstå i forbindelse med et randomiseret forsøg, skal dog altid sættes i forhold til de mulige gevinster i form af viden om effekten af et tiltag. Udover de randomiserede forsøg findes der også nogle såkaldte ikke-eksperimentelle metoder. Tankegangen bag en række af disse vil blive behandlet nedenfor. IKKE-EKSPERIMENTELLE METODER I præsentationen af de ikke-eksperimentelle metoder vil vægten blive lagt på tankegangen bag metoderne og ikke matematikken. Følgende metoder vil blive gennemgået: 6

8 Regression Matching Instrumentvariabel regression IKKE-EKSPERIMENTELLE METODER 1: REGRESSIONSANALYSE Den grundlæggende tankegang bag regressionsanalyse er at finde nogle forhold uafhængige variable der påvirker et givet fænomen (den afhængige variabel). I en effektmålingsoptik vil vores uafhængige variabel typisk være en form for indsats (et program eller lignende), der forventes at påvirke den afhængige variabel, som er det resultat, som man ønsker at ændre på. Dette er illustreret i figur 2 vha. hjemløshedseksemplet. Figur 2: Indsats (Program mod hjemløshed) Resultat (Boligsituation) Den uafhængige variabel er den indsats mod hjemløshed, som visse hjemløse modtager, mens den afhængige variabel er, hvorvidt boligsituation forbedres. Ved at undersøge sammenhængen mellem om man modtager indsatsen og boligsituationen, ser vi på, om de hjemløse, der modtager indsatsen, i gennemsnit klarer sig bedre end de hjemløse, der ikke gør. Hvis det er tilfældet, og det samtidigt er statistisk sikkert signifikant er der fundet en sammenhæng, som indikerer, at tiltaget virker. Man kunne imidlertid godt forestille sig, at der er andre forhold end dem, der er indgår som uafhængige variable, der påvirker deltagergruppens boligsituation sammenlignet med ikke-deltagergruppens. Måske klarer kvinder sig bedre end mænd, og yngre bedre end ældre, samti- 7

9 digt med at disse grupper er overrepræsenteret i indsatsgruppen der kan med andre ord være tale om en selektionsskævhed. Der er derfor brug for at kontrollere for, at den tilsyneladende effekt af tiltaget ikke skyldes, at særlig mange kvinder eller yngre har modtaget dette. Dette forhold er illustreret i figur 3. Figur 3: Indsats (Program mod hjemløshed) Resultat (Boligsituation) Alternative forklaringer (køn, alder, etc.) Regressionsanalysen er nu udvidet til at omfatte sammenhængen mellem indsatsen (den uafhængige variabel) og resultatet (den afhængige variabel) samtidigt med, at der kontrolleres for en række andre faktorer (kontrolvariable). Det kan betyde, at indsatsen har en mindre eller slet ingen effekt sammenlignet med analysen uden kontrolvariabler. I så fald var der tale om, hvad man kalder en spuriøs sammenhæng, da vi så på den simple sammenhæng mellem indsats og resultat. Det kan derfor være nødvendigt at inddrage alternative forklaringer, når man vil forklare (den afhængige variabel), hvorvidt indsatsen (den uafhængige variabel) har en effekt. Regressionsanalysen forudsætter, at det, man vil kontrollere for, er målbart. Hvis det ikke er tilfældet, og det er forhold, man ikke kan observere, som påvirker resultatet, vil vi få en fejlagtig effekt af indsatsen. I eksemplet med indsatsen over for hjemløse kan vi som nævnt kontrollere for, at en eventuel effekt ikke skyldes en forskellig observerbar sammensætning af deltager- og ikke-deltagergruppe, som kan forventes at påvirke resultatet af indsatsen. Man kunne imidlertid også forestille 8

10 sig, at deltagerne og ikke-deltagerne adskiller sig på måder, som er uobserverbare. Fx kan deltagerne være mere motiverede for at komme ud af hjemløshed end ikke-deltagerne, så de i højere grad forsøger at få indsatsen, og samtidigt vil de også have tendens til at få et større udbytte end ikke-deltagerne ville have fået. Hvis dette forekommer, vil regressionsanalysen overvurdere effekten af indsatsen på resultatet (boligsituationen), idet der eksisterer selektionsskævhed i form af forskellige grader af motivation hos modtagerne og ikke-modtagerne. Problemet er her, at det kan være svært at måle graden af motivation hos de hjemløse. Man kunne muligvis stille dem spørgsmål herom, men det er tvivlsomt, om de afgivne svar ville være gyldige der kan være mange opfattelser af, hvad det vil sige at være motiveret, og det er formentlig de færreste, der opfatter sig selv som umotiverede for at komme ud af hjemløshed. IKKE-EKSPERIMENTELLE METODER 2: MATCHING Ligesom regressionsmetoden kan matching bruges til at kontrollere for en række observerbare forhold, som forventes at påvirke resultatet, når man undersøger sammenhængen mellem en indsats og et resultat. Ideen bag matching er at parre individer, som har samme observerbare karakteristika, men som afviger i forhold til, hvorvidt man modtager indsatsen eller ej. Man finder således to identiske personer, som henholdsvis deltager og ikke deltager i en indsats, og sammenligner deres resultater. I forhold til regressionsmetoden er fordelen ved matching, at man kan sammenligne resultatet for de enkelte personer, mens man i regressionsmetoden blot ser på et sammenvejet gennemsnit af resultaterne for hhv. deltager- og ikke-deltagergruppe. Endvidere kan matching være en måde at reducere omkostningerne ved udvælgelse af personer til at deltage i en indsats. Hvis man på forhånd har en idé om hvilke forhold, der kan være af betydning for det resultat, som man ønsker at observere, kan det være fornuftigt at vælge personer ud, som ligner hinanden på disse forhold, så disse kan holdes konstante. Herved kan man reducere antallet af personer, som modtager indsatsen og dermed omkostningerne herved. Problemet ved matching er dog, ligesom for regressionsmetoden, at der ikke 9

11 kan kontrolleres for uobserverbare forhold. Det kan der til gengæld i visse situationer vha. instrumentvariabel regression, som gennemgås i det nedenstående. IKKE-EKSPERIMENTELLE METODER 3: INSTRUMENTVARIABEL REGRESSION Instrumentvariabel regression IV-regression - bygger på de samme teknikker som den traditionelle regression. Udover at korrigere for forskellige observerbare forhold kan IV-regression også i visse situationer korrigere for ikke-observerbare forhold. Figur 4 illustrerer således en situation, hvor der er uobserverbare forhold, der påvirker resultatet: Figur 4: Indsats (Program mod hjemløshed) Resultat (Boligsituation) Alternative forklaringer (køn, alder, etc.) Uobserverbare faktorer (motivation etc.) I forhold til regressionsmetoden ovenfor, hvor der blev korrigeret for observerbare alternative forklaringer, er der nu også nogle uobserverbare alternative forklaringer, der er med til at påvirke resultatet. Hvis vi fx gennemførte en almindelig regression, som før blev illustreret i figur 3, er problemet, at den estimerede effekt af deltagelse også er påvirket af de 10

12 uobserverbare forhold, så vi får et fejlagtigt skøn på effekten af deltagelse. Vi kan her igen tænke på eksemplet med indsatsen over for hjemløse, hvor man kan forestille sig, at de hjemløses motivation for at komme ud af hjemløshed spiller ind på deres deltagelse i indsatsen og udbyttet af denne. Vi har imidlertid det problem, at motivation er en variabel, det kan være svært at observere. Når motivation derfor ikke kan indgå for sig selv i regressionen, vil deltagelsesvariablen trække noget af forklaringen fra den uobserverede variabel for motivation. Ideen bag IV-regression er at identificere en variabel (et instrument), som kan bruges til at forklare, hvorvidt man modtager en indsats eller ej, men som samtidigt ikke direkte påvirker resultatet. Sagt på en anden måde kan man korrigere for den uobserverbare selektionsskævhed ved at forklare, hvorfor man modtager en indsats og herved sikre, at estimatet af betydningen af indsatsen bliver rigtigt. Når vi ser på eksemplet med de hjemløse, er det ikke helt ligetil at finde et godt instrument for at deltage i en indsats. Et ideelt eksempel vil være, hvis der kan trækkes lod blandt mange lige kvalificerede, der alle er visiterede til et tilbud om denne indsats. Hvis vi ønsker at måle effekten af at deltage for de hjemløse, der er visiterede, vil lodtrækningen være et ideelt instrument. Vi er således sikre på, at instrumentet ikke har anden forklaringskraft på resultatet end, hvorvidt man deltager eller ej. Det skal bemærkes, at lodtrækningen her kun illustrerer, hvad der ville gøre instrumentet i IV-regressionsmetoden ideelt. Det skal således ikke forveksles med det at lave randomiserede forsøg. I praksis er det sjældent tilfældet, at man kan trække lod, hvorfor det er nødvendigt at være mere kreativ med at finde på et godt instrument. Lad os antage, at vi har flere målinger over tid. Herved vil vi kunne bruge konjunkturen som instrument for deltagelse. Det kan vi gøre ved i stedet for deltagelsesvariablen at indsætte variabler som antallet af herbergspladser og antallet af hjemløse, idet antallet af hjemløse også kan tænkes at afhænge af antallet af herbergspladser. Som nævnt er det antagelsen bag IV-regression, at instrumentet ikke påvirker boligsituationen direkte, men kun gennem om man modtager indsatsen eller ej. Det begrænser i sig selv, hvad man kan finde på af instrumenter. Hvis det lykkes at finde et godt instrument, vil IV- 11

13 regression give et gyldigt estimat af effekten af indsatsen på resultatet for de hjemløse. Tanken bag IV-regression er illustreret med det beskrevne eksempel i figur 5 nedenfor. Det fremgår heraf, at instrumentet påvirker deltagelsen i indsatsen og ikke længere resultatet. Den stiplede pil fra de uobserverbare forhold, som var angivet i figur 4, er derfor fjernet. Figur 5: Instrument Indsats (Program mod hjemløshed) Resultat (Forbedret boligsituation) Alternative forklaringer (Køn, alder, Uobserverbare faktorer (motivation etc.) VALG AF METODE: KLASSIFIKATIONSSKEMA Som det er fremgået af ovenstående gennemgang beror valget af effektmålingsmetode på en lang række forhold. En given effektmåling kan ydermere ofte foretages på flere måder, og der er derfor sjældent én rigtig metode. Det betyder, at det konkrete valg af effektmålingsmetode bør bero på overvejelser af såvel praktisk som teoretisk karakter. Til at hjælpe ved valget af metode har vi udviklet et klassifikationsskema, som rummer en række centrale overvejelser omkring valg af effektmålingsredskab. Skemaet er vedlagt. Hvis flere betingelser fremgår samtidigt for valg af stier i skemaet, skal de alle være opfyldte. 12

14 INTRODUKTION TIL EFFEKTMÅLING AF SATSPULJEPROJEKTER Denne introduktion sigter mod at give en overordnet indføring i effektmålingstankegangen. Det er således hensigten på en kortfattet, ikke-matematisk måde at øge forståelsen for de forskellige effektmålingsmetoder, idet dette gerne skulle bidrage til at udforme gode bestillinger af effektmålinger. Et klassifikationsskema, som er udviklet til valg af metoder, er gengivet her med det formål at blive anvendt til en umiddelbar vurdering af, om et konkret projekt bør effektmåles og i givet fald efter hvilken metode.