EVALUERING, MÅLING OG IMPLEMENTERING. Kursus i Iværksætterpolitik Væksthus Midtjylland i Herning

Transkript

1 EVALUERING, MÅLING OG IMPLEMENTERING Kursus i Iværksætterpolitik Væksthus Midtjylland i Herning Søren C. Winter SFI Det Nationale Forskningscenter for Velfærd

2 Disposition Behovet for viden evidens Typer af effekter (udfaldsmål) Evalueringsforskningens grundspørgsmål Betydningen af en programteori Brutto- og nettoeffekter - Forhold der forstyrrer effektmåling Det klassiske eksperiment Kvasieksperimentelle metoder Benchmark-analyser Evalueringskultur Årsager til manglende effekt Evt. lidt om implementering Litteratur

3 Behovet for viden om virkninger - evidens Velfærdsstaten griber ind i flere og flere områder i forhold til borgere og virksomheder Ofte på et utroligt lille vidensgrundlag Ex integrationspolitik Hvad med erhvervsfremmeområdet? Langt større på visse erhvervsområder Fx medicinalindustri, landbrug Forskellige incitamenter til evidensorientering

4 Stigende erkendelse Øgede krav om evidens Fx indsats mod sårbare børn og unge Dyre foranstaltninger uden viden om effekter i forhold til alternativer Den demografiske udvikling giver behov for mere evidens Offentlig sektor får rekrutteringsproblemer Mindre arbejdsstyrke mindsker finansiering Behov for mere effektive løsninger Også kortsigtet vidensbehov i.f.t. recession

5 Politiske årsager til politik, der ikke baseres på viden Hastværk Symbolpolitik Nogle politikere søger at sælge varm luft Fx integration og straffelov Interesser Fx spredningspolitik vedr. flygtninge Fx fagbevægelsens krav om uddannelsesaktivering Viden kan delegitimere programmer, forvaltninger og politikere

6 Hvad indebærer effektmåling?

7 Hvilke typer af effekter vil vi fokusere på? - Udfaldsmål Sluteffekter (outcome-mål): ændringer i virksomhedernes/brugernes situation/sociale belastninger i forhold til politisk fastsatte mål indikatorer, fx vækst i omsætning/indtjening, beskæftigelse, indkomst, uddannelse Undervejs effekter (fx opkvalificering, sociale færdigheder, selvtillid, jobsøgning) Brugerinvolvering, indflydelse (evt. procesmål) og brugertilfredshed Opfyldelse af politiske beslutningers krav til indsats og sagsbehandling (proces- og output-mål)

8 Evalueringsforskningens grundspørgsmål 1. Ændrer problemerne karakter i retning af større målopfyldelse, efter at en foranstaltning intervention er igangsat? intervention (indsats), fx en erhvervsfremmeordning bruttoeffekt 2. Er interventionen skyld i ændringen eller skyldes det andre forhold? nettoeffekt

9 Vigtigheden af en programteori (virkningsteori) om kausale sammenhænge. Årsags-virkningskæde. Hvilke effekter skulle man på forhånd forvente af hvilke foranstaltninger og hvorfor? Vigtig del af evaluering Til opstilling af forskningsdesign Til tolkning af resultater Til rådgivning af politikere/administratorer

10 Den politiske beslutnings egen programteori Eksplicit eller implicit? Fx integrationsloven Spredning Hurtige handlingsplaner Danskundervisning Aktivering Sanktioner

11 Andre teoretiske perspektiver på årsagssammenhænge - forankret i forskning Supplerende eller konkurrerende Fx udfordring af spredningshypotesen Betydning af netværk Udfordring af sanktionshypotesen Ofte forsømmes muligheder for teoritest og udvikling i evalueringer

12 Fra brutto- til nettoeffekter Fjerne betydningen af forstyrrende forhold

13 Forstyrrende forhold udefra: Endogen forandring, naturlige processer Modningsprocesser Generelle socio-økonomiske og demografiske udviklingstræk Forstyrrende begivenheder Selvselektion

14 Forstyrrende forhold indefra: Forhold knyttet til selve foranstaltningen Hawthorne/placebo-effekt Implementeringsproblemer Målefejl: Den faktiske intervention svarer ikke til den planlagte System-selektionsproblemer Creaming Særligt engageret/dygtigt personale ved forsøg Statistiske problemer, validitets- og reliabilitetsproblemer Generaliseringsproblemer

15 Hvordan sikrer vi, at vi ikke måler skineffekter?

16 Det klassiske eksperiment Evalueringens flagskib sjældent anvendt i Danmark uden for lægevidenskab Tilfældig udvælgelse af kontrol- og eksperimentgruppe (lodtrækning) Kun eksperimentgruppe udsættes for intervention, eller grupperne udsættes for forskellig intervention Evt. førmåling en eller flere eftermålinger Forudsætter ens udefra forstyrrende forhold i de to grupper Netto-effekt svarer til adfærdsforskel mellem kontrol og eksperimentgruppe Statistisk efterkontrol Teknisk og statistisk relativt let Hvis forudsætningerne ellers holder Ex Information om stykomkostninger ved offentlig service

17 Problemer ved klassiske eksperimenter Kan normalt ikke anvendes i universelle programmer Dog ved variationer heri Etiske og politiske problemer Er det generelt uetisk at trække lod i sagsbehandling? Er det uetisk at holde kontrolgruppen uden for en forventet bedre behandling? Kan man lade folk fortsætte i en behandling, der hurtigt viser sig ikke at virke? Problemer med at opnå accept hos politikere (evt. lovændringer) og administratorer centralt og lokalt

18 Metodiske problemer i klassiske eksperimenter De etiske problemer kan give metodiske problemer Især ved frivillige foranstaltninger Selektionsproblemer Frafald i eksperimentgruppen Deltagelse i alternativ/subsidierende behandling i kontrolgruppen Ex Eksperiment vedr. effekter af kortvarige arbejdsmarkedsuddannelseskurser - Langager 1996 Evt. selektionsproblemer giver behov for avancerede statistiske analyser (økonometri) Kræver omhyggelig planlægning og styring Forventet små effekter kræver store eksperiment- og kontrolgrupper for at finde effekter, der er statistisk sikre

19 Konklusion vedr. klassiske eksperimenter Principielt det stærkeste og mest enkle evalueringsdesign Bør allerede sammentænkes med interventionen Men en del kan gå galt undervejs både mht. accept og forstyrrende elementer især selektion Anvendes relativt sjældent, men meget mere i USA Behov for eksperimenter i DK Kan også bruges til at vurdere alternative metoder

20 Kvasi-eksperimentelle designs Finde egnet kontrolgruppe, der ikke er tilfældigt udvalgt Fx målgrupper umiddelbart før/efter programændring (Starthjælp) sammenlignelig kommune Udnytte variation i indsatser Har forskelle i indsats nogen betydning? Når der kontrolleres for andre relevante forhold

21 Kvasieksperimentelle metoder 2 Regressionsanalyse Fx Hvad får landmænd til at overholde miljølov? Fx effekt af integrationsindsats, indsats over for sårbare børn og unge Økonometriske analyser Kontrol af kausalitet Kontrol for uobserverede faktorer

22 Benchmarking Sammenligning/rangordning af kommuner eller institutioner fx skolekarakterer, integration eller vækst i beskæftigelse hos virksomheder ved erhvervsfremmeprogrammer Kræver korrektion for forhold, som kommunen/institutionen ikke selv har indflydelse på Fx soc. baggrund ved integration Fx branchesammensætning ved erhvervsfremme

23 Benchmarking 2 Lære af de bedste?? kvalitativ undersøgelse Kvantitativ effektundersøgelse af variation i indsats Problemer Få enheder! Uobserverbar selektion

24 Evalueringskultur Ledelsesfokus Vi vil gerne blive klogere Fokus på programteorier udfordre disse Fokus på evaluering Fare ved selvevalueringer Behov for kritisk distance

25 Årsager til manglende effekt Politik-design virker ikke Programteorien er forkert Programmet er ikke implementeret som planlagt i forhold til programteorien

26 Implementering Implementeringsforskningens hovedspørgsmål I hvilket omfang er retningslinjer i politiske beslutninger (fx i en lov) gennemført? I hvilket omfang er de politiske intentioner for i politiske beslutninger (fx i en lov) gennemført? Smlgn. med evalueringsforskningens grundspm. Kan der overhovedet påvises nogen nettoeffekt? Implementeringsforskningens relevans ud fra en Evalueringssynsvinkel Statskundskabsvinkel/Styringssynsvinkel

27 Integreret Implementeringsmodel SOCIO-ØKONOMISKE OMGIVELSER Politik formulering - Konflikt - Symbol-politik - Kausalteori Politik design Implementeringsproces Organisatorisk og interorganisatorisk implementeringsadfærd Implementeringsresultater Ledelse Præsta --tioner Effekter Markarbejdernes evner og vilje/interesser Målgruppeadfærd

28 Teoretiske implementeringsperspektiver Afhængig variabel: output og outcome Policy-design/instrumenter Inter-organisatoriske relationer Ledelse Markarbejdernes rolle Målgruppernes rolle

29 Output/outcome Output Forvaltningspræstationer/behandlingsarbejde Valg af foranstaltninger Markarbejderstil og coping Outcome Målopfyldelsesgrad mht. målgruppens sociale situation eller fysiske omgivelser (fx miljø)

30 Policydesign/instrumenter Den kausale sammenhæng mellem mål og midler Instrumenttyper Regelstyring og tvang Økonomisk støtte/afgifter Information Hvilke impl.strukturer og processer knytter sig til de enkelte instrumenter? Hvilke incitamenter bygger instrumenterne på og hvordan virker de?

31 Inter-organisatoriske relationer Varetagelsen af organisatoriske interesser Commitment koordinationsproblemer Afhængighedsrelationer Sekventiel, reciprok, pooled Governance netværksstyring Samspil mellem offentlige og private organisationer netværkenes karakter

32 Ledelse Vanskelig rolle Effekter af ledelse betinget af Lokale politiske mål Forvaltningsadfærdens synlighed Anvendte ledelsesredskaber Medarbejderkarakteristika Viden Motivation, opfattelse af ledelsesinstrumenter

33 Markarbejdernes rolle Betydningen af Individuelle holdninger (motivation) for adfærd Til lovgivningen og dens instrumenter, målgruppen, passende arbejdsbyrde Markarbejdernes baggrund Profession Køn/etnicitet Markarbejdernes beslutningsgrundlag Regler, uddannelse, forskning, kolleger, egne erfaringer Peer group influence

34 Målgruppens rolle Objekt eller co-producer? Målgruppens incitamenter Økonomiske, moralske, sociale, personlig udvikling Målgruppers ressourcer, involvering og indflydelse under forskellige policyinstrumenter Retssikkerhedsbestemmelser Konkurrence/frit valg af leverandør/pose penge

35 Metoder til implementeringsanalyser Case-study (single, multiple) Kvalitative metoder Mange enheder (fx kommuner) og brug af statistiske metoder (fx regression) Output (præstationer) som afhængig og uafhængig variabel Sagsbehandling som en ny interventions- /indsatsvariabel til at forklare effekter/outcomes

36 Konklusion Stigende behov for evidens Evidens og interesser; evalueringskultur Metoder til påvisning af nettoeffekter Kontrollere for forstyrrende forhold Design- vs. implementeringsproblemer

37 Litteratur Gode grundbøger om evaluering: Evert Vedung (1998). Utvärdering i politik och förvaltning. 2. udg. Studentlitteratur. P.H. Rossi, M.W. Lipsey & H.E. Freeman (2004) Evaluation, 7 ed., Sage En bog om implementering: Søren C. Winter og Vibeke Lehmann Nielsen (2008). Implementering af politik. København: Academica.