EVALUERING, MÅLING OG IMPLEMENTERING Kursus i Iværksætterpolitik Væksthus Midtjylland 31.3. 2009 i Herning Søren C. Winter SFI Det Nationale Forskningscenter for Velfærd
Disposition Behovet for viden evidens Typer af effekter (udfaldsmål) Evalueringsforskningens grundspørgsmål Betydningen af en programteori Brutto- og nettoeffekter - Forhold der forstyrrer effektmåling Det klassiske eksperiment Kvasieksperimentelle metoder Benchmark-analyser Evalueringskultur Årsager til manglende effekt Evt. lidt om implementering Litteratur
Behovet for viden om virkninger - evidens Velfærdsstaten griber ind i flere og flere områder i forhold til borgere og virksomheder Ofte på et utroligt lille vidensgrundlag Ex integrationspolitik Hvad med erhvervsfremmeområdet? Langt større på visse erhvervsområder Fx medicinalindustri, landbrug Forskellige incitamenter til evidensorientering
Stigende erkendelse Øgede krav om evidens Fx indsats mod sårbare børn og unge Dyre foranstaltninger uden viden om effekter i forhold til alternativer Den demografiske udvikling giver behov for mere evidens Offentlig sektor får rekrutteringsproblemer Mindre arbejdsstyrke mindsker finansiering Behov for mere effektive løsninger Også kortsigtet vidensbehov i.f.t. recession
Politiske årsager til politik, der ikke baseres på viden Hastværk Symbolpolitik Nogle politikere søger at sælge varm luft Fx integration og straffelov Interesser Fx spredningspolitik vedr. flygtninge Fx fagbevægelsens krav om uddannelsesaktivering Viden kan delegitimere programmer, forvaltninger og politikere
Hvad indebærer effektmåling?
Hvilke typer af effekter vil vi fokusere på? - Udfaldsmål Sluteffekter (outcome-mål): ændringer i virksomhedernes/brugernes situation/sociale belastninger i forhold til politisk fastsatte mål indikatorer, fx vækst i omsætning/indtjening, beskæftigelse, indkomst, uddannelse Undervejs effekter (fx opkvalificering, sociale færdigheder, selvtillid, jobsøgning) Brugerinvolvering, indflydelse (evt. procesmål) og brugertilfredshed Opfyldelse af politiske beslutningers krav til indsats og sagsbehandling (proces- og output-mål)
Evalueringsforskningens grundspørgsmål 1. Ændrer problemerne karakter i retning af større målopfyldelse, efter at en foranstaltning intervention er igangsat? intervention (indsats), fx en erhvervsfremmeordning bruttoeffekt 2. Er interventionen skyld i ændringen eller skyldes det andre forhold? nettoeffekt
Vigtigheden af en programteori (virkningsteori) om kausale sammenhænge. Årsags-virkningskæde. Hvilke effekter skulle man på forhånd forvente af hvilke foranstaltninger og hvorfor? Vigtig del af evaluering Til opstilling af forskningsdesign Til tolkning af resultater Til rådgivning af politikere/administratorer
Den politiske beslutnings egen programteori Eksplicit eller implicit? Fx integrationsloven Spredning Hurtige handlingsplaner Danskundervisning Aktivering Sanktioner
Andre teoretiske perspektiver på årsagssammenhænge - forankret i forskning Supplerende eller konkurrerende Fx udfordring af spredningshypotesen Betydning af netværk Udfordring af sanktionshypotesen Ofte forsømmes muligheder for teoritest og udvikling i evalueringer
Fra brutto- til nettoeffekter Fjerne betydningen af forstyrrende forhold
Forstyrrende forhold udefra: Endogen forandring, naturlige processer Modningsprocesser Generelle socio-økonomiske og demografiske udviklingstræk Forstyrrende begivenheder Selvselektion
Forstyrrende forhold indefra: Forhold knyttet til selve foranstaltningen Hawthorne/placebo-effekt Implementeringsproblemer Målefejl: Den faktiske intervention svarer ikke til den planlagte System-selektionsproblemer Creaming Særligt engageret/dygtigt personale ved forsøg Statistiske problemer, validitets- og reliabilitetsproblemer Generaliseringsproblemer
Hvordan sikrer vi, at vi ikke måler skineffekter?
Det klassiske eksperiment Evalueringens flagskib sjældent anvendt i Danmark uden for lægevidenskab Tilfældig udvælgelse af kontrol- og eksperimentgruppe (lodtrækning) Kun eksperimentgruppe udsættes for intervention, eller grupperne udsættes for forskellig intervention Evt. førmåling en eller flere eftermålinger Forudsætter ens udefra forstyrrende forhold i de to grupper Netto-effekt svarer til adfærdsforskel mellem kontrol og eksperimentgruppe Statistisk efterkontrol Teknisk og statistisk relativt let Hvis forudsætningerne ellers holder Ex Information om stykomkostninger ved offentlig service
Problemer ved klassiske eksperimenter Kan normalt ikke anvendes i universelle programmer Dog ved variationer heri Etiske og politiske problemer Er det generelt uetisk at trække lod i sagsbehandling? Er det uetisk at holde kontrolgruppen uden for en forventet bedre behandling? Kan man lade folk fortsætte i en behandling, der hurtigt viser sig ikke at virke? Problemer med at opnå accept hos politikere (evt. lovændringer) og administratorer centralt og lokalt
Metodiske problemer i klassiske eksperimenter De etiske problemer kan give metodiske problemer Især ved frivillige foranstaltninger Selektionsproblemer Frafald i eksperimentgruppen Deltagelse i alternativ/subsidierende behandling i kontrolgruppen Ex Eksperiment vedr. effekter af kortvarige arbejdsmarkedsuddannelseskurser - Langager 1996 Evt. selektionsproblemer giver behov for avancerede statistiske analyser (økonometri) Kræver omhyggelig planlægning og styring Forventet små effekter kræver store eksperiment- og kontrolgrupper for at finde effekter, der er statistisk sikre
Konklusion vedr. klassiske eksperimenter Principielt det stærkeste og mest enkle evalueringsdesign Bør allerede sammentænkes med interventionen Men en del kan gå galt undervejs både mht. accept og forstyrrende elementer især selektion Anvendes relativt sjældent, men meget mere i USA Behov for eksperimenter i DK Kan også bruges til at vurdere alternative metoder
Kvasi-eksperimentelle designs Finde egnet kontrolgruppe, der ikke er tilfældigt udvalgt Fx målgrupper umiddelbart før/efter programændring (Starthjælp) sammenlignelig kommune Udnytte variation i indsatser Har forskelle i indsats nogen betydning? Når der kontrolleres for andre relevante forhold
Kvasieksperimentelle metoder 2 Regressionsanalyse Fx Hvad får landmænd til at overholde miljølov? Fx effekt af integrationsindsats, indsats over for sårbare børn og unge Økonometriske analyser Kontrol af kausalitet Kontrol for uobserverede faktorer
Benchmarking Sammenligning/rangordning af kommuner eller institutioner fx skolekarakterer, integration eller vækst i beskæftigelse hos virksomheder ved erhvervsfremmeprogrammer Kræver korrektion for forhold, som kommunen/institutionen ikke selv har indflydelse på Fx soc. baggrund ved integration Fx branchesammensætning ved erhvervsfremme
Benchmarking 2 Lære af de bedste?? kvalitativ undersøgelse Kvantitativ effektundersøgelse af variation i indsats Problemer Få enheder! Uobserverbar selektion
Evalueringskultur Ledelsesfokus Vi vil gerne blive klogere Fokus på programteorier udfordre disse Fokus på evaluering Fare ved selvevalueringer Behov for kritisk distance
Årsager til manglende effekt Politik-design virker ikke Programteorien er forkert Programmet er ikke implementeret som planlagt i forhold til programteorien
Implementering Implementeringsforskningens hovedspørgsmål I hvilket omfang er retningslinjer i politiske beslutninger (fx i en lov) gennemført? I hvilket omfang er de politiske intentioner for i politiske beslutninger (fx i en lov) gennemført? Smlgn. med evalueringsforskningens grundspm. Kan der overhovedet påvises nogen nettoeffekt? Implementeringsforskningens relevans ud fra en Evalueringssynsvinkel Statskundskabsvinkel/Styringssynsvinkel
Integreret Implementeringsmodel SOCIO-ØKONOMISKE OMGIVELSER Politik formulering - Konflikt - Symbol-politik - Kausalteori Politik design Implementeringsproces Organisatorisk og interorganisatorisk implementeringsadfærd Implementeringsresultater Ledelse Præsta --tioner Effekter Markarbejdernes evner og vilje/interesser Målgruppeadfærd
Teoretiske implementeringsperspektiver Afhængig variabel: output og outcome Policy-design/instrumenter Inter-organisatoriske relationer Ledelse Markarbejdernes rolle Målgruppernes rolle
Output/outcome Output Forvaltningspræstationer/behandlingsarbejde Valg af foranstaltninger Markarbejderstil og coping Outcome Målopfyldelsesgrad mht. målgruppens sociale situation eller fysiske omgivelser (fx miljø)
Policydesign/instrumenter Den kausale sammenhæng mellem mål og midler Instrumenttyper Regelstyring og tvang Økonomisk støtte/afgifter Information Hvilke impl.strukturer og processer knytter sig til de enkelte instrumenter? Hvilke incitamenter bygger instrumenterne på og hvordan virker de?
Inter-organisatoriske relationer Varetagelsen af organisatoriske interesser Commitment koordinationsproblemer Afhængighedsrelationer Sekventiel, reciprok, pooled Governance netværksstyring Samspil mellem offentlige og private organisationer netværkenes karakter
Ledelse Vanskelig rolle Effekter af ledelse betinget af Lokale politiske mål Forvaltningsadfærdens synlighed Anvendte ledelsesredskaber Medarbejderkarakteristika Viden Motivation, opfattelse af ledelsesinstrumenter
Markarbejdernes rolle Betydningen af Individuelle holdninger (motivation) for adfærd Til lovgivningen og dens instrumenter, målgruppen, passende arbejdsbyrde Markarbejdernes baggrund Profession Køn/etnicitet Markarbejdernes beslutningsgrundlag Regler, uddannelse, forskning, kolleger, egne erfaringer Peer group influence
Målgruppens rolle Objekt eller co-producer? Målgruppens incitamenter Økonomiske, moralske, sociale, personlig udvikling Målgruppers ressourcer, involvering og indflydelse under forskellige policyinstrumenter Retssikkerhedsbestemmelser Konkurrence/frit valg af leverandør/pose penge
Metoder til implementeringsanalyser Case-study (single, multiple) Kvalitative metoder Mange enheder (fx kommuner) og brug af statistiske metoder (fx regression) Output (præstationer) som afhængig og uafhængig variabel Sagsbehandling som en ny interventions- /indsatsvariabel til at forklare effekter/outcomes
Konklusion Stigende behov for evidens Evidens og interesser; evalueringskultur Metoder til påvisning af nettoeffekter Kontrollere for forstyrrende forhold Design- vs. implementeringsproblemer
Litteratur Gode grundbøger om evaluering: Evert Vedung (1998). Utvärdering i politik och förvaltning. 2. udg. Studentlitteratur. P.H. Rossi, M.W. Lipsey & H.E. Freeman (2004) Evaluation, 7 ed., Sage En bog om implementering: Søren C. Winter og Vibeke Lehmann Nielsen (2008). Implementering af politik. København: Academica.