Case-samling inspiration til effekt

Transkript

1 Inspirationsmateriale Case-samling inspiration til effekt Hvordan vælger du mål, metoder, redskaber og resultatkrav, der passer til jeres styringsbehov? September 2010

2 Indholdsfortegnelse Indholdsfortegnelse Metodeeksperter...1 Mads Kristiansen...1 Carsten Strømbæk Pedersen...7 Morten Froholdt...20 Hanne Søndergaard Pedersen...28 Edith Madsen...31 Departementer...35 Beskæftigelsesministeriet...35 Socialministeriet & SFI...38 Institutioner...47 Danmarks Statistik...47 FødevareErhverv...50 Hjemmeværnskommandoen...54 Konkurrencestyrelsen...59 Miljøstyrelsen...63 MindLab...69 Nationalmuseet...74 Pensionsstyrelsen...77 SKAT...80 Slots- og Ejendomsstyrelsen...86 Udlændingeservice...91 Økonomistyrelsen...95 Øvrige Region Syddanmark & Accenture ABT-fonden (Økonomistyrelsen)...106

3 Forord Forord Formålet med inspirationsmaterialet er at videregive gode råd og erfaringer til statens institutioner og departementer om anvendelsen af effektmåling og effektmål. Udgangspunktet tages i den hverdag og de erfaringer, der allerede er gjort inden for staten. Erfaringsmaterialet er samlet i form af en case-samling. Casene giver hver for sig en beskrivelse af udvalgte problemstillinger og tilgange i forbindelse med det at arbejde med effekter. Anvendelse af case-samlingen og de enkelte cases Tanken med case-samlingen er at vise, hvordan effektmåling og effektmål er blevet udviklet og anvendt i staten. De fleste cases følger den samme struktur, for at sikre konsistens på tværs af casene og for at gøre det nemmere at danne sig et overblik over casene. Kobling til rammen for case-samlingen Rammen for Case-samlingen omhandler forståelsen af effekt og, hvordan der kan opstilles og måles på effekter. Der refereres løbende til Case-beskrivelserne i de forskellige kapitler i Rammen for Case-samlingen, for at eksemplificere de omtalte metoder og tilgange i de konkrete cases. Derudover findes i diagrammet nedenfor en oversigt over, hvilke cases der indgår og hvilke temaer der tages op. Inddragelse af case-bidragsydere De institutioner/personer, som har bidraget med en case, kan opdeles i to grupper: Den ene gruppe er institutioner og departementer, der har gjort sig omfattende overvejelser og erfaringer med effektmåling og effektmål. Den anden gruppe er metodeeksperter, der har praktisk kendskab til de metodiske problemstillinger, der kan opstå, når effektmåling og effektmål skal udvikles og anvendes i praksis. Inddragelsen af case-bidragyderne har været todelt. I april måned 2010 blev der afholdt fire erfaringsudvekslingsmøder med de departementer, institutioner og metodeeksperter, som har bidraget med en case. Ved møderne præsenterede deltagerne deres overvejelser, erfaringer og anvendelse af effektmåling og effektmål, hvorefter deres metoder og tilgange til arbejdet med effektmåling og effektmål blev drøftet. Med afsæt i deltagernes præsentationer skrev de forskellige institutioner, departementer og metodeeksperter hver en case om deres praksis og erfaring med effektmåling og effektmål. Det er således institutioner, departementer og metodeeksperter, der har skrevet artiklerne og casene. Derfor er det også disse, der har haft den endelige redigeringsret. Netop på grund af, at artikler og cases har forskellige forfattere, vil man opleve, at der kan være uoverensstemmelse mellem forfatternes brug af termer og forskellige tilgange, forståelser og definitioner af effektmål og effektmåling. Ligeledes vil der være forskelle i brug af begreber i Rammen for Case-samlingen og i de enkelte cases. Begrundelsen er, at begrebsanvendelsen udtrykker den faktiske sprogbrug, der anvendes i institutionerne. Tanken med case-samlingen er at lære af andre og materialet skal derfor ses som vidensdeling fra institutioner, departementer og metodeeksperter, som har omfattende praktisk erfaring med effektstyring.

4 Matriks over cases og hvilke emner de omhandler Emner Definition af effekt og effektforståelse Delemner Opgavetyper Brugerrettede effekter Samfunds effekter Kortsigtede effekter Langsigtede effekter Effekt indikatorer Metodeeksperter Mads Kristiansen - Carsten Strømbæk Pedersen - Morten Froholdt - Hanne Søndergaard Pedersen - Edith Madsen - Departementer Beskæftigelsesministeriet - Socialministeriet / SFI - Institutioner Danmarks statistik Vidensproduktion FødevareErhverv Sagsbehandling (tilskudsadm.) Hjemmeværnskommandoen Beredskab Konkurrencestyrelsen Rådgivning & Tilsyn Miljøstyrelsen Rådgivning & Tilsyn MindLap Vidensproduktion Nationalmuseet Off. serviceydelser Pensionsstyrelsen Sagsbehandling SKAT Kompleks Slots- og Ejendomsstyrelsen Off. serviceydelser Udlændingeservice Sagsbehandling Økonomistyrelsen kompleks Øvrige Region Syddanmark/Accenture Off. serviceydelser ABT-fonden Sagsbehandling (tilskudsadm.)

5 Emner Anvendelsen af effektindikatorer Styringsniveauer Delemner Metodeeksperter Mads Kristiansen Carsten Strømbæk Pedersen Morten Froholdt Hanne Søndergaard Pedersen Edith Madsen Departementer Beskæftigelsesministeriet Socialministeriet / SFI Institutioner Danmarks statistik FødevareErhverv Hjemmeværnskommandoen Konkurrencestyrelsen Miljøstyrelsen MindLap Nationalmuseet Pensionsstyrelsen SKAT Slots- og Ejendomsstyrelsen Udlændingeservice Økonomistyrelsen Øvrige Region Syddanmark/Accenture ABT-fonden Kvalitet Brugerundersøgelser Effekt indenfor markedslignende vilkår Effektivitet som indikator Indsats Institution Koncern

6 Emner Forandringsteorier Målingsmetoder Delemner Indsats Institution Koncern Simpel effektmåling Før- efter måling Eksperimenter/ kontrolgruppe Kvalitative målinger Isolere effekten af en indsats Metodeeksperter Mads Kristiansen Carsten Strømbæk Pedersen Morten Froholdt Hanne Søndergaard Pedersen Edith Madsen Departementer Beskæftigelsesministeriet Socialministeriet / SFI Institutioner Danmarks statistik FødevareErhverv Hjemmeværnskommandoen Konkurrencestyrelsen Miljøstyrelsen MindLap Nationalmuseet Pensionsstyrelsen SKAT Slots- og Ejendomsstyrelsen Udlændingeservice Økonomistyrelsen Øvrige Region Syddanmark/Accenture ABT-fonden

7 Mads Kristiansen Metodeeksperter Mads Kristiansen Institution Institution for Statskundskab på Københavns Universitet Forfatter Mads Kristiansen, Ph.d. stipendiat Metoden der eksemplificeres Metoder til måling af effekt. 1. Indledning I denne artikel vil jeg forsøge at komme nærmere, hvad der mere præcist menes, når der tales om effekt, og hvordan det kan vurderes, om en offentlig organisation opnår de ønskede effekter af dens virksomhed. Jeg vil desuden se nærmere på, hvilke argumenter der kan være for at fokusere på effekt samt hvilke udfordringer, der kan være herved. Endeligt vil jeg diskutere, hvilken betydning opgavesammensætningen kan have for en organisations muligheder for at fokusere på effekt. De overordnede konklusioner i artiklen er følgende: 1. Effektbegrebet er et bredt og flertydigt begreb. Det er derfor væsentligt at gøre sig overvejelser om, hvad der præcist menes med effekt herunder om der er tale om en afdækning af den kausale sammenhæng eller indikationer på effekt. 2. Der er en række gode argumenter for at fokusere på effekt, men samtidig eksisterer en række udfordringer ved at udvikle, måle og styre efter indikatorer på effektniveau. 3. Der eksisterer ikke én universel løsning i udvikling og opfølgningen på indikatorer på effektniveau. Dette arbejde vil i høj grad afhænge af opgaveområdets specifikke karakter. 2. Hvad er effekter? Ifølge Politikkens nudansk ordbog kan effekt oversættes til virkning. Hvis man foretager et tilsvarende opslag af virkning, fremkommer følgende forklaring: Virkning er det at noget ændrer sig eller bliver berørt som følge af en bestemt handling, et bestemt middel el.lign. Dvs. at der skal have været iværksat en indsats, inden der kommer en effekt. Fra det engelske sprog har vi en del begreber, der relaterer sig til det danske effektbegreb. Dette gælder særligt begreberne effects 1, impacts 2 og outcomes 3. I den engelsksprogede litteratur foretages undertiden et skel mellem henholdsvis outcomes og impacts, hvor outcomes refererer til effekt på kort og mellemlangt sigt, refererer impacts som regel til de langsigtede effekter af indsatsen. Der knyttes således ofte forskellige tidsperspektiver til effekter. Fælles for de ovenstående termer er dog, at de kan henføres til at være det, der sker efter offentlige organisationers præstationer/indsatser. Eftersom at effekter sker som følge af en indsats i interaktion med det omgivende samfund, har organisationen ikke fuldstændig 1 Effects kan defineres som en tilsigtet eller utilsigtet ændring som direkte eller indirekte følge af en indsats. (Dansk Evalueringsselskab, 2004) 2 Impacts kan defineres som virkninger, der er blivende over tid. Virkninger kan være positive og negative, primære og sekundære, forårsaget af en indsats, direkte eller indirekte, tilsigtede eller utilsigtede. (ibid) 3 Outcomes kan forstås som den sandsynlige eller opnåede virkning af en indsats, kvantitativ og kvalitativ. (ibid) 1

8 Mads Kristiansen kontrol over effekten. Et af de store spørgsmål bliver således ofte spørgsmålet om kausalitet, og hvorledes en given effekt kan tilskrives den pågældende indsats To metoder til vurdering af effekter klassisk effektevaluering og monitorering I dette afsnit sondres mellem to metoder med hver deres berettigelse, når det gælder om at tilvejebringe information til beslutningstagere. Det er hhv. klassisk effektmåling og monitorering (her i form af performance management). Inden for klassisk effektmåling vil man typisk forsøge at finde den kausale sammenhæng mellem en indsats og effekten af denne. Det er vigtigt at isolere effekten af den konkrete indsats, da det fx kan tænkes, at også andre faktorer end den konkrete indsats har ført til effekten. Klassisk effektmåling bygger grundlæggende på tankegangen om den kontrafaktiske situation (dvs. hvad der ville være sket, hvis den pågældende indsats ikke var gennemført). Dette kan eksempelvis ske ved at sammenligne en deltager- og en ikkedeltagergruppe. En anden måde at tilvejebringe information er at monitorere organisationens indsats. Her følger man op på opstillede indikatorer for forskellige faser i en logisk model. Monitoreringen kan omhandle alt fra opstillede kriterier for indsatsens karakter og sagsbehandlingstider til den udvikling, der måtte være hos en modtagergruppe af en indsats uden hensynstagen til om effekt reelt er forårsaget af institutionens indsats eller faktorer uden for organisationens indflydelse. Ved monitorering ser man ofte på opfyldelse af indikatorer eller målbare mål, men der gives ikke forklaringer på årsag og virkninger. Da det kan være en ganske vanskellig og omkostningsfuld metode at isolere effekten af en indsats, vil mange offentlige organisationer ofte benytte sig af indikatorer eller tegn på, at det går i den rigtige retning (monitorering), hvorfor der tages udgangspunkt i monitorering i det følgende Performance management og den logiske model En forudsætning for performance management (herunder mål- og resultatstyring) er en analyse i form af målhierarki, forandringsteori og udvælgelse af indikatorer. En metode til at afklare dette kan være at anvende en logisk model, der viser den logiske sammenhæng i en organisations eller i et programs produktionsproces. I det nedenstående er vist en sådan logisk model 4 : Der er behov for ressourcer for at gennemføre indsatsen Såfremt der er adgang til ressourcerne, kan de planlagte aktiviteter gennemføres Hvis aktiviteterne gennemføres, vil den forventede mængde af produkter/ydelser forhåbentlig blive leveret Hvis de planlagte aktiviteter nås, i det omfang det var tilsigtet, vil det formentlig være til nytte for målgruppen Hvis indsatsen er til nytte for målgruppen, vil der kunne forventes visse forandringer i organisationer, samfund eller systemer Ressourcer /inputs Aktiviteter Outputs Outcomes (effekter på kort og mellemlang sigt) Impact (langsigtede effekter) Med inspiration fra: W.K. Kellogg Foundation (2004) I den logiske model beskrives et målhierarki, hvor hver målsætning logisk skal følge hinanden for at nå den langsigtede målsætning. Modellen kan derved bidrage til at præsentere en forståelse for sammenhængen, mellem de ressourcer der er til rådighed, de 4 Den logiske model og programteori defineres ofte som to sider af samme sag. Andre argumenterer for, at den logiske model ikke er lig med programteori, men at det er en del af programteorien. Her er argumentet at ved at udvide den logiske model med antagelser om, hvorfor resultaterne opstår, får vi en forandringsteori eller en programteori. En programteori kan defineres som (sæt af mere eller mindre sammenhængende og veludviklede) forestillinger om, hvordan en bestemt intervention/indsats (programmet) virker ind på en bestemt situation, og ændrer eller bevarer denne (Hansen & Vedung, 2005). 2

9 Mads Kristiansen aktiviteter der planlægges gennemført, og endelig det man håber at opnå med indsatsen (effekterne). Den logiske model beskrives som et program, der fører til en effekt, og hvor effekten kan have mange årsager ved siden af selve programmet. Når der er tale om monitorering af indikatorer, vil mange være af den opfattelse, at begrebet effekt ikke vil kunne anvendes, da kausalsammenhængen ikke afdækkes. For at sikre sammenhæng til de øvrige bidrag i inspirationsmaterialet, vil jeg imidlertid anvende begrebet effekt som en samlebetegnelse for indikatorer for outcomes og impacts. De væsentligste komponenter i den logiske model fremgår af ovenstående figur. Da fokus i Økonomistyrelsens inspirationsmateriale er effekter, vil jeg koncentrere mig om de to sidste faser i modellen; effekterne af indsatsen her benævnt som outcomes og impacts. Outcomes kan betegnes som den umiddelbare virkning af outputs. Outcomes opdeles her i kort og mellemlang sigt. Den kortsigtede effekt kan eksempelvis være ændringer i målgruppens kognitive funktioner: viden, tænkemåde og opfattelse. Den nye viden, tænkemåde eller opfattelse skulle gerne føre til ændringer i målgruppens læring i form af en ændret adfærd, handlinger og beslutninger, der kan betegnes som de mellemlange effekter af indsatsen. Endeligt skulle vi gerne nå vores langsigtede effekter af indsatsen (impacts), der bl.a. kan omfatte forbedrede vilkår, øget kapacitet mv. (W.K. Kellogg Foundation, 2004). Der arbejdes således med effekter i forskellige tidsperspektiver i form af kort, mellemlang og lang sigt. Det skyldes dels, at effekter kan være årsager til andre effekter, dels at effekter kan optræde med forskellige tidshorisonter. I forbindelse med vurderingen af effekter vil der ofte være væsentlige usikkerhedsmomenter. Påvirkningen fra indsatsen forventes at være mindre på de langsigtede effekter, da andre faktorer end selve indsatsen (eksterne eller eksogene faktorer) også forventes at påvirke de langsigtede effekter. Den logiske model kan anvendes på mange niveauer: individniveau, gruppeniveau, programniveau, organisationsniveau og samfundsniveau til at planlægge og gennemføre indsatser, ligesom den kan være et udgangspunkt for at evaluere indsatsen ud fra de enkelte faser i produktionsprocessen. Modellen kan være et godt værktøj til at visualisere strategien for indsatsen og dermed også et vigtigt værktøj til at formidle og kommunikere med indsatsens interessenter (eksempelvis departementet). I gennemførelsen af indsatsen kan modellen være med til at tydeliggøre, hvilke aktiviteter der skal gennemføres. I opfølgningen på indsatsen kan den logiske model være med til at indkredse, hvilke indikatorer der skal følges op på, og derved udgøre en ramme for opfølgningen samt anvendes som udgangspunkt for et stærkere fokus på indsatsens effekter. 3. Hvorfor fokusere på effekter - er det seneste forvaltningspolitiske mode? For tiden synes der at være en stigende interesse for, at offentlige organisationer styrker arbejdet med at indsamle og dokumentere effekten af indsatsen. Dette kan bl.a. ses af en række af de beretninger, som Rigsrevisionen har udarbejdet de seneste år, ligesom fokus på effekt ligeledes er blevet accentueret med Finansministeriets publikation Ansvar for styring. En række ministerier har igangsat projekter med henblik på at måle og styre efter effekten af deres arbejde, ligesom en række konsulenthuse i stigende grad interesserer sig for området. Fokus på effekt synes med andre ord at være på mode i den offentlige forvaltning. Men ikke alt der er moderne er skidt, og for mange offentlige organisationer kan det være hensigtsmæssigt at fokusere på effekten af deres indsats. En væsentlig del af den akademiske litteratur, der behandler performance management og måling på indikatorer, fokuserer på såkaldte uintenderede effekter af styring efter indikatorer. Der kan identificeres en række forskellige former for uintenderede effekter, 3

10 Mads Kristiansen der bl.a. vedrører den betragtning, at indikatorer og resultatmål kan risikere at fiksere opmærksomheden på mål og indikatorer, der ikke nødvendigvis er de sande mål. Litteraturen der fokuserer på uintenderede effekter af resultatmåling, kan betegnes som historien om de polske møbler, da der ofte fremhæves et eksempel fra den polske møbelindustri. Den polske møbelindustri blev under kommunismen målt på, hvor mange tons møbler den kunne producere. Dette resulterede i, at polske møbler blev de tungeste i verden. Hensigten med indikatoren var givetvis, at måle møbelindustriens produktivitet. Det man opnåede var dog ikke produktivitet, men tunge møbler. Pointen her er, at uhensigtsmæssige indikatorer vil føre til uhensigtsmæssig adfærd. Det forhold, at der i højere grad fokuseres på effekterne af en indsats og i mindre grad på aktiviteter og outputs, kan være medvirkende til i højere grad at undgå at fiksere opmærksomheden på mål og indikatorer, der ikke bidrager til opnåelsen af organisationens egentlige mission/formål. Derudover kan der opnås indsigt i, hvorvidt organisationen gør de rigtige ting og ikke blot gør tingene rigtigt, som det populært fremføres. Det vil dog være væsentligt ikke udelukkende at fokusere på effekter, men fortsat at supplere med outputs. 4. Udfordringer ved at udvikle, måle og styre efter effektindikatorer Der kan imidlertid være en række udfordringer ved at udvikle, måle og styre efter indikatorer på effektniveau. Mange af disse udfordringer blev også identificeret i Rigsrevisionens beretning om mål- og resultatstyring i staten med fokus på effekt (Rigsrevisionen, 2009): Det er vanskeligt at isolere effekten af institutionens indsats fra andre faktorer (når der ikke foretages klassiske effektmålinger, men derimod måles på indikatorer på effektniveau, vil der være en række eksterne faktorer, der kan spille ind på effekten). Effekten af institutionens indsats indtræder med en betydelig tidsforskydning (det kræver således et langt tidsperspektiv). Institutionens formål kan være vanskelig at omsætte i konkrete mål og indikatorer på effektniveau. Det kan være ressourcekrævende at etablere det fornødne datagrundlag for måling af indikatorer på effektniveau. Vurderingen af effekter kan være følsom over for få enkeltstående begivenheder. Der vil ofte være en gensidig afhængighed mellem flere institutioner i opnåelsen af effekter. 4.1 Målbarhed og opgavens karakter ingen universel løsning i arbejdet med effekt Rigsrevisionen (2009) bemærker desuden i deres beretning, at det ikke i alle tilfælde vil være muligt og relevant at opstille meningsfulde mål for den samfundsmæssige effekt af en institutions virksomhed, hvorfor den enkelte institutions mulighed for at opstille samfundsorienterede effektmål i vid udstrækning afhænger af opgavesammensætningen. I lighed med dette peger en del forskning på betydningen af opgavefaktoren i offentlig forvaltning og særligt på målbarheden af opgaver (fx Wilson, 1989). Pointen er her, at der vil være en række karakteristika ved organisationens opgaver, der kan have indflydelse på, hvilke udfordringer den enkelte organisation vil have ved at opstille mål og indikatorer på effektniveau. Offentlige organisationers opgaver er i organisations- og forvaltningsforskningen karakteriseret på forskellige måder. En del forskere hæfter sig især ved målkompleksitet (fx Harmon og Mayer, 1986). Offentlige organisationers mål betegnes således som 1) 4

11 Mads Kristiansen uklare og vage, 2) multiple, 3) konflikterende, 4) flygtige og ustabile over tid, samt 5) vanskellige at operationalisere. Dette kan have betydelige konsekvenser. Graden af dette vil dog variere mellem forskellige opgavetyper, hvorfor de dilemmaer der skitseres i det følgende vil variere afhængig af opgaveområdet. Et væsentligt element i denne opgavekompleksitet er, at offentlige organisationer ofte producerer ydelser på to niveauer. På det første niveau produceres brugerrettede ydelser. Disse ydelser er konkrete, afgrænsede, og retter sig mod individuelle og specifikke borgere eller virksomheder, som fx klienter, studerende og patienter. Eksempler er undervisning, hospitalsoperationer, sagsafgørelser, arbejdstilsynsbesøg, udmåling af sociale ydelser mv. På det andet niveau produceres almene ydelser. Disse ydelser retter sig mod borgerne eller virksomheder som helhed eller eventuelt mod grupper heraf. På dette niveau handler undervisning ikke om at uddanne en bestemt navngiven person, men i højere grad hvad flere uddannede kan gøre for samfundet. Som eksempel på dette kan nævnes Arbejdstilsynet, hvis brugerrettede ydelse primært er virksomhedsbesøg og/eller anden virksomhedsrelateret sagsbehandling, der kan munde ud i såvel vejledning som påbud og forbud. Der kan også være tale om udsendelse af informationsmateriale og regelsæt samt telefonisk rådgivning. Den almene ydelse er forbedring af arbejdsmiljøet på en måde, der bringer det i overensstemmelse med den tekniske og sociale udvikling i samfundet. Arbejdstilsynets opgave kan bredt karakteriseres som at forbedre velfærden gennem nedsættelse af arbejdsbetingede sygdomme og ulykker (Beck Jørgensen, 1994). Kernen i denne opfattelse af offentlige organisationers opgaver er, at offentlige organisationer producerer ydelser på flere niveauer og på denne måde relaterer sig både til en mere afgrænset brugergruppe og til en større almenhed. Umiddelbart ligger det lige for at postulere, at der er en bestemt funktionel sammenhæng mellem almene ydelser og brugerrettede ydelser. Dvs. at produktionen af den brugerrettede ydelse er et middel til at opnå den almene ydelse, som udgør det overordnede mål. Det gælder da også i mange tilfælde, men i andre tilfælde kan der være konflikter mellem forskellige ydelser. Et eksempel på dette kan være forholdet mellem bevaringsopgaven på Det Kgl. Bibliotek, Nationalmuseet og Statens Museum for Kunst og det at forøge brugerrettede ydelser som udlån, udstillinger mv., der vil indebære en risiko for nedslidning og tyveri (Beck Jørgensen, 1994). I nogle tilfælde kan de brugerrettede ydelser være et middel til at opnå de almene ydelser, mens der i andre tilfælde kan være et konfliktforhold. Hvordan de to ydelsestyper står i forhold til hinanden afhænger af, hvilken form for almen ydelse der er tale om. Der kan med andre ord være en konflikt og inkonsistens i de brugerrettede og almene ydelser, som organisationen skal producere. Forholdet mellem brugerrettede og almene ydelser bør derfor afdækkes, når der udvikles en logisk model for organisationen. Tager vi udgangspunkt i det enkleste forhold mellem almene ydelser og brugerrettede ydelser, nemlig mål-middel relationen mellem et samfundsmæssigt mål (ét aspekt af den almene ydelse 5 ) og brugerrettede ydelser, er der imidlertid to kritiske forhold. For det første er der spørgsmålet om, hvor operationelt det samfundsmæssige mål er udformet. Mange statslige institutioner vil formentligt være kendetegnet ved betydelige uklarheder i formuleringen af det samfundsmæssige mål. På Arbejdstilsynets område knytter problemet sig eksempelvis til forståelsen og målingen af arbejdsmiljø. Operationaliseringen af det centrale begreb er i sig selv vanskelig. Der er her indbygget meget rummelige fortolkningsmuligheder og dermed også konfliktmuligheder (Beck Jørgensen, 1994). Ofte vil det således være lettere at udvikle indikatorer for effekter af brugerrettede ydelser. Dette kan føre til at organisationens fokus primært rettes mod den brugerrettede ydelse og i mindre grad mod de almene ydelser. Dette på trods af, at de almene ydelser i mange henseender er en central del af begrundelsen for overhovedet at have en offentlig sektor. 5 For en gennemgang af andre aspekter ved den almene ydelse henvises til Beck Jørgensen (1994). 5

12 Mads Kristiansen For det andet er der spørgsmålet om, hvorvidt der er viden om, hvilke brugerrettede ydelser der bedst fører til realiseringen af den almene ydelse og det samfundsmæssige mål. For Arbejdstilsynet kan det eksempelvis være uklart, hvilke virkemidler der fører til det gode arbejdsmiljø. Er det rådgivning og vejledning eller påbud, forbud og politianmeldelser. Med andre ord kan der være uklare mål-middel sammenhænge. Som det fremgår af det ovenstående vil der være en række opgaverelaterede faktorer, der vil have indflydelse på den enkelte organisations udfordringer ved at opstille samfundsorienterede effektmål. Der findes med andre ord ikke én universel løsning på udvikling og opfølgningen på indikatorer for effekter. Dette vil i høj grad afhænge af opgaveområdets specifikke karakter. 5. Litteratur Beck Jørgensen, T. (1994): Offentlige organisationers opgaver. Politica, Bind 26 (1994) 3 Dansk Evalueringsselskab (2004): Evalueringsterminologi. Hansen, M. B. og E. Vedung (2005): Fælles sprog i ældreplejens organisering. Evaluering af et standardiseret kategorisystem. Syddansk Universitetsforlag, Odense. Harmon, M. og R. Mayer (1986): Organization Theory for Public Administration, Boston: Little Brown Co. Rigsrevisionen (2009): Beretning til Statsrevisorerne om mål- og resultatstyring i staten med fokus på effekt. Wilson, James Q. (1989): Bureaucracy: What Government Agencies Do and Why They Do It. Free Press. New York. W.K. Kellogg Foundation (2004): Logic Model Development Guide 6

13 Carsten Strømbæk Pedersen Carsten Strømbæk Pedersen Institution Servicestyrelsen Forfatter Carsten Strømbæk Pedersen, specialkonsulent og ekstern lektor Konceptet der eksemplificeres Overordnede strategier til effektmåling I en styringssammenhæng er effektspørgsmålet yderst relevant. Et effektspørgsmål adskiller sig fra et målopfyldelsesspørgsmål ved, at sidstnævnte har fokus på opnåede resultater indenfor målområdet. Effektspørgsmålet handler derimod om, hvorvidt opnåede resultater er forårsaget af den gennemførte indsats (eller institution). Effektspørgsmålet er altså et årsags-virknings-spørgsmål. Indenfor samfundsvidenskabelig metode bruger man betegnelsen kausalitet for årsagsvirkningsforholdet. I daglig tale bruger man også termer som forårsager, medfører, påvirker, resulterer i osv., når der tales årsags-virkningsforhold eller kausalitet (Dahler-Larsen & Krogstrup 2003). Effekter forårsaget af en indsats eller institution betegnes programeffekter. Outcomes er ændringer, som kan komme til udtryk på kort, mellemlang eller lang sigt (jf. figur 1). De kan være primære eller sekundære, negative eller positive, tilsigtede eller utilsigtede etc. Man kan vælge at fokusere på outcomes på forskellige niveauer: individuelle niveau (ændringer i holdninger, viden, færdigheder etc.) organisatoriske niveau (ændringer i politikker, praksisser, kapacitet etc.) samfundsmæssigt niveau (ændringer i arbejdsløshed, uddannelsesniveau, genbrug etc.) policy eller statslige niveau (ændringer i lov, reguleringer, finansieringskilder etc.) (Mathison 2005) Hvis man fejlagtigt slutter, at en ændring i outcome er forårsaget af en given indsats eller institution dvs. at man fejlagtigt slutter, at noget er en programeffekt kan det have betydelige politiske og styringsmæssige implikationer, idet der sagtens kan forekomme en outcomeændring, uden det nødvendigvis (alene) skyldes en given indsats. Derfor er effektmåling et centralt og afgørende punkt i forbindelse med effektstyring: Måles der forkert eller ud fra forkerte antagelser, kan den ønskede styringsinformation blive til misinformation og et ukorrekt styringsgrundlag. 7

14 Carsten Strømbæk Pedersen Figur 1: Outcome-niveau, outcome-ændring og programeffekt Kilde: Rossi, Lipsey & Freeman (2004:207) Man skal være opmærksom på, at effektmåling ikke er en objektiv og neutral aktivitet. Den måde en effektmåling gennemføres på har konsekvenser for hvilke svar og konklusioner, effektmålingen kommer med. Dette har igen konsekvenser for, hvordan en indsats eller institution vurderes, og hvilke handlinger der som følge heraf sættes i værk (Hertting & Vedung 2009). I det efterfølgende vil vi se på forskellige måder, som effektspørgsmålet kan gribes an på. Logiske modeller: input, aktivitet, output og outcome Ofte besvares spørgsmålet om, hvorvidt et resultat er opnået netop pga. af denne indsats, ved at tale om input, aktivitet, output og outcome. Når en model for sammenhængen mellem indsats og effekter sætter fokus på mellemliggende resultater snarere end processer, kalder man det indenfor evalueringsteorien logiske modeller (Se figur 2) (Chen 2005; Weiss 1998). En logisk model er en systematisk og grafisk måde at præsentere en forståelse for sammenhængen mellem en række centrale faktorer: De ressourcer der er til rådighed, de aktiviteter det planlægges at udføre og endelig de resultater, man håber at opnå. Anvendelse af logiske modeller kan være en stor hjælp til at organisere og systematisere planlægningen, styringen og evalueringen af indsatser. 8

15 Carsten Strømbæk Pedersen Figur 2: Logisk model Der er behov for midler for at iværksætte indsatsen Hvis der er adgang til midlerne, så kan de bruges til at gennemføre de planlagte aktiviteter Hvis de planlagte aktiviteter gennemføres, så vil den ønskede service blive leveret Hvis de planlagte aktiviteter gennemføres i det omfang som tilsigtet, så vil deltagerne have nytte af det på forskellige måder Hvis deltagerne rent faktisk opnår nytte, så forventes der visse ændringer i fx organisationen, systemet eller samfundet Ressourcer Aktiviteter Output Outcome (kort sigt) Outcome (lang sigt) Planlagte aktiviteter Tilsigtede resultater Kilde: Pedersen (2005); W.K. Kellogg Foundation: Evaluation Handbook (1998, 2001) Logiske modeller er gode til at orientere ansatte og andre interessenter gennem en motiveret vision/plan for en given indsats. En indsats, som opstilles i en logisk model, har potentiale til at skabe fælles forståelse omkring indsatsen, og om hvordan aktiviteterne i indsatsen tænkes at hænge sammen. Logiske modeller kan bidrage med at sætte mere fokus på outcome frem for output. Logiske modeller kan også være med til at guide en evaluering, hvor hver komponent i en logisk model kan oversættes til indikatorer (performanceindikatorer). Logiske modeller er i sig selv ikke nok til at vurdere, om en given indsats fører til den ønskede effekt. I opstillingen af kausalforhold er der en logisk rækkefølge, således at det kan illustrere, at årsagen X og effekten Y optræder sammen, og at årsagen X optræder før effekten Y. Men logiske modeller bidrager ikke med en teoretisk begrundelse for, hvorfor årsagen X skulle være årsag til effekten Y. Ligeledes har logiske modeller problemer, når rækkefølgerne af årsager X og virkninger Y bliver cirkulære eller mere komplicerede (fx rekursive). Dertil kommer, at der kræves en empirisk eftervisning af forbindelsen mellem X og Y for at vurdere kausalforholdet mellem indsatsen og effekt. Forandringsteorier og programteorier I forbindelse med Resultatbaseret Styring i Socialministeriet herunder Servicestyrelsen er formulering af forandringsteori et centralt element (se figur 3 og 4). Den måde forandringsteori i praksis anvendes på, minder på mange måder om logiske modeller. 6 Men der er en (teoretisk) forskel. Man kan noget forsimplet sige at en logisk model og en programteori tilsammen udgør en forandringsteori. Nedenfor i display 1 er forsøgt at skelne mellem de tre begreber. 6 Se evt. casen Resultatbaseret Styring af Morten Froholdt i nærværende inspirationsmateriale. 9

16 Carsten Strømbæk Pedersen Display 1: Logisk model, programteori og forandringsteori Logisk model Programteori Forandringsteori En oversigt over komponenterne input, aktiviteter, output og outcome. Viser en lineær sammenhæng, men indeholder ikke forestillinger (teori) om, hvorfor indsatsen tænkes at virke. Indeholder en oversigt over de driftsmæssige aspekter af en indsats. Er nogle begrundede forestillinger (teori) om, hvorfor denne indsats skulle have disse resultater for denne gruppe mennesker i denne situation. Men også fokus på hvad der ellers sker (bi-effekter). Programteorien sætter fokus på menneskers reaktion på indsatsens aktiviteter. Kombinationen af implementeringsteori og programteori er indsatsens forandringsteori. Implementeringsteorien er teorien om, hvad der skal til for at omsætte mål til løbende servicelevering og drift. Lidt forsimplet kan man sige at en logisk model og en programteori tilsammen udgør forandringsteorien. Man vil i nærværende inspirationsmateriale se, at der knyttes forskellige betydninger til termerne. Dette afspejler blot den variation eller begrebsflimmer der i øvrigt findes i evalueringslitteraturen (Weiss 1998; Chen 2005; Daponte 2008; Kazi 2003; Frechtling 2003; Dahler-Larsen et al 2003; Donaldson 2007). 10

17 11 Kilde: Servicestyrelsen (2009): Rapport om Odense Kommunes demenskoordinatorfunktion Ressourcer Tid (timer, penge) Koordinatorer Uddannelse/kompetencer Teknologi Personale Udviklingsforum Ledelse Organisation, politikker og værdier Deltagelse i faglige netværk, erfa mv. Formidling Hjemmebesøg Telefonkontakt Rådgivning og vejledning Faglig vejledning/supervision Undervisning og information Løbende støtte Magtanvendelse Løbende støtte (magtanvendelse) Aktiviteter Forandringsteori for Demenskoordinatorfunktionen i Odense Kommune Koordinering i fh.t. sygehus, ledere, praktiserende læger m.fl. Dokumentation Indstillinger Vurderinger Projektdeltagelse Output/produkter Umiddelbare resultater Virkninger på mellemlang sigt Virkninger på lang sigt Overlevering af information/samarbejde Faglig kvalitet Daglig hjælp Fysisk træning m.m. Nye aktiviteter og viden Dagcenter, plejecenter og andre tilbud Udredning Ny viden (pårørende) Ny viden (personale) Koordination PR og rekruttering Bedre ADL Fysisk/psykisk funktion Tryghed (via information) Udvikle demensområdet Kompetencematch og -krav Undgå nedslidning hos personale Fastholdelse af medarbejdere Undgå nedslidning hos pårørende Tilfredshed hos borgere Trivsel Størst mulig livskvalitet Mulighed for mestring af eget liv Tilfredshed (kommunale mål) Figur 3: Eksempel på forandringsteori for demenskoordinationsfunktion Carsten Strømbæk Pedersen

18 Carsten Strømbæk Pedersen Figur 4: Eksempel på en forandringsteori: Et norsk/svensk udviklet program for kriminelle unge baseret på forskningsbaseret teori (MultiFunc) Kilde: Socialministeriet (Øvelsesmateriale) Kausalforhold fx illustreret ved en forandringsteori eller programteori må som nævnt testes empirisk. Der findes i metodelitteraturen to overordnede strategier til empirisk afdækning af kausalforhold (Maxwell 2004; Sommer et al 2010). Disse to strategier beskrives i korte træk nedenfor. Variansorienterede strategier I variansorienterede strategier til at belyse årsags-virkningsforhold forsøger man at henføre variationen i virkningen Y til henholdsvis årsag X og kontrolvariable Z. Strategien har fokus på, hvorvidt og i hvilket omfang variansen i X forårsager variansen i Y (Sommer, Pedersen & Halkier 2010). Under variansorienterede strategier hører metoder, hvor påvisning af effekt sker ved hjælp af kontrol. Et eksempel på en variansorienteret strategi er det kontrollerede, randomiserede eksperiment (RCT), hvor en gruppe af mennesker fordeles tilfældigt til enten at modtage en eksperimentel behandling, eller en kontrolbehandling. Ideen i et RCT-forsøg er, at grupperne bliver gjort ens ved lodtrækning, og interventionen X er den eneste væsentlige forskel mellem de to grupper af mennesker/institutioner/virksomheder (Shadish et al 2002). Figur 5 illustrerer tanken bag eksperimentet med randomisering. Den tykke pil viser den effekt, der måles programeffekten. Den stiplede pil viser den effekt, som elimineres ved lodtrækning (effekten på X randomiseres). Den tynde fuldt optrukne pil illustrerer 12

19 Carsten Strømbæk Pedersen effekten, der ikke måles dvs. den samlede effekt forårsaget af baggrundsvariable og indsats X. Figur 5: Eksperiment med randomisering Forudsætningen for et vellykket RCT-studie er, at indsatsen skal være ude over udviklingsfasen. Indsatsen skal med andre ord være stabil og driftsmæssigt på plads. Hvis indsatsen ændrer sig (væsentligt) under eksperimentet, og før resultaterne måles, vil effekterne fra de forskellige varianter af indsatsen blive blandet, og det vil være svært at afgøre, hvilke versioner af indsatsen, der havde hvilke effekter. Der er alternativer til RCT-studierne, såsom generisk kontrol, før- og eftermålinger, skyggekontrol og statistisk kontrol (Vedung 2009: ; Rossi, Freeman & Lipsey 2004). Der er situationer, hvor disse metoder er bedre end RCT-studierne til at påvise kausalforhold, da RCT-studierne typisk har de bedste vilkår inden for den medicinske verden. Flere af disse metoder anvendes fx af Det Nationale Forskningscenter for Velfærd (SFI), som er et uafhængigt nationalt forskningscenter under Socialministeriet 7. Statistisk kontrol fremhæves ofte som ikke bare et billigere alternativ til RCT-studierne, men også et alternativ der kan bidrage med mere og bedre styringsinformation. Statistisk kontrol for spuriøs effekt 8 (falsk effekt) illustreres i figur 6, hvor det forsøges at fjerne påvirkningen på indsats X fra de kontrolvariable (Z), som tages med i analysen. En kontrolvariabel (fx uddannelse, køn og alder) er en variabel, vi inddrager for at undgå skævvridning af vores centrale sammenhæng mellem indsats X og effekt Y. Ulempen er, at det ikke kan udelukkes, at der findes andre baggrundsvariable, som, hvis de havde været med i analysen, ville have forandret relationen mellem indsats X og effekt Y. Vi vil typisk fra teori kende nogle relevante, men ikke nødvendigvis alle relevante baggrundsvariable. Figur 6: Statistisk kontrol for spuriøsitet 7 Se evt. Edith Madsens case om Eksperimentelle metoder i effektmåling i nærværende inspirationsmateriale. 8 Spuriøs effekt: En tilsyneladende ikke-kausal statistisk sammenhæng. Fx en effekt (Y), som man formoder, er forårsaget af indsats X, men som i virkeligheden kan være forårsaget af bagvedliggende eller mellemliggende variable. De bagvedliggende/mellemliggende variable kan påvirke effekt Y direkte eller de kan påvirke effekt Y indirekte gennem påvirkning af indsats X. Der findes andre typer af relationer end den spuriøse mellem indsats X og effekt Y: Kæderelation, interaktionsrelation, multipel relation, direkte og indirekte relation (Andersen et al 2010: 392). 13

20 Carsten Strømbæk Pedersen Fordelen ved statistisk kontrol er, at den giver mere information end eksperimentet. Vi får ikke bare indtryk af effekten af indsats X, men også af kontrolvariablenes (Z) effekter. Variansorienterede strategier har i nogle sammenhænge svagheder, som gør, at det ikke altid er den optimale strategi til effektbestemmelse. Der knytter sig især en række praktiske problemstillinger til brugen af fx eksperimenter. Det er sjældent at forskeren eller evaluator (den, der gennemfører en evaluering) har kontrol over udførslen af indsatsen det være sig kontrol over variationerne i indsatsen X, men også i andre variable. Effekt er i mange tilfælde ikke uafhængig af den kontekst, som indsatsen befinder sig i, og mange offentlige indsatser er langt mere komplekse end det at give en pille versus ikke en pille (Pawson & Tilley 1997; Maxwell 2004; Dahler-Larsen & Krogstrup 2003). Som udgangspunkt må man finde ud af, hvilke typer af spørgsmål, der ønskes besvaret i forbindelse med effektmålingen og først herefter vælge den optimale metode under hensyntagen til indsatsen, konteksten og de øvrige komponenter, der indgår i det konkrete undersøgelsesdesign. I nogle sammenhænge vil der være brug for andet og mere end blot en gennemsnitseffekt, som de variansorienterede strategier bidrager med. Der kan være behov for en dybere forståelse af årsags-virkningssammenhængene, hvor man har mulighed for at se, om nogle komponenter i en indsats virker bedre end andre, eller om indsatsen er virksom på uforudsete måder. Med andre ord, hvad er det, der får indsatsen til at virke? I de tilfælde vil det være hensigtsmæssigt at vælge (eller supplere med) mere procesorienterede (kvalitative) strategier. Procesorienterede strategier De procesorienterede tilgange til kausalitet interesserer sig for, hvordan det går til, at indsatsen X påvirker effekten Y, hvordan X spiller en rolle i at forårsage Y. Det handler altså om den proces eller mekanisme, der forbinder X og Y. (Maxwell 2004: 23; Pawson & Tilley 1997). Ofte anvendes en kvalitativ tilgang ved procesorienterede strategier, hvor forståelsen er, at mange typer af kausale processer kan iagttages direkte. Når direkte iagttagelse af processer og mekanismer er muligt, giver det mulighed for at iagttage kausalitet i enkeltstående tilfælde. Det giver mulighed for brug af fx casestudier til kausale forklaringer (Sommer, Pedersen og Halkier 2010). Én procesorienteret strategi er process-tracing. Process-tracing er en kvalitativ metode (eller teknik). Den er anvendelig i forbindelse med at identificere og operationalisere forventninger til, hvilke empiriske fingeraftryk som en forventet årsagssammenhæng vil afsætte i forandringsprocessen. Process-tracing kan fx bruges, når man vil undersøge, hvorvidt implementeringen af nye styringssystemer rent faktisk virker efter hensigten og skaber de ønskede effekter (Beach & Pedersen 2010). Tankerne her læner sig kraftigt op ad evalueringsmodeller, som har fokus på en procesorienteret tilgang til effektbestemmelse: Theroy-based evaluation (Chen 1980, 1990, 2005), realistic evaluation (Pawson & Tilley 1997), program theorydriven evaluation (Donaldson 2007) og virkningsevaluering (Dahler-Larsen et al 2003; Dahler-Larsen & Krogstrup 2003). Virkningsevalueringsmodellen er en procesorienteret evalueringsmodel, der blev udviklet og afprøvet som et led i Projekt Udvikling af Evalueringsmodeller under Socialministeriets evalueringsprogram i perioden (Dahler-Larsen & Krogstrup 2003). I virkningsevaluering indgår både at virke, dvs. en proces, og virkning, i betydningen effekten. Ideen med virkningsevaluering er at bygge bro mellem processer og effekter. 14

21 Carsten Strømbæk Pedersen Kernen i ovennævnte evalueringsmodeller er ønsket om at udvide spørgsmålet om, hvad der virker til hvad virker, for hvem, hvordan og under hvilke betingelser. Herved opnår man en sammenhængende forståelse af, hvordan en indsats via en proces forårsager et resultat, og man har dermed fået besvaret effektspørgsmålet. Fælles for evalueringsmodellerne er, at der formuleres en såkaldt programteori for indsatsten. En programteori er nogle begrundede forestillinger om, hvorfor denne indsats skulle have disse resultater for denne gruppe mennesker i denne situation, og hvad der ellers sker. Programteori er en formulering af, hvad der får en indsats til at virke, hvorimod den logiske model, som beskrevet ovenover, har fokus på milepæle i en indsats. Den logiske model har fokus på kvantificering af komponenterne i en indsats, hvor de enkelte komponenter kan operationaliseres til kvantitative indikatorer. Programteori har fokus på kausale mekanismer: Hvad er det, der får en indsats til at virke? Anderledes formuleret, så sætter en programteori fokus på indsatsens teoretiske fundament snarere end de driftsmæssige aspekter af indsatsen, som er centralt i de logiske modeller. Figur 7: Programteori der illustrerer, hvordan en indsats kan virke på forskellige måder Kilde: Dahler-Larsen & Krogstrup 2003: 62 Figur 7 viser hvordan en indsats ledig i rotationsjob på virksomhed kan virke på forskellige måder. Der er tale om mindst to beskæftigelsesmæssige effekter: 1) Den ledige og virksomheden opnår gensidigt kendskab og tillid til hinanden, hvor den ledige får den næste ledige regulære stilling i virksomheden. 2) Den ledige kvalificeres og begynder at søge job på det almindelige arbejdsmarked. Selve effektmålingen sker ved at programteorien testes systematisk, hvor hvert enkelte led i programteorien fyldes ud med data. Data indsamles ved at bruge den eller de metoder, der er bedst til at belyse programteorien 9. I eksemplet ovenfor (figur 7) vil en efterfølgende effektmåling ikke bare kunne give viden om hvor mange, der samlet set er kommet i arbejde, men også hvilket kvantitativt forhold, der er mellem job 1 og job 2. Derudover vil den kunne give viden om, hvilke mekanismer, der er de aktive. En anden mulighed er, i stedet for at bruge programteorien til en stringent test punkt for punkt, at bruge programteorien som begrebsramme for en kvalitativ undersøgelse (Maxwell 2004). Her hæfter man forskellige kvalitative observationer op på programteoriens overordnede ramme. 9 Ud over kvalitative metoder findes der avancerede statiske metoder, som fx Structural Equation Modelling (SEM), som kan teste og vurdere årsagssammenhænge ved hjælp af en kombination af statistiske data og kvalitative kausale antagelser (Kaplan 2000). 15

22 Carsten Strømbæk Pedersen Fordelen ved en procesorienteret strategi er, at evalueringen giver bedre viden om virksomme komponenter i indsatsen, men kan potentielt også give viden om bi-effekter (positive såvel som negative utilsigtede effekter), hvilket kan give et bedre grundlag at rådgive ud fra, når det handler om at forbedre en indsats. Når en programteori formuleres, sker det altid verbalt, men kan også suppleres grafisk med et såkaldt flowchart (jf. eksemplet i figur 8). Bemærk i øvrigt, at der i figur 8 ikke er medtaget kontekstforhold (fx sociale og kulturelle normer, overenskomst mv.), som påvirker forestillingerne om, hvordan højere løn kan føre til øget elevpræstation. I eksemplet sættes der (i modsætning til logiske modeller) fokus på de kausale mekanismer. At tegne et illustrativt flowchart er ofte mere en kunstart end videnskab, og kan være den mest udfordrende del af det at udvikle en programteori. Når man arbejder med en procesorienteret strategi, skal man være opmærksom på, at man ved tolkning af årsager, effekter og relationer ikke antager lineære relationer og specificerer isolerede variable/faktorer, hvilket kan blive indtrykket, når programteorien illustreres grafisk. Fordelen ved en grafisk fremstilling er, at det kan fungere som et arbejds- og kommunikationsredskab, der kan udvikles undervejs i et undersøgelsesforløb. Det kan således fokusere og kondensere data, men også eksplicitere konklusionen fra en effektmåling. Opsamling på forskellige mellem varians- og procesorienteret strategi Variansorienteret strategi Påvise regulariteten i relationen mellem indsatsen x og effekten y. I hvilket omfang varians i indsats x medfører varians i effekt y. Fokus på forskelle og korrelationer. Effektspørgsmål starter typisk med: Er, Har, Hvor meget, I hvilket omfang og Er der en sammenhæng Eksempel på effektspørgsmål: Har jobtræningskurset fået kursisterne i arbejde? Procesorienteret strategi Forstå processer og mekanismer der forbinder indsats x og effekt y. Hvordan indsats x er medvirkende til at medføre effekt y. Fokus på mening og påvirkningen fra den fysiske og sociale kontekst. Effektspørgsmålet starter typisk med: Hvordan, Hvad, Hvorfor Eksempel på effektspørgsmål: Hvordan er jobtræningskurset medvirkende til (eller ikke medvirkende til!) at få kursisterne i arbejde? 16

23 Carsten Strømbæk Pedersen Figur 8: Eksempel på hvordan højere lærerløn på forskellige måder kan føre til øget elevpræstation Højere lærerløn Lærernes arbejdsmoral forbedres Det sociale klima i klassen bliver mere behageligt Lærerne opgiver deres øvrige jobs og lægger fuld energi i undervisningen Dygtige folk bliver tiltrukket undervisningsgerningen Lærerne arbejder hårdere og putter mere energi i forberedelse og pædagogik Lærerne udvikler et mere sympatisk forhold til eleverne Lærerne forbereder undervisningen mere grundigt Skolerne dygtige lærer ansætter Elevernes forståelse af undervisningsmaterialet forbedres Eleverne forsøger at etablere/vedligehold e et godt forhold til deres lærer Lærerne anvender en større variation af pædagogiske strategier/metoder/ læringsstile Dygtige underviser effektivt lærer mere Eleverne arbejder mere Lærerne underviser mere effektivt Øget/forbedret elevpræstation 17

24 Carsten Strømbæk Pedersen Valg af metode til effektbestemmelse Hvorvidt der skal benyttes variansorienteret eller procesorienteret strategier behøver ikke at være et enten/eller valg, men kan være et både/og valg, også kaldt mixed-method (Tashakkori & Teddlie 2003; Greene & Caracelli 1997). På den måde vil det være muligt at få både en mere ekstensiv og intensiv viden om kausalsammenhænge: Viden om sammenhænge mellem få variable udstrakt i tid og rum, samtidig med mere lokale, komplekse og kontekstnære kausalforståelser. Med kontekst menes de forhold, som spiller ind på sammenhængen mellem indsats og proces og mellem proces og resultat. Det kan fx være institutionens økonomi, beliggenhed, brugergrundlag eller bekendtgørelse. Når fokus sættes på effektstyring, bliver der også sat fokus på effektmåling: Hvordan kan vi vide, om vores indsats X nu også er årsagen til Effekt Y. En evaluering (herunder effektmåling) må basere sig systematisk vidensindsamling. I et instrumentelt perspektiv vælges den metode og model til effektmåling, der svarer til den styringslogik som indsatsen, programmet eller institutionen, som skal evalueres, er kendetegnet ved. Det handler altså om styringslogikkens syn på mål, styremiddel, implementeringens organisering og aktørernes roller (Hertting & Vedung 2009). Referencer Andersen, Lotte Bøgh; Kasper Møller Hansen & Robert Klemmesen (red.) (2009). Statskundskabens metoder, København: Hans Reitzels Forlag. Chen, Huey-Tsyh & Peter Rossi (1980): The Multi-Goal, Theory-Driven Approach to Evaluation: A Model Linking Basic and Applied Social Science. In: Social Forces, 59 (1), Chen, Huey-Tsyh (1990): Issues in Constructing Program Theory. In: Bickman, Leonard (Hg.): Advances in Program Theory. New Directions for Program Evaluation, (47). San Francisco CA: Jossey-Bass, Chen, Huey-Tsyh (2005): Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness. Thousand Oaks CA: Sage. Dahler-Larsen, Peter, Vibeke N. Andersen, Kasper Møller Hansen & Carsten Strømbæk Pedersen (2003): Selvevalueringens hvide sejl. Syddansk Universitetsforlag Dahler-Larsen, Peter & Hanne K. Krogstrup (2003): Nye veje i evaluering. Systime Daponte, Beth O. (2008): Evaluation Essentials. Methods for Conducting Sound Research. Jossey-Bass Donaldson, Stewart I. (2007). Program Theory-Driven Evaluation Science: Strategies and Applications. Mahwah, NJ: Erlbaum. Frechtling, Joy A. (2007): Logic Modeling Methods in Program Evaluation. Jossey-Bass Harrits, Gitte Sommer, Carsten Strømbæk Pedersen & Bente Halkier (2010): Indsamling af interviewdata, I: Lotte Bøgh Andersen, Robert Klemmensen, Kasper Møller Hansen: Samfundsvidenskabelig metode. Hans Reitzels Forlag 18