Notat om metode-udvikling

Transkript

1 Merete Watt Blsen/Strandhlmgaard/13. februar 2012 Ntat m metde-udvikling Uddannelsessektren er den mest centrale, nødvendige g mkstningsfulde sektr i det mderne, glbale samfund. Alle har ret g pligt til uddannelse, g uddannelse er blevet en livslang aktivitet i det mderne samfund. Uddannelse er ikke mere et privat anliggende ( Jeg uddanner mig i fag X, frdi det interesserer mig ). Uddannelse er i stigende grad blevet et plitisk anliggende ( Jeg uddanner mig i fag Y, frdi her kan jeg få arbejde eller min chef ønsker, at jeg får flere eller andre kmpetencer ). Uddannelsessektren er mkstningsfuld; fejlvurderinger er dyre både fr den enkelte g fr samfundet. 1. Baggrund I frlængelse af krrespndance samt møde på Bryggen d. 8. december 2011 mellem Signe Gredal Christensen, Karl Kristian Olsen g undertegnede blev følgende plæg til et ntat frmuleret med mail dateret d. 11. december 2011 i : Metde-udvikling med fkus på vurdering af uddannelsesstrategier. Området er strt, differentieret g med frskellige målgrupper (i relatin til gegrafi, demgrafi g persnlige frhld). Overdnet blev emne g prblem frmuleret sm: hvrdan man kan etablere et system, der løbende kan pfange signaler, der tillader, at man kan udvikle en udviklingsevalueringsmdel. Målgruppen fr ntatet er primært planlæggerne dvs. frvaltningen i Undervisningsministeriet, men det kan gså læses af plitikere, administratin, frvaltning g brugere af evalueringer. Frmålet med ntatet er, at det skal kunne anvendes af målgruppen i frbindelse med udvikling g vurdering af uddannelsesstrategier. Min persnlige baggrund fr udarbejdelse af ntatet er min uddannelse samt flere års arbejde med samfundsvidenskabelige metder samt evaluering af Uddannelsesplanen sm ekstern evaluatr ii. Metde-ntat af Merete Watt Blsen 1

2 2. Indhld Ntatet har t ben at stå på. Det første udgøres af cst-effeectiveness analyser g metder (Levin & MCEwan, 2001). Cst-effectveness analyser har høj prestige i det videnskabelige hierarki; her anvendes naturvidenskabelige metdikker med hårde data sm fx krner g ører, beflkningstal, mv. Resultaterne fremlægges typisk med brug af den statistiske disciplin. Det andet ben er hentet fra evalueringsmrådet; specifikt er der tale m en relativt ung disciplin: anvendelsesrienteret g fkuseret evaluering (Pattn, 2011). I videnskabsteretisk henseende er der tale m det hermeneutiske, scialknstruktivistiske paradigme, hvr data typisk karakteriseres sm bløde g franderlige sm fx hldninger, frventninger, prcesser g lignende. I frbindelse med Uddannelsesplanen er det anbefalelsesværdigt at se på en kmbineret tilgang, hvilket gså sker i mange evalueringsmdeller herunder den, sm hidtil har været anvendt i frbindelse med evalueringen af Uddannelsesplanen. Det centrale er, at evalueringen både ser på prduktivitetsmål: Har en indsats haft en effekt? g på de prcesser, der får en indsats til at føre til præstatiner: Er brugertilfredsheden tilfredsstillende? I metdisk frstand kmbineres de kvantitative prduktivitetsmål med effektivitetsmål, der kan være både kvalitative g kvantitative. Dette indebærer selvfølgelig ngle teretiske g praktiske udfrdringer (Riism, 2006: 30-32). I dette ntat knkretiseres disse udfrdringer, g der præsenteres løsningsstrategier. 3. Afgrænsning Den verrdnede metdiske tankegang i frbindelse med anvendt frskning/evaluering kan sammenfattes i 5 punkter: Skab verblik ver situatinen Anvend teri eller mdel Fkuser indsatsen Implementer indsatsen Reflektér ver prcessen: lær af erfaringen g kvalificér indsatsen iii Eftersm de t tilgange - cst-effectiveness analyse g utilisatin-fcused-evaluatin - giver frskellig vægt til de frskellige led i den generelle evalueringsmdel, gennemgås de t tilgange metdisk - hver fr sig iv. 4. Anbefalinger: Hvrdan kan ntatet anvendes? Det anbefales at læse g anvende ntatet - fr det første v, ved at Beskrive g prblematisere de nuværende g planlagte uddannelsesstrategier i frhld til frmål (se trin A g trin 5) identificere de primære brugere (se trin 3) Metde-ntat af Merete Watt Blsen 2

3 få verblik ver de primære brugeres parathed til at indgå i den planlagte uddannelsesstrategi (se trin B (b.2 g b.3) g trin 4) få verblik ver frvaltningens parathed herunder cst-benefit betragtninger (se trin A + B g trin 1) tage stilling til interventinsmdel eller frandringsteri (se trin D g trin 9) simulere anvendelse af mulige resultater (se trin C g trin 12) fretage en samlet vurdering på basis af vennævnte: Hvrdan gribes arbejdet an med at vurdere uddannelsesstrategier? Hvilke uddannelsesstrategier skal fasthldes? Hvilke ændres? Hvilke eventuelt erstattes af andre? Det anbefales fr det andet, at sætte de individuelle strategier vi, sm man beslutter at arbejde videre med, ind i den større metdiske sammenhæng, der integrerer netp de elementer fra hver tilgang, sm man betragter sm afgørende i frbindelse med den knkrete uddannelsesmæssige strategi eller uddannelsessammenhæng. 5. Cst-effectiveness-analysis definitiner g metdecheckliste Levin g McEwan anvender uddannelsessektren sm udgangspunkt fr diskussin af cst analyser (Levin & McEwan, 2001). De finder, at der er mange definitiner på mrådet, g derfr præsenterer de et resumé af fire tilgange vii. Deres definitiner g vurderinger gengives gennem besvarelse af spørgsmål m hvilke analytiske spørgsmål teknikken besvarer; hvrledes mkstninger måles; hvrledes resultater (utcme) måles; g afslutningsvist: teknikkens styrker g svagheder. A. Cst-effectiveness analyse Analytisk spørgsmål eller prblemstilling Hvilke alternativer kan pstilles givet et specificeret effektivitetsniveau fr de færreste penge? (eller: hvilket højeste effektivitetsniveau kan fås fr et givet beløb/mkstninger?) Eller: Kan det gøres billigere på en anden måde med samme resultat? Mål fr mkstninger Ressurcer måles i penge Mål fr resultater ( utcme ) Her knstrueres effektivitets-enheder Metde-ntat af Merete Watt Blsen 3

4 Teknikkens styrker Den er relativt nemt at anvende Den er nyttig, når der er et enkelt mål eller lille antal mål at vælge imellem Teknikkens svagheder Med mange effektivitetsmål er det vanskeligt at frtlke resultaterne af en cst-effectiveness analyse Vurdering af den generelle værdi af et enkelt alternativ er kun muligt, når t eller flere alternativer sammenlignes B. Cst-benefit analyse Analytisk spørgsmål eller prblemstilling Hvilke alternative muligheder kan findes fr et givet niveau af ydelser på laveste mkstningsniveau? (eller: hvrdan ser højeste niveau af ydelser ud givet øknmisk niveau?) Er frdelene ved et enkelt alternativ større end dets mkstninger? Eller: findes der lige så gde eller bedre alternativer til samme pris? Mål fr mkstninger Den øknmiske værdi af ressurcer Mål fr resultater ( utcme ) Den øknmiske værdi af ydelser Teknikkens styrker Kan anvendes til at vurdere et prjekts abslutte værdi (i mdsætning til csteffectiveness g cst-utility analyser) Cst-benefit analyser tillader sammenligninger af mange frskellige prjekter (uddannelse, sundhed, infrastruktur mv.) Teknikkens svagheder Det er fte svært at anvende penge sm målestk i de mange frskellige uddannelsesmæssige sammenhænge. Metde-ntat af Merete Watt Blsen 4

5 C. Cst-utility analyse Analytisk spørgsmål eller prblemstilling Hvilke alternativer fr de laveste mkstninger findes - givet et vist nytte-niveau? (eller: hvilket højeste nytte-niveau kan pnås fr et givet øknmisk niveau?) Eller: Findes der alternativer til samme pris g med samme eller højere nytte-niveau? Mål fr mkstninger Ressurcer målt i penge Mål fr resultater ( utcme ) Nytte-værdi-enheder Teknikkens styrker Individuelle præferencer, hvad angår effektivitets-enheder, er indbygget Teknikken tillader, at mange effektivitetsmål indbygges i et enkelt nytte-værdi-mål Stakehlder deltagelse i beslutningsprcessen er mulig/kan fremmes med teknikken Teknikkens svagheder Det er vanskeligt at nå knsistente g nøjagtige mål fr individuelle præferencer Værdien af et enkelt alternativ kan ikke vurderes; teknikken er kun anvendelig, såfremt t eller flere alternativer sammenlignes D. Cst-feasibility analyse Analytisk spørgsmål eller prblemstilling Kan et enkelt alternativ udføres inden fr det eksisterende budget? Eller: Finders der alternativer, der kan barberes ned g derved passe ind i det eksisterende budget? Mål fr mkstninger Ressurcer måles i penge Metde-ntat af Merete Watt Blsen 5

6 Mål fr resultater ( utcme ) Nej Teknikkens styrker Tillader alternativer, det ikke er muligt at se brt fra, før end utcme er evalueret Teknikkens svagheder Prjektets værdi kan ikke vurderes, frdi utcme målinger ikke indgår Det nævnes af Levin & McEwan sm den vigtigste pinte, at uanset hvilket teknik, man ønsker at anvende i sine egne undersøgelser, er det et prblem, at der ikke kan generaliseres fra tidligere gennemførte undersøgelser til kmmende undersøgelser. Det siger sig selv, at det er vanskeligt, at anvende resultater fra en anden kntekst (et andet land), en anden målgruppe g et andet histrisk tidspunkt. (Levin & McEwan, 2001: 263). Uddannelsesmrådet repræsenterer et særligt mråde, frdi prblematikken er kmpleks g kmpliceret. Endvidere er der tale m, at der knstant sker frandringer, sm følge af samspillet mellem de samfundsmæssig frandringer viii. Der pstilles en metdisk checkliste fr evaluering af undersøgelser inden fr csteffectiveness analyser. Listen indehlder spørgsmål, sm det vil være relevant at stille i frbindelse med de frskelle mkstnings-studier (Levin & McEwan, 2001: 228 ff): Trin A: Etablering af en beslutningsramme Diskutér g besvar følgende spørgsmål: a.1 Definerer undersøgelsen mhyggeligt undersøgelsesprblemet? a.2 Indgår alternative tilgange? Er årsager g virkninger frbundet på meningsfuld måde? Er der flere eller andre alternativer, der kan indgå? a.3 Hvilken analytisk teknik giver det mening at anvende her? (cst-effectiveness, cst-utility eller cst-benefit?) Metde-ntat af Merete Watt Blsen 6

7 Trin B: Vurdering af mkstninger Diskutér g besvar følgende spørgsmål: b.1 Er alle dele ved hvert alternativ defineret mhyggeligt (dvs. inklusive persnale g hjælpemidler)? Er alt inkluderet i mkstningsvurderingen? b.2 Er målemetderne relevante? b.3 Hvis ikke, er der så en anden analyse, der skal bringes i brug? b.4 Er mkstnings analyserne differentierede, hvad angår de frskellige skalaniveauer? Anvendes det mest egnede mkstnings begreb (fx ttaltal, gennemsnit eller marginale mkstninger) i sammenligningerne? b.5 Kan de mkstninger, der sker i løbet af en årrække, vurderes? Kan tids- g penge-dimensinen vurderes i sammenhæng? Trin C: vurdering af effekter, nytte g frdele Diskutér g besvar følgende spørgsmål: c.1 Er effektivitetsmålet egnet? Ser det brt fra vigtige mål fr resultater eller alternativer, der skal indgå? I tilfælde af frskellige resultat-mål: hvrdan kmmer de i betragtning? (I cst-benefit analysen er det vigtigt, at de inkluderes i analysen.) c.2 Er det eksperimentelle, kvasi-eksperimentelle eller krrelerede evaluerings design tilstrækkeligt til at sikre, at effektivitets estimater (eller effektivitets frdele) respekterer den interne validitet? c.3 Hvis der ikke viser sig frdele ved et eksperiment, et kvasi-eksperiment eller et krrelatinsstudie, er den alternative metdlgi så beskrevet klart? c.4 Er metdikken i cst-utility analysen klart beskrevet (fx hvad angår tildeling af vægte til de variable)? Hvis perspektiv skal undersøgelsen ses fra (frældre, lærere, elever.a.)? c.5 Er der en passende analyse af, hvrdan effekterne vil frdele sig givet andre gruppers perspektiver? c.6 Kan m nødvendigt de frskellige effekter, nytte-værdier g frdele vurderes hver fr sig ver tid? Trin D: Sammenligning af mkstninger g resultater Diskutér g besvar følgende spørgsmål: d.1 Anvendes plysninger/data m mkstninger g effekter til at beregne csteffectivness ratis? Anvendes resultaterne krrekt? Virker det sm m, fejl g Metde-ntat af Merete Watt Blsen 7

8 undladelser kan ændre rangrdenen? Er resultaterne frtlket under hensyntagen til de enkelte mdellers karakteristika? d.2 Er frskelle i estimater mellem alternativer stre nk til at man vil kunne have tillid til at anvende dem sm en basis fr beslutninger? Er der fretaget en sensitivitets-analyse? Hvr rbuste er resultaterne i frhld til de frskellige antagelser m krav til data, krav til de statistiske beregninger, krav til vægtning af frskellige dimensiner eller effektivitetsmål? Trin E: Anvendelse af resultaterne Diskutér g besvar følgende spørgsmål: e.1 I hvilket mfang kan resultaterne generaliseres til den aktuelle kntekst? Kan de generaliseres til andre kntekster? 6. Anvendelsesrienteret g fkuseret evaluering definitiner g checkliste Der findes uendelig mange definitiner af rdet evaluering. I frbindelse med evalueringen af Uddannelsesplanen startede jeg med at anvende følgende definitin: Evaluering er en systematisk retrspektiv vurdering af gennemførelse, præstatin g udfald af ffentlig virksmhed, sm tiltænkes at spille en rlle i praktiske handlingssituatiner (Vedung, 1991) Efterhånden sm mine evalueringer g situatinen mkring Uddannelsesplanen i øvrigt udviklede sig, blev Vedungs definitin uhensigtsmæssig til frdel fr en definitin med et udviklingsrienteret sigte ix. Pattns definitin psitinerer sig i frhld til de almindelige mdeller på mrådet, når han i først sætning, siger, hvad hans definitin ikke gør. Anvendelses-rienteret evaluering går ikke efter et bestemt evalueringsindhld, bestemt mdel, teri eller anvendelse. Det er snarere en prces, der gør det nemmere fr de primære brugere at vælge det mest egnede indhld, mdel, metder, teri g anvendelsesmråde i deres specifikke g knkrete situatin (Pattn, 2011: 5) Et verblik ver de frskellige trin i den anvendelsesrienterede evaluering ses her: Trin 1: Skab verblik g frbered rganisatinen til at gennemføre g anvende resultater fra en anvendelsesrienteret evaluering Trin 2: Skab verblik ver evaluatrs evner g kmpetencer ved anvendelsesrienteret evaluering Metde-ntat af Merete Watt Blsen 8

9 Trin 3: De primære brugere skal identificeres, rganiseres g invlveres Trin 4: Fretag en situatinsanalyse med de primære brugere Trin 5: Evalueringens frmål bestemmer hvem de primære brugere er Trin 6: Overvej g indbyg prcesteknikker, hvis g når det er hensigtsmæssigt Trin 7: Priritér evalueringsspørgsmålene Trin 8: Undersøg m de fundamentale mråder i evalueringen belyses med egnede metder Trin 9: Fkusér på interventinsmdel eller frandringsteri Trin 10: Brug kræfter på at finde egnede metder til at tilvejebringe valide data, der understøtter den anvendelsesrienterede evaluering Trin 11: Sørg fr, at de primære brugere kender diskussinerne m dataindsamlingsmetder g deres knsekvenser Trin 12: Simulér anvendelse af resultaterne hld generalprøve! Trin 13: Fretag dataindsamlingen g vær samtidig pmærksm på, hvrdan data skal anvendes Trin 14: Præsentér data fr de primære brugere. Lyt til brugernes frtlkning g brugernes ptentielle anvendelse af data Trin 15: Udarbejd en evalueringsrapprt, der skal identificere signifikante resultater g øge anvendelse af resultaterne Trin 16: Få de primære brugere til at gøre flere interesserede i at anvende resultaterne Trin 17: Fretag en metaevaluering af den anvendelsesrienterede evaluering: vær pålidelig, find ud af mere g bliv bedre! 6.1 De metdiske trin - detaljeret g uddybet Det følgende bygger på Pattns tanker g anbefalinger (Pattn, 2011). Jeg medtager her - af hensyn min pgave kun dele af hans anbefalinger, af hensyn til målgruppe g frmål med ntatet. Jeg erstatter Pattns referencer enkelte steder med mere kendte referencer (i en eurpæisk sammenhæng). Nå der er sagt, skal gså nævnes, at Pattn ledsager sine punkter med særlige evaluerings anbefalinger til eksterne knsulenter. Trinene udgør anbefalinger med detaljerede retningslinjer til hvad man med frdel kan tænke på g fretage sig, inden evalueringen går videre; der indledes med en eller t præmisser, der frtæller under hvilke frudsætninger, anbefalingerne er givet. Metde-ntat af Merete Watt Blsen 9

10 Trin 1: Skab verblik - g frbered rganisatinen til at gennemføre g anvende resultater fra en anvendelsesrienteret evaluering x Præmisser: Prgrammer g rganisatiner, der er parate til at invlvere sig seriøst i en evaluering, har større sandsynlighed fr at deltage på måder, der frøger anvendeligheden af evalueringen Anvendelse af en evaluering er mere sandsynlig, hvis de nøglepersner, der er invlveret i g påvirket af evalueringen, bliver interesserede i, hvrdan man knkret gennemfører evidens-baserede undersøgelser; hvrdan man tænker i frbindelse med evalueringer (= evalueringsmdeller) g hvrdan man anvender evalueringer Primære pgaver fr frvaltningen: Find ud af, hvad den rganisatin, der betaler fr evalueringen, mener m nyttig g anvendelsesrienteret evaluering Skab verblik ver evalueringens kntekst gør fx følgende: Gennemgå centrale dkumenter g gennemfør interviews med nøglepersner (stakehlders) Etabler en baseline fr evalueringen Find ud af, hvrdan hldningerne til g pfattelsen af evalueringsbegrebet er Når frvaltningen/rganisatinen er klar, start med en wrkshp der vil invlvere nøglepersner, der både kan skabe verblik g pbygge tillid til evalueringen Arbejd sammen med nøglepersnerne når evalueringen skal sættes i gang Benyt den initiale wrkshp sm en mulighed fr at skabe større parathed verfr evalueringen Intrducer de standarder xi, sm evalueringen vil blive gennemført under Med udgangspunkt i de indledende erfaringer mkring arbejdet med centrale nøglepersner skabes et verblik ver, hvad næste skridt skal være g, hvad der er behv fr at gøre fr yderligere at frberede rganisatinen g/eller prgrammet, således at evalueringen kan påbegyndes Metde-ntat af Merete Watt Blsen 10

11 Trin 2: Skab verblik ver evaluatrs evner g kmpetencer ved anvendelsesrienteret evaluering Præmis: At gennemføre en udviklings- g anvendelsesrienteret evaluering kræver en særlig måde at tænke på xii samt beherskelse af særlige faglige teknikker Primære pgaver fr frvaltningen: Skab verblik ver evaluatrs grundlæggende kmpetencer herunder fx: Prfessinel viden g praksiserfaring Systematiske interview-kmpetencer Kmpetence til at fretage en situatinsanalyse Prjektledelse Refleksinskmpetencer Mellemmenneskelige kmpetencer Kulturelle kmpetencer Skab verblik ver evaluatrs lyalitet ver fr prjektet g de mulige udfrdringer, det vil være fr ham/hende Få verblik ver på den ene side evaluatrs substantielle viden g sammenhld det med de faktiske behv i den knkrete evaluering Tilpas evalueringen efterhånden sm prcessen udflder sig Find ud af, m der er brug fr en enkelt evaluatr eller m der er brug fr et team, der spænder ver en flerhed g kmbinatin af kmpetencer Vær/bliv sikker på, at evaluatrerne er frberedte på, at deres effektivitet vil blive vurderet på de primære brugeres anvendelse af evalueringen Metde-ntat af Merete Watt Blsen 11

12 Trin 3: De primære brugere skal identificeres, rganiseres g invlveres Præmis: Identifikatin, rganisatin g anden måde at invlvere de primære brugere på ptimerer den persnlige faktr, sm igen understreger, at en evaluering har større sandsynlighed fr at blive anvendt, hvis de primære brugere invlveres på måder, sm de finder meningsfulde; hvis de frnemmer et ejerskab til evalueringen; hvis de finder spørgsmålene meningsfulde g hvis de er interesserede i resultaterne. De primære brugere er persner, der har en direkte g identificerbar interesse i evalueringen Primære pgaver fr frvaltningen: Identificér g invlvér der primære brugere, der kan karakteriseres ved at være Interesserede Vidende Åbne Har kendskab til vigtige nøglepersner/stakehlders Trværdige Undervisningsparate Dedikeret til evalueringen g villige til at blive kntaktet løbende i evalueringsprcessen Skab verblik ver hvilken rlle de ptentielle, primære brugere har gennem hele evalueringsprcessen Organiser de ptentielle, primære brugere i en arbejdsgruppe (eller i et netværk), der kan tage beslutninger g invlvere sig efter behv Invlvér ptentielle brugere på alle trin af den anvendelsesrienterede evaluering Følg de løbende aktiviteter (mnitrering), interessen fr prjektet, g deltagelsen af de primære brugere - alt sammen fr at give prcessen mere energi, g frudse en stigning i de ptentielle, primære brugere Sørg fr at de seneste tilkmne primære brugere kmmer ind i de etablerede arbejdsgrupper Metde-ntat af Merete Watt Blsen 12

13 Trin 4: Gennemfør en situatinsanalyse med de primære brugere Præmisser: Brug af evaluering er persnafhængigt g knteks afhængig Sandsynligheden fr at anvende evaluering er prprtinal med centrale situatinelle faktrer. Giv derfr evaluatr ansvaret fr at arbejde med de primære brugere med henblik på at identificere, skabe verblik, frstå g handle i frlængelse af særlige situatinelle faktrer, der kan påvirke anvendelsen af evalueringens resultater Primære pgaver fr frvaltningen: Undersøg m prgrammet tidligere har været evalueret eller m der er andre frhld, der er vigtige fr at kunne frstå situatinen g dens sammenhæng. Fx kan man spørge på følgende måde: Hvis fkus er accuntability, kan man interessere sig fr, m ressurcerne er blevet anvendt hensigtsmæssigt fr at pnå de ønskede resultater. Det centrale spørgsmål er: Hvem står til regnskab fr hvem g fr hvad? Hvis fkus er akkreditering, er det centrale spørgsmål: Opfylder prgrammet minimumsstandarder fr akkreditering? [I Uddannelsesplanen kan man interessere sig fr smertegrænsen : Hvad skal der til fr at EU ikke mere vil støtte prgrammet?] Hvis fkus er Appreciative Inquiry, er det centrale spørgsmål: Hvad er det bedste ved prgrammet? Hvis fkus er egenskaber eller kausalitet, skal man anvende lgiske g rigristiske samfundsvidenskabelige metder til at bestemme frhldet mellem prgrammet g de resultater, der viser sig. Hvis fkus er på at pbygge kapacitet, skal den ledsagende evaluering gennemføres med henblik på senere at kunne gøre evalueringen mere systematisk. Hvis fkus er på det kmparative, skal evaluatrer g ptentielle brugere samarbejde m evalueringen. Hvis fkus er på lydighed, skal spørgsmålene handle m verhldelse af regler. Hvis fkus er på ekspert-inddragelse, skal spørgsmål m deres ekspert- eller eliteinfrmant- kriterier fr vurderinger besvares. Hvis fkus er på evalueringstype, skal enten evalueringsspørgsmålet eller evalueringsmdellen defineres. Hvis fkus er på kntekst, skal spørgsmål m plitisk, scial, øknmisk, kulturel g videnskabelig mgivelse besvares. Man kan fx spørge: Hvrdan påvirker denne kntekst prgrammets effektivitet? Hvis fkus er på cst-benefit analyser, er det centrale spørgsmål: hvad er frhldet mellem prgrammes mkstninger g prgrammets utcme udtrykt i krner g ører? Metde-ntat af Merete Watt Blsen 13

14 Hvis fkus er på cst-effectiveness analyser, er det centrale spørgsmål: hvad er frhldet mellem prgrammes mkstninger g prgrammets resultater/effektivitet, når resultater ikke er målt i krner g ører? Hvis fkus er på kriterier, er det centrale spørgsmål: efter hvilke kriterier (fx kvalitet, mkstninger, tilfredshed) skal prgrammet måles? Hvis fkus er på kultur, er det centrale spørgsmål: hvrledes påvirker kulturen (den kulturelle kntekst) prgram prcesser g resultater? Hvis fkus er på beslutningsprcesser, er det centrale spørgsmål: hvilke plysninger er der behv fr i relatin til specifikke fremtidige beslutninger? Hvis fkus er på beskrivelse, er det centrale spørgsmål: hvad skete i prgrammet? (der skal ikke stilles hvrfr spørgsmål i beskrivelser). Hvis fkus er på udviklingsevaluering, er frmålet med prgrammet eller den rganisatriske udvikling at indhente hurtige svar på de situatiner, der hele tiden pstår i stærkt dynamiske g kmplekse systemer under betingelser med str usikkerhed (Pattn, 2011) xiii Hvis fkus er på frskellighed, er det centrale frmål med evalueringen at lade frskellige perspektiver kmme til rde g blive belyst. Ingen enkelt knklusin eller resumerende vurdering anses fr passende. Hvis fkus er på prduktivitet, er det centrale spørgsmål: i hvilken grad er prgrammet effektivt med hensyn til at nå sine mål? Hvrledes kan det blive mere effektivt? Hvis fkus er på effektivitet, er det centrale spørgsmål: kan input reduceres uden at det går ud ver utput? Eller: Kan et større utput fås uden en frøgelse af input? Hvis fkus er på at gøre sig umage, er det centrale spørgsmål: hvr mange indgår i prgrammet på persnalesiden? Hvilke andre dimensiner kan inddrages fr at belyse at gøre sig umage? Hvis fkus er på empverment g evaluering af denne, skal evalueringen udføres på en måde, der styrker deltagernes beslutningsevne g plitiske agenda (Fettermann & Wanderman, 2005 sm citeret hs Pattn, 2011: 184) Hvis fkus er på lighed, er det centrale spørgsmål: Bliver deltagerne behandlet retfærdigt g rimeligt? Hvis fkus er etngrafisk, er det centrale spørgsmål: hvilken kultur eksisterer i prgrammet? Hvis fkus er på hvrvidt prgrammet lader sig evaluere, er det centrale spørgsmål: Er prgrammet klar til en frmel evaluering? Hvrdan er muligheden fr frskellige evalueringstilgange g metder? Hvis fkus er på ekstensitet/mfang, er det centrale spørgsmål: Er prgrammet i stand til at tage sig af hele prblematikken? Hvrdan ser det ud, hvis man sammenligner det nuværende service-niveau g dets virkninger med det service-niveau, der er behv fr g virkningerne heraf? Hvis fkus er på en ydre evaluering, er det centrale, at evalueringen fretages af eksterne g uafhængige specialister fr at øge evalueringens trværdighed. Hvis fkus er på frmativ evaluering, er det centrale spørgsmål: Hvrdan kan prgrammet frbedres? Hvis fkus er på mål, er det centrale spørgsmål: I hvilken udstrækning er prgrammets mål g resultater nået? Hvis fkus er på mål-fri evaluering, er det centrale spørgsmål: I hvilken grad er deltagernes faktiske behv blevet pfyldt? Hvis fkus er på inkluderende evaluering, er det centrale at betne inkludering af stakehlders, at anvende dialg-baserede dataindsamlings Metde-ntat af Merete Watt Blsen 14

15 metder m scial retfærdighed, kulturel pluralisme g vergange. Hvis fkus er på (på)virkninger, er det centrale spørgsmål: Hvad er de direkte g indirekte prgram virkninger ver tid ikke kun i frhld til deltagerne men gså i frhld til større (rganisatriske) systemer g samfundet? Virkningsevaluering mfatter fte fkus på bestemmelsen af, hvrvidt resultaterne faktisk kan være frårsaget af interventinen. Hvis fkus er på implementering, er det centrale spørgsmål: I hvilket mfang blev prgrammet implementeret sm det var planlagt? Hvad skete der undervejs, sm der er behv fr at se på fremver? Hvis fkus er på input, er det centrale spørgsmål: Hvilke ressurcer, penge, persnale, faciliteter, teknlgi mv.) haves g/eller er nødvendige? Hvis fkus er på intern evaluering, er det centrale, at prgram-ansatte gennemfører evalueringen. Hvis fkus er på interventinsrienteret evaluering, er det centrale, at evalueringen skal designes til at understøtte prgrammets ønskede resultater. Hvis fkus er på viden, er det centrale spørgsmål: Hvad kan læres af erfaringerne med dette prgram? Af resultaterne? Hvad kan indgå i fremtidige prgrammer? Hvis fkus er på Lgical Framewrk Apprach, er det centrale at specificere: mål, frmål, utput g aktiviteter g ledsagende antagelser xiv. Hvis fkus er på lngitudinale studier, er det centrale spørgsmål: Hvad sker med prgrammet g deltagerne ver tid? Hvis fkus er på metaevauering, er det centrale spørgsmål: Blev evalueringen vel-gennemført? Er det værd at anvende? Opfyldte evalueringen de prfessinelle krav g standarder? Hvis fkus er på missin, er det centrale spørgsmål: I hvilken grad har prgrammet pfyldt sin verrdnede missin? Hvr gdt understøtter de frskellige afdelingers individuelle prgrammer den verrdnede missin? Hvis fkus er på mnitrering, er det centrale at løbende indsamle g analysere data. Hvis fkus er på mnitrering g evaluering (fte mtalt sm M&E), er det centrale at integrere de t dimensiner. Hvis fkus er på behvs-vurdering, er det centrale spørgsmål: Hvad har klienter behv fr g hvrledes kan deres behv pfyldes? Hvis fkus er på behvs-baseret, se mål-fri evaluering. Hvis fkus er på nrmer (i andre grupper), er det centrale at sammenligne med en specifik nrm eller en specifik referencegruppe. Hvis fkus er på resultater, er det centrale spørgsmål: I hvilken grad nås de ønskede resultater? Hvad er effekten af prgrammet på klienterne eller deltagerne? Hvis fkus er på participatrisk evaluering, er det centralt at inkludere alle ptentielle brugere i evalueringen. Hvis fkus er på persnale evaluering, er det centrale spørgsmål: Hvr effektivt udfører persnalet deres pgaver med henblik på at nå de mål, sm de skal nå? Hvis fkus er på prcesser, er det centrale at evaluere de aktiviteter g hændelser, der sker sm del af implementering: Hvad plever deltagerne i prgrammet? Hvad er styrker g svagheder i de daglige peratiner? Hvrdan kan disse prcesser frbedres? Hvis fkus er på prdukter, er det centrale spørgsmål: hvad er mkstninger, hvad er nytte-værdien g, hvrdan ser markedet ud fr et specifikt prdukt? Metde-ntat af Merete Watt Blsen 15

16 Hvis fkus er på det at spørge, er det centrale spørgsmål: Hvad ønsker de ptentielle brugere at vide, sm ville kunne gøre en frskel fr, hvad de fretager sig? Evalueringen besvarer spørgsmål i stedet fr at fretage vurderinger. Hvis fkus er på realistisk evaluering, er det centrale spørgsmål: Hvilke underliggende eller bagvedliggende mekanismer er der i prgrammet? Hvilke (bagvedliggende) værdier medvirker til, at prgrammet kan anvendes i sciale sammenhænge? Hvad virker fr hvem, under hvilke mstændigheder, på hvilke mråder g hvrdan sker det? (Pawsn & Tilley, 2005). Hvis fkus er på RealWrld evaluatin, er det centrale spørgsmål: Hvrdan kan en evaluering fretages under hensyn til budgetter, tid, data g plitiske betingelser i øvrigt? (Bamberger, Rugh & Mabry,2006; efter Pattn, 2011: 186) Hvis fkus er på summativ evaluering, er det centrale spørgsmål: Skal prgrammet frtsætte? Hvis JA, på hvilket niveau? Hvad er den verrdnede værdi af prgrammet? Hvis fkus er på systemet, er det centrale at anvende systemtænkning, begreber, perspektiver g tilgange sm ramme fr evalueringen. Hvis fkus er på terier m scial frandring, er det centrale at se på vergange g sammenhænge mellem input, aktiviteter, krtsigtede resultater g langsigtede resultater. Hvis fkus er på transfrmativ evaluering, er det centrale at se på de frskellige mennesker i evalueringen på en måde sm er etisk respektfuld ver fr deres kultur, perspektiver, plitiske g øknmiske realiteter, sprg g samfunds-pririteringer. Hvis fkus er på anvendelsesrienteret evaluering, er det centrale spørgsmål: Hvilke plysninger er der behv fr, g hvilke infrmatiner ønskes af de primære brugere? Hvilke af disse plysninger vil rent faktisk blive anvendt til at frbedre prgrammet g i beslutningsprcessen? xv Identificér faktrer, der kan understøtte anvendelsen af en evaluering Undersøg m der er mulige barrierer eller mdstand md brug af resultaterne xvi Skab klarhed ver de ressurcer, der er til evalueringen Identificér kmmende beslutninger, deadlines eller andre tidspunkter, sm evalueringen skal pfylde fr at kunne anvendes. Frlang at evaluatr er realistisk hvad angår terminer g kritiske deadlines Skab verblik ver ledelsespbakning g ledelsens åbenhed ver fr evalueringer Metde-ntat af Merete Watt Blsen 16

17 Skab verblik ver evalueringens plitiske kntekst g undersøg hvrdan plitiske faktrer kan påvirke brugen af evalueringen Skab verblik ver, hvad evaluatrs psitin sm intern eller ekstern knsulent i evalueringen betyder eller m kmbinatiner af interne-eksterne skal fretrækkes Skab verblik ver, hvrdan det mest egnede evalueringsteam ser ud, således at de nødvendige kmpetencer, ekspertise, trværdighed g kulturelle kmpetencer er til stede Vær pmærksm på følgende t frhld: Handlinger dvs. pgaver, der skal udføres, g Hldninger dvs. persnlige eller interpersnelle frhld, der understøtter eller mdarbejder pgavernes gennemførelse Risik analyse: skab verblik ver Risici hvad angår ideer g prjekt-prblemer Implementerings risici Resultat risici Frtsæt med at skabe verblik ver den viden, sm evalueringen frembringer g de erfaringer, sm de ptentielle primære brugere erhverver sig STOP OP g betragt de første 4 trin på listen, vurdér deres resultater g de måder, sm de frskellige dele interagerer på Fretag en verrdnet situatinsanalyse: Hvr gdt passer evalueringsteamets kapacitet med rganisatinens parathed g behv fr evaluering med de ptentielle primære brugeres parathed til at gå videre med evalueringspgaven? Metde-ntat af Merete Watt Blsen 17

18 Trin 5: Evalueringens frmål bestemmer hvem de primære brugere er Præmis: Frmålet med den anvendelsesrienterede evaluering er, at de primære brugere anvender den. Primære pgaver fr frvaltningen: Overvej alternative frmål sammen med de primære brugere fx: Overvej følgende: Hvrdan kan evalueringen bidrage til en frbedring af prgrammet? Overvej følgende: Hvrdan kan perspektivet fra en summativ evaluering bidrage til at der kan træffes større beslutninger m prgrammet? Overvej følgende: Hvrdan kan prgrammets trværdighed øges? Overvej følgende: hvrdan en mnitrering kan anvendes? Overvej hvrdan prgrammet (her: Uddannelsesplanen generelt g specifikt uddannelsesstrategier i frhld til særlige mråder) kan anvendes i et udviklingsperspektiv Overvej hvrdan evalueringen kan bidrage med ny g anvendelsesrienteret viden Fretag en priritering mellem de frskellige evalueringsfrmål Metde-ntat af Merete Watt Blsen 18

19 Trin 6: Overvej g indbyg prcesteknikker, hvis g når det er hensigtsmæssigt Præmis: De prcesser, der anvendes i frbindelse med gennemførelsen af en evaluering, har betydning fr dem, der er invlveret i evalueringen Primære pgaver fr frvaltningen: Overvej de frskellige mulige prcesteknikker sammen med de primære brugere Overvej m eller hvr meget evalueringstankegange kan kmme til at præge rganisatinskulturen/frvaltningskulturen sm en del af den gennemførte evaluering Overvej hvrdan evalueringen gennemføres, hvem der er invlveret g m situatinen kan medføre en øget frståelse af parternes gensidige hldninger til hinanden Overvej muligheden fr at anvende evalueringsprcessen til at understøtte g frstærke prgrammets interventiner Overvej ptentielle virkninger af de metder, der anvendes til dataindsamlingen; deres effekter g reaktinerne herpå skal tydeliggøres (det handler m gså at være pmærksm på knsekvenser af knsekvenser xvii ) Overvej måder sm evalueringen kan gennemføres på g sm vil medføre øget viden, færdigheder, tillid, beslutningskraft g en frnemmelse af ejerskab blandt dem, der er invlveret i evalueringsarbejdet, i prgrammet g gså blandt dem, der financierer evalueringen g prgrammet Overvej hvrdan evalueringen kan bidrage til såvel prgrammet sm rganisatinens udvikling Repetér betragtninger m bekymring, frbehld, skænderier, mkstninger g ptentielle psitive g negative effekter ved at gøre brug af prcesteknikker i evalueringen Metde-ntat af Merete Watt Blsen 19

20 Undersøg frhldet g samspillet mellem ptentielle prces-data g resultatdata Priritér indsamling af prces-data i evalueringen g planlæg at indbygge denne teknik i designet Trin 7: Priritér evalueringsspørgsmålene Præmis: Ingen evaluering kan se på alt. Der skal fretages pririteringer. Fkus er her på den prces, der fører til at pririteringer kan faciliteres. Primære pgaver fr frvaltningen: Anlæg kriterier fr gde anvendelsesrienterede evalueringsspørgsmål dvs. anvend et klart sprg, krte rd, psitive frmuleringer (dvs. undgå ikke g andre negatiner), få sætninger, tydelige begrebsdefinitiner, enkle skalaer med relativt få kategrier, en neutral- eller ved-ikke kategri (hvis det er muligt). Inkludér de særlige frhld, sm undersøgelsen handler m, spørgsmål m handlinger g hldninger, g baggrundsfrhld. Undersøg m spørgsmålene kan frstås, m spørgsmålene kan besvares, m spørgsmålene vil blive besvaret, hvrdan andre har stillet spørgsmål m det samme, hvilke spørgsmål andre har stillet m samme emne g prblematik, hvad andre spørgeskemaundersøgelser anbefaler at gøre eller ikke gøre, hvrdan din planlagte fremgangsmåde vil virke (dvs. fretag en frprøve) xviii. Vær pmærksm på de frbehld, sm de primære brugere har i frbindelse med pririteringen af evalueringsspørgsmålene Metde-ntat af Merete Watt Blsen 20