Guide til kvalitetsvurdering af evalueringsrapporter

Guide til kvalitetsvurdering af evalueringsrapporter

Publikationen er udgivet af Socialstyrelsen Edisonsvej 18, 1. 5000 Odense C Tlf: 72 42 37 00 E-mail: socialstyrelsen@socialstyrelsen.dk www.socialstyrelsen.dk Forfatter: Socialstyrelsen Udgivet 15-08-2012. 2

Indholdsfortegnelse Indledning... 4 Gennemførsel af kvalitetsvurderingen i praksis... 4 Skema til kvalitetsvurdering... 6 1. Imødekommer behov... 7 2. Passende evalueringsdesign... 7 3. Gyldige og pålidelige data... 8 4. Solid analyse... 8 5. Troværdige resultater... 9 6. Gyldige konklusioner... 9 7. Anvendelige anbefalinger... 10 8. Klarhed i evalueringsrapporten... 10 Opsummerende... 11 Samlet overblik over vurderinger... 11 Samlet overordnet vurdering af evalueringsrapporten... 11 Vejledning om kriterier... 12 1. Imødekommer behov... 12 2. Passende evalueringsdesign... 12 3. Gyldige og pålidelige data... 13 4. Solid analyse... 14 5. Troværdige resultater... 14 6. Gyldige konklusioner... 15 7. Anvendelige anbefalinger... 15 8. Klarhed... 16 3

Indledning Guiden til vurdering af større eksterne (satspuljefinansierede) evalueringer er et værktøj, som er et supplement til arbejdet omkring opsamling og kondensering af resultater og erfaringer fra eksterne (satspuljefinansierede) evalueringsrapporter, som er rettet mod ordførerne. Der hentes inspiration fra Europakommissionen, som i flere år har haft en lignende foranstaltning til vurdering af evalueringsrapporter gennemført for europakommissionen. Evalueringsrapporter kan have indflydelse på indsatser, organisationer og politik mv., og en faglig vurdering af evalueringsrapporterne er derfor nødvendig for at: Sikre gennemsigtighed omkring rapporternes evalueringsfaglige kvalitet for alle potentielle brugere (satspuljeordførere, projektledere, projektmedarbejdere mv.). Understøtte at Socialstyrelsen laver reflekterede og fokuserede evalueringsudbud og tilrettelægger egne evalueringer, der muliggør og understøtter kvalitet i evalueringsarbejdet. Tilskynde evaluator til at levere høj evalueringsfaglig kvalitet. Muliggøre organisatorisk (Socialstyrelsen og departement) læring om evalueringsprocessen. Gennemførsel af kvalitetsvurderingen i praksis Kvalitetsvurderingen består af 1) et vurderingsskema, og 2) en vejledning til vurdering i forhold til de fastsatte kriterier og 3) en vejledning til hvordan kvalitetsvurderingen tilrettelægges Skema til kvalitetsvurdering og vejledning om kriterier: Skemaet skal anvendes for at sikre, at vurderingen er baseret på relevante og ensartede kvalitetskriterier, og for at vurderingen fokuseres på kvaliteten af den aktuelle evalueringsrapport. Vejledningen indeholder et sæt af indikatorer. Vurderingerne foretages løbende af Metode i samarbejde med projektlederen fra den pågældende fagenhed. Når en evaluering er afsluttet, og der foreligger en endelig evalueringsrapport, sendes rapporten til Team Effekt i Metode, som gennemlæser og vurderer rapporten. Dette sker som led i den årlige opsamling, 4

der i forvejen leveres fra Metode til satspuljeordførerne. Metode inviterer herefter den ansvarlige projektleder til et vurderingsmøde, hvor de i fællesskab gennemgår vurderingsskemaet og drøfter vurderingerne. 5

Skema til kvalitetsvurdering Titel på evalueringsrapport: Rapportens karakter: Endelig rapport Udkast til endelig rapport Evalueringsrapportens dato: Enhed Børn Voksne Evt. område: Projektleder: Evaluator herunder navn og kontaktoplysninger på ansvarlige Kvalitetsvurderingen er udført af: Dato for vurdering: 6

1. Imødekommer behov Hvordan lever evalueringen op til formålet, som er formuleret i udbudsmaterialet? Vurdering 1 2 3 4 Tilfredstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 2. Passende evalueringsdesign Muliggør evalueringens design en besvarelse af evalueringsspørgsmål og/eller dække vidensbehovet? Vurdering 1 2 3 4 Tilfredsstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 7

3. Gyldige og pålidelige data Er datas gyldighed og pålidelighed? Vurdering 1 2 3 4 Tilfredsstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 4. Solid analyse Er data systematisk analyseret for at besvare evalueringsspørgsmålene og afdækker data andre informations-/vidensbehov på en valid måde? Vurdering 1 2 3 4 Tilfredsstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 8

5. Troværdige resultater I hvilken grad er evalueringens resultater begrundet i og en logisk følge af data, analyser og fortolkninger baseret på eksplicitte kriterier? Vurdering 1 2 3 4 Tilfredsstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 6. Gyldige konklusioner I hvilken grad er konklusionerne ikke-forudindtaget og fuldt ud baseret på data og resultater? Vurdering 1 2 3 4 Tilfredsstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 9

7. Anvendelige anbefalinger I hvilken grad er områder, der kræver forbedringer/justeringer identificeret i overensstemmelse med evalueringens konklusioner? Er de foreslåede muligheder realistiske og upartiske? Vurdering 1 2 3 4 Tilfredsstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 8. Klarhed i evalueringsrapporten I hvilken grad er evalueringsrapporten velstruktureret, balanceret og skrevet på en forståelig måde? Vurdering 1 2 3 4 Tilfredsstillende Argument for vurdering: Hvis relevant: Kontraktmæssige (fx tids- eller ressourcemæssige) og kontekstuelle begrænsninger (uventede forhold) 10

Opsummerende Samlet overblik over vurderinger Imødekommer behov Passende evalueringsdesign Gyldige og pålidelige data Tilfredsstillende 1 2 3 4 Solid analyse Troværdige resultater Gyldige konklusioner Anvendelige anbefalinger Klarhed i evalueringsrapporten Samlet overordnet vurdering af evalueringsrapporten Er den overordnede kvalitet af evalueringsrapporten i overensstemmelse med nedenstående: Er rapportens resultater og konklusioner pålidelige, og er der nogle særlige begrænsninger i forhold til deres gyldighed og fuldstændighed? Er informationerne/vidensgrundlaget i rapporten (potentielt) anvendelig i forhold til projektdesign, prioritering, allokering af ressourcer eller forbedre/udvikle eksisterende indsatser/projekter? På baggrund af de kontekstuelle og kontraktmæssige begrænsninger: Hvad kan styrelsen lære af evalueringsprocessen? 11

Vejledning om kriterier Denne liste med indikatorer har til formål at hjælpe med at lave den rette vurdering ved hvert af kriterierne. Den kan også hjælpe med at udforme argumentationen for hver vurdering. 1. Imødekommer behov I hvilken grad lever evalueringen op til formålet, som er formuleret udbudsmaterialet? A. Evalueringsrapporten forholder sig til og svarer på evalueringsspørgsmålene. B. Det er begrundet, hvis der er evalueringsspørgsmål, der ikke bliver besvaret. C. Evalueringen dækker den efterspurgte periode, geografiske område, målgruppe, budgetdele, reguleringer mv. D. Effekter/konsekvenser på andre politikker, indsatser, grupper, områder mv. er taget i betragtning. E. Utilsigtede virkninger identificeres. F. Der er taget højde for udviklingen i projektet. Det kan være ændringer i problemdefinition og behov i forhold til udgangspunktet. 2. Passende evalueringsdesign I hvilken grad muliggør evalueringens design besvarelse af evalueringsspørgsmål og/eller dække vidensbehovet? I nogle tilfælde, på grund af uforudsete hændelser eller evalueringens formative karakter, kan der være behov for en justering af evalueringens design. A. Projektets forandringsteori, årsagsvirkningsforhold, resultater/outcomes, den politiske og organisatoriske kontekst, relevante interessenters interesser osv. er blevet undersøgt og taget i betragtning i evalueringens endelige design. B. Evalueringens metoder er i overensstemmelse med evalueringsbehovet og ønsker. C. Metoderne er klart og tilstrækkeligt beskrevet til at kvaliteten kan bedømmes. Evalueringens metoder er beskrevet på en sådan måde, at man i princippet vil kunne gentage evalueringen og nå frem til samme resultat. D. Metoder og analyser er relevante og passende til at besvare evalueringsspørgsmålene. E. Kriterier og standarder er (præ-defineret) ved relevante evalueringsspørgsmål. 12

F. Der er redegjort for eventuelle svagheder ved de valgte metoder. G. Alternative metoder er overvejet og fordele og ulemper er forklaret. H. Hvis relevant er evalueringens design valideret af eksperter eller andre relevante interessenter (fx eksperter på et bestemt fagområde, specifik evalueringsviden (om fx RCT studier)). I. Der er taget højde for etiske problemstillinger (Anonymitet, potentielle problemer ved inddragelse af interessenter osv.) 3. Gyldige og pålidelige data I hvilken grad er data indsamlet kompetent i forhold til deres påtænkte anvendelse og er datas pålidelighed undersøgt? A. Tilgængelige kilder til data er godt afdækket. B. Relevant litteratur og tidligere evalueringer/undersøgelser er blevet vurderet og inddraget, hvor det er relevant. C. Eksisterende (sekundære) data (monitoreringssystemer) er blevet anvendt, hvor det er relevant. D. Data (informationer i øvrigt) er fri for faktuelle eller logiske fejl. E. Der er argumenteret for valgte dataindsamlingsmetoder, og er i overensstemmelse med evalueringens design. F. Datas kvalitet er blevet undersøgt. G. Mængden af kvalitative og kvantitative data er afbalancerede og tilstrækkelige til en at gennemføre en valid analyse. H. De valgte metoder til at indsamle og behandle data (survey, casestudier osv.) er egnede til at besvare evalueringsspørgsmålene. I. Begrænsninger og problemer med data er blevet diskuteret og forklaret (mulighed for generalisering, frafaldsanalyser osv.). 13

4. Solid analyse I hvilken grad er data systematisk analyseret for at besvare evalueringssprøgsmålene og dække andre informations-/vidensbehov på en valid måde? A. Er der et ekspliciteret grundlag for fortolkning af data. B. Analysen er fokuseret på de mest relevante årsags-virkningsrelationer og påvirkninger i projektets forandringsteori og der er taget højde for alternative forklaringer. C. Analysen anvender passende kvantitative og kvalitative metoder i forhold til evalueringens design og kontekst i øvrigt. D. Der er krydstjek af resultaterne. Triangulering har fundet sted relevante steder. E. Konteksten (historisk, socio-økonomisk, socialt, kulturelt etc.) er behørigt taget i betragtning. F. Rapporten afspejler, at et passende antal (bredde) af interessenter er blevet hørt. G. Input fra forskellige interessenter anvendes på en balanceret måde. H. Begrænsninger eller undtagelser i forhold til generelle forklaringer eller resultater er identificeret, diskuteret og præsenteret på en gennemskuelig måde. 5. Troværdige resultater I hvilken grad er evalueringens resultater begrundet i og en logisk følge af data, analyser og fortolkninger baseret på eksplicitte kriterier? Sammenhængen mellem resultater, analyse og data. A. Vurderinger er foretaget på baggrund af transparente kriterier. B. Fund og resultater er understøttet af solide analyser. C. Der er redegjort for generaliseringer eller ekstrapoleringer, når disse foretages (gennem sampling eller udvælgelse af cases). D. Forskelle eller modsigelser i forhold til eksisterende viden er forklaret. E. Interessenter udtalelser og holdninger er relevante steder blevet reflekteret over (fx hvorfor siger denne person dette i denne situation). F. De vigtigste resultater er i princippet reproducerbare. 14

G. Validitetsproblemer er identificeret. Afvejninger mellem intern- og ekstern validitet er identificeret og diskuteret. H. Resultaterne i analysen afspejler et acceptabelt kompromis mellem interessenters opfattelser og holdninger, og det der er observeret og estimeret. 6. Gyldige konklusioner I hvilken grad er konklusionerne ikke-forudindtaget og fuldt ud baseret på data og resultater? Er konklusionerne baseret på data og upartiske vurderinger. A. Konklusionerne adresserer evalueringsspørgsmålene og andre informations/vidensbehov. B. Konklusionerne er sammenhængende og logisk underbygget af evalueringsresultaterne. C. Der er konklusioner i forhold til de præsenterede fund i evalueringen. D. Konklusioner er fortolket i forhold til policy-konteksten. E. Konklusioner er fri af personlige eller partipolitiske overvejelser. F. Konklusioner i evalueringen er præsenteret på en fair og afbalanceret måde. 7. Anvendelige anbefalinger I hvilken grad er områder, der kræver forbedringer/justeringer identificeret i overensstemmelse med evalueringens konklusioner? Er de foreslåede muligheder realistiske og upartiske? A. Er anbefalingerne realistiske. Sandsynlige muligheder for forbedringer er identificeret. B. Anbefalinger er udledt af konklusionerne. C. Anbefalingerne dækker alle relevante hovedkonklusioner. D. De er realistiske, upartiske og potentielt brugbare. E. Relationer mellem anbefalingerne er taget i betragtning (fx prioriteringsrækkefølge). F. Anbefalinger giver visse retningslinjer i forhold til planlægning af fremtidige handlinger. G. Hvor det er muligt er omkostningerne forbundet med anbefalingerne estimeret. 15

8. Klarhed I hvilken grad er evalueringsrapporten velstruktureret, balanceret og skrevet på en forståelig måde? A. Rapporten beskriver den politik, det program eller det projekt, der evalueringens, dets kontekst, evalueringsformål, kontekstuelle begrænsninger, metode, resultater mv. på en på pæn og velstruktureret måde. B. Rapporten er velstruktureret og der er en (form for) læsevejledning, som letter læsningen. C. De vigtigste konklusioner og budskaber er opsummeret og fremhævet. D. Der er en klar opdeling mellem data, fortolkning og konklusioner. E. Rapporten indeholder et relevant og kortfattet resumé, der omfatter de vigtigste konklusioner og anbefalinger på en upartisk måde. F. Specialiserede begreber bliver kun brugt, når det er nødvendigt, og de er klart defineret. G. Tabeller, grafer, displays og lignende bruges til at lette forståelsen, de er kommenteret med beskrivende og forklarende tekst. H. God balance mellem den beskrivende og analytiske del af rapporten. I. Detaljeret information og tekniske analyser er i appendiks. J. Rapporten sætter ordentligt fokus på meget relevante spørgsmål/problemstillinger. K. Skrivestilen er tilpasset forskellige relevante målgrupper. Evaluator er opmærksom på (potentielt) forskellige behov og interesser. 16