VEJVISER TIL EVALUERING. - til projekterne under LIGHED I SUNDHED

VEJVISER TIL EVALUERING - til projekterne under LIGHED I SUNDHED 2006

Vejviser til evaluering - Til projekterne under "Lighed i sundhed"

Vejviser til evaluering Til projekterne under Lighed i Sundhed Udarbejdet af COWI for Sundhedsstyrelsen Sundhedsstyrelsen Islands Brygge 67 2300 København S URL: http://www.sst.dk Kategori: Rådgivning Emneord: Evaluering; Social ulighed Sprog: Dansk Version: 1.0 Versionsdato: December 2006 Elektronisk ISBN: 87-7676-391-9 Format: pdf Udgivet af: Sundhedsstyrelsen

Indhold 1 Introduktion 5 1.1 Evalueringsguidens opbygning 5 2 De første skridt 6 2.1 Hvorfor evaluere? 6 2.2 Hvad er evidens? 7 2.3 Indledende overvejelser 7 3 Design af en evaluering 10 3.1 Slutevaluering eller løbende evaluering 10 3.2 Evalueringstyper 10 4 Dataindsamlingen 13 4.1 Valg af metoder til dataindsamling 13 5 Værktøjskassen 17 5.1 Interessentanalyse 17 5.2 Evalueringskriterier 18 5.3 Logical Framework Approach 19 5.4 Hvordan måles rigtigt? 22

1 Introduktion Dette er en guide til evaluering af projekter, som alle deltager i et samarbejdsprojekt med Sundhedsstyrelsen: "Lighed i sundhed". Men håbet er, at også andre kan få glæde af de råd, som findes i evalueringsguiden. Evalueringsguiden er henvendt til personer, som arbejder med forebyggelsesprojekter, der skal evalueres. Guiden er målrettet dels projekter, som selv skal gennemføre en projektevaluering, dels projekter der evalueres af en ekstern evaluator. Selv om et projekt skal evalueres af en ekstern evaluator, er det altså vigtigt at gøre sig de overvejelser, der er indeholdt i guiden. Evalueringsguidens litteraturhenvisninger efter hvert kapitel vil især være af interesse for de projektmedarbejdere, som selv skal gennemføre en projektevaluering. De kan her finde mere information om de emner, som er behandlet i kapitlet. Formålet med evalueringsguiden er at: Sætte fokus på temaet evaluering og formidle de vigtigste råd og principper for god evaluering af forebyggelsesprojekter Inspirere til, hvordan en evaluering kan gennemføres Foreslå litteratur og links, hvor der kan hentes viden om evaluering Evalueringsguiden skal altså inspirere med råd og vejledning om evaluering. Interesserede kan så selv vælge at gå videre med at opsøge mere viden om evaluering, fx i den litteratur, der henvises til. Tekstboks 1: Om evaluering af "Lighed i sundhed" "Lighed i sundhed" er en statslig pulje på 24 mio. kr., der støtter og fremmer sundhed for udsatte grupper. Resultatet af "Lighed i sundhed" skal blandt andet være rådgivningsmaterialer til brug for kommuner og deres samarbejdspartnere. Evalueringen af "Lighed i sundhed" skal sikre, at de metoder, som anvendes i projekterne til at nå de socialt udsatte, bliver systematisk vurderet. Med udgangspunkt i evalueringen skal de bedste metoder kunne udvælges, så de kan spredes ud til andre kommuner og deres samarbejdspartnere. 1.1 Evalueringsguidens opbygning Evalueringsguiden har fem afsnit. Ud over indledningen indeholder guiden følgende: De første skridt beskriver formålet med at gennemføre evalueringer, og hvilke overvejelser man bør gøre sig fra starten. Design af en evaluering introducerer de overordnede evalueringstyper, som en evaluering kan designes efter. Dataindsamlingen handler om valg af metoder til at indsamle data. Værktøjskassen præsenterer en række konkrete værktøjer, man med fordel kan benytte sig af, når man skal gennemføre en evaluering. Vejviser til evaluering 5

2 De første skridt I det her kapitel beskrives, hvorfor det er relevant at evaluere. Vi gennemgår de første vigtige skridt i forbindelse med en evaluering. 2.1 Hvorfor evaluere? Hvad er formålet med at evaluere? Typisk er der to formål, som går igen ved de fleste evalueringer. Det er: Kontrol: Evaluering sikrer, at ressourcerne anvendes fornuftigt Læring: Evaluering er et instrument til læring Vi forstår evaluering som en vurdering af værdien af en indsats. At evaluere handler om at måle eller vurdere processen i forbindelse med indsatsen og/eller om indsatsen har været effektiv 1. Mange forskellige indsatser kan evalueres, fx en kampagne, et undervisningsforløb, et bistandsprogram eller et projekt. I denne guide er der fokus på evaluering af projekter. Et projekt kan forstås som en opgave, der består af en række aktiviteter, som har et start- og sluttidspunkt. Definition Definition Tekstboks 2: Social ulighed i sundhed og evaluering? "Lighed i sundhed" handler om at søsætte initiativer og gennemføre projekter, der kan mindske den sociale ulighed i sundhed. Vi ved, at uligheden i sundhed er markant. Men der er meget begrænset viden om, hvad der kan modvirke social ulighed i sundhed. Og hvilke metoder der er effektive. "Lighed i sundhed" skal være med til at levere svarene på disse spørgsmål. Om den sociale ulighed i sundhed ved vi blandt andet: at 75 % af kontanthjælpsmodtagerne har andre problemer end ledighed (fx nedsat arbejdsevne pga. sygdom, ulykker, misbrug eller tidligere arbejdsmæssige belastninger) (SFI undersøgelse). at en sundhedsprofil fra Københavns Kommune viser, at 83 % vurderer deres helbred som godt/virkelig godt, mens det tilsvarende tal for borgerne uden for arbejdsmarkedet er 61 %. (Københavns Kommunes sundhedsprofil). Sygemeldte kvinder med kort uddannelse må vente betydeligt længere tid - nemlig i gennemsnit 40 dage - på at blive behandlet i sundhedsvæsenet end akademikere, som kommer til efter blot seks dage (Undersøgelse fra Kvindeligt Arbejderforbund). Hvis man bor på Nørrebro, lever man ligeså længe som i Rumænien. Hvis man bor i Søllerød, lever man ligeså længe som i Sverige (undersøgelse refereret i Berlingske Tidende den 25. september 2006). 1 Effektiv skal her forstås bredt, dvs. har indsatsen været god/dårlig, har den virket og har den nået sine mål? Vejviser til evaluering 6

2.2 Hvad er evidens? På sundhedsområdet lægges der stor vægt på, at nye metoder og behandlingsformer først skal udbredes, når der er en vis sikkerhed for evidensen. Forenklet sagt vil det sige, at det først skal undersøges, om det kan betale sig at udbrede metoden eller behandlingsformen. Man har igennem lang tid arbejdet med evidens i den medicinske verden. Her taler man om evidensbaseret medicin, hvor nye lægemidler og behandlingsformer testes. Her er randomiserede og kontrollerede forsøg den typiske målestok. Forsøgspersoner bliver fordelt tilfældigt til enten aktiv eller uvirksom behandling (såkaldt placebo) eller ingen behandling. Indenfor forebyggelse og sundhedsfremme tales også om evidens. Her er evidens i bred forstand information, herunder forskningsbaseret viden, der besvarer tre spørgsmål: 1. Hvad ved vi om årsagerne til en given helbredstilstand, dens udbredelse, udtryk og mulige konsekvenser for den enkelte og større grupper? 2. Er der adgang til viden om allerede gennemførte interventioner, og ved vi hvor effektive de er? 3. Under hvilke betingelser og rettet mod hvilke målgrupper har de mest lovende interventioner størst mulighed for at give relevant effekt? Når man taler om evidensbaseret forebyggelse, handler det om at sikre velovervejet og eksplicit anvendelse af den bedst foreliggende viden i forbindelse med indsatser målrettet enkeltpersoner, små og store grupper eller eventuelt hele befolkningen. 2.3 Indledende overvejelser En vellykket evaluering kræver, at en række forhold er i orden. Følgende forhold skal overvejes, inden man påbegynder et evalueringsforløb: Valg af evaluator Bemanding Tidsplan Økonomi (budget) Efter evalueringen Projektbeskrivelse for evaluering Valg af evaluator Spørgsmålet om, hvem der skal evaluere, afhænger blandt andet af krav fra opdragsgiver, økonomi og ressourcer. Nogle gange kræver opdragsgiver for eksempel en ekstern evaluering. Man skal altid overveje, hvor mange økonomiske midler, der er til rådighed til evalueringen. Ekstern bistand er typisk dyrere end selv at gennemføre evalueringen. Hvis projektholdet vælger at køre hele - eller dele af - evalueringen selv, så bør man overveje, om holdet har de nødvendige erfaringer og kompetencer til at løfte Vejviser til evaluering 7

opgaven. Hvis evalueringen både indeholder en løbende evaluering og en slutevaluering, kan man overveje at opdele evalueringen, så projektholdet selv gennemfører den løbende evaluering, mens der hentes ekstern bistand til slutevalueringen. Bemanding Hvad enten evalueringsopgaven købes ude i byen eller forestås af projektholdet, bør man vurdere evaluators erfaringer fra tidligere evalueringer og uddannelsesmæssige baggrund. Med andre ord, kan de pågældende personer magte opgaven? Hvis, en ekstern konsulent skal løse opgaven, vil der ofte være en beskrivelse (CVer) af de personer, som udgør evalueringsholdet. Tidsplan Den, der skal stå for evalueringen, bør som minimum udforme en tidsplan - og gerne en aktivitets- og tidsplan. En aktivitetsplan viser, hvad der skal udføres af hvem i forbindelse med evalueringen. En tidsplan viser, hvornår de forskellige faser og opgaver skal være færdige. Økonomi (budget) De økonomiske midler, som er til rådighed for evalueringen, er bestemmende for de ambitioner, evalueringen skal opfylde. Som tommelfingerregel kan man sige, at der skal afsættes 5-10 % af projektets budget til evaluering. Der bør altid udformes et specificeret budget for evalueringen. Efter evalueringen Rigsrevisionen har analyseret statens brug af evalueringer 2. Rigsrevisionen kom frem til, at der i staten evalueres mere og mere, men resultaterne fra evalueringerne bliver ikke anvendt godt nok. Der er altså god grund til at fokusere på, hvordan brugen af evalueringer kan forbedres. Derfor bør man allerede inden opstart af en evaluering overveje, hvad den skal bruges til, så man ikke ender med en rapport, der arkiveres på en reolhylde. Projektbeskrivelse for evaluering Der bør altid udformes en projektbeskrivelse for evalueringen. Inden denne udformes bør man som minimum have overvejet de ovennævnte punkter om valg af evaluator, bemanding, tidsplan, økonomi, og hvad der skal ske efter evalueringen. En projektbeskrivelse beskriver evalueringsopgaven og definerer dens formål. Projektbeskrivelsen sikrer på den måde retning og struktur i evalueringen. 2 Rigsrevisionens beretning 14. april 2005 Vejviser til evaluering 8

Huskeliste Inden du begynder på en evaluering, skal du kunne svare på følgende spørgsmål: Hvorfor skal der gennemføres en evaluering af dit projekt? Hvem varetager bedst evalueringen? Hvordan skal projektbeskrivelsen for evalueringen se ud? Har evaluator de fornødne kompetencer til at gennemføre evalueringen? Har evaluator udarbejdet en tidsplan for evalueringen? Foreligger der et specificeret budget for evalueringen? Hvad skal der ske efter at evalueringen af dit projekt er afsluttet? Hvis du vil vide mere: 1. "Evalueringsredskab - online håndbog med tips og anbefalinger", Sundhedsstyrelsen (www.sst.dk/subsites/evaluering.aspx). God all-round guide. Indeholder oplysninger om, hvad man skal gøre i den indledede fase af en evaluering. Indeholder ligeledes en gennemgang af alle evalueringens faser. 2. "Det gode konsulentkøb - en guide til udvælgelse og køb af konsulentydelser", Dansk Management Råd (kan downloades fra www.dmr.nu). Beskriver hvilke overvejelser man bør gøre sig, hvis der fx skal indhentes konsulentbistand til en evaluering. 3. Viden og evidens i forebyggelsen (www.sst.dk/publ/publ2004/evidensviden.pdf). I antologien beskriver syv forskellige forskere, hvordan netop deres forskningsdisciplin bidrager til forebyggelsens vidensgrundlag, og hvilke krav man kan stille til kvaliteten af den forskning, der anvendes. Vejviser til evaluering 9

3 Design af en evaluering Vi præsenterer i dette kapitel to overordnede design af evalueringer - slutevaluering og løbende evaluering. Endvidere gennemgås de fire vigtigste evalueringstyper. 3.1 Slutevaluering eller løbende evaluering Der skal tages stilling til, om evalueringen skal gennemføres som en slutevaluering eller som en løbende evaluering. Der er således to overordnede måder at angribe en evaluering på: Slutevaluering: Evaluering af en indsats efter at den er afsluttet (expost evaluering). Evalueringen kan finde sted umiddelbart efter eller længere efter afslutningen. Løbende evaluering: En evalueringsproces, der indtænkes før indsatsen sættes i gang. Eventuel med en midtvejsevaluering og/eller flere punktevalueringer undervejs. Den mindst ressourcekrævende evaluering er en simpel slutevaluering. Evaluator analyserer for eksempel, hvad der var formål og delmål med projektet. Dette sammenholdes med de aktiviteter, der er gennemført og den effekt, som projektet har haft. Et løbende evaluering er typisk mere krævende, da der allerede fra starten af projektet skal tænkes i evaluering. Ved en løbende evaluering er det vigtigt at overveje, hvad der giver mening at evaluere undervejs i evalueringsprocessen. Tekstboks 3: Om evalueringen af "Lighed i sundhed" I forbindelse med "Lighed i sundhed" skal der gennemføres både en egenevaluering og en tværgående evaluering. Projekterne er ansvarlige for egenevalueringen, mens Sundhedsstyrelsen er ansvarlig for den tværgående evaluering. Indholdet i projekternes egenevaluering vil variere fra projekt til projekt - afhængigt af fokus og aktiviteter i det enkelte projekt. Den tværgående evaluering gennemføres som en ekstern evaluering, dvs. at Sundhedsstyrelsen hyrer et konsulentfirma eller lignende til at stå for evalueringen. Projekterne skal bidrage til den tværgående evaluering. 3.2 Evalueringstyper Der findes over 80 forskellige typer af evalueringer. Som eksempler kan nævnes effektevaluering, virkningsevaluering, præstationsmåling, interessentevaluering, brugerinddragelsesevaluering og kompetenceevaluering Det er ikke nødvendigt at kende alle disse evalueringstyper, hvis man skal gennemføre en evaluering eller bestille en evaluering. De fleste af evalueringstyperne falder inden for fire kategorier, som man kan nøjes med at orientere sig efter: Vejviser til evaluering 10

Målopfyldelsesevaluering: Formålet er at undersøge, om den evaluerede indsats har indfriet nogle på forhånd opstillede mål. To spørgsmål besvares typisk i en målopfyldelsesevaluering: Er de opstillede mål opfyldt? Har indsatsen bidraget til målopfyldelsen? Effektevaluering: En effektevaluering søger at afdække de samlede effekter af indsatsen. Dette gælder både forudsete og uforudsete effekter, positive og negative effekter og effekter inden for og uden for målområdet. Fokus kan være på effekten på kort eller længere sigt. Effektevaluering benyttes ofte, når der søges svar på samfundsmæssige konsekvenser af politiske tiltag. Procesevaluering: Formålet er at undersøge, hvordan en given proces gennemføres. Og hvordan en proces kan forbedres. Der vil derfor ofte være et løbende læringsaspekt forbundet med en procesevaluering. En procesevaluering følger typisk en institution eller en organisation i en afgrænset periode og vurderer udviklingen i resultaterne. Aktørevaluering: En aktørevaluering anvendes som en samlet betegnelse for både brugerevaluering, interessentevaluering og kollegial evaluering. Det centrale er her, at det er aktørernes egne kriterier, der anvendes som vurderingskriterier i evalueringen. Brugerevaluering fokuserer på brugernes kriterier, interessentevaluering anvender de relevante interessenters kriterier, og kollegial evaluering anvender de professionelle kollegers kriterier. Mange evalueringer kombinerer elementer fra disse fire overordnede evalueringstyper. En kombination kunne fx være målopfyldelsesevaluering og aktørevaluering. I et projekt, som har haft til formål at ændre arbejdsløses kostvaner, kunne det i evalueringen undersøges: For det første om de arbejdsløse rent faktisk har ændret kostvaner som forventet - spiser de fx mere grønt? (målopfyldelsesevaluering) For det andet om de arbejdsløses egen opfattelse af deres kostvaner har ændret sig? (aktørevaluering) Måske oplever de at spise mere grønt, mens et studie af deres indkøbsmønster før og efter projektet viser, at de ikke har ændret adfærd. Dette vil være et interessant resultat for evaluator. Designfasen er krævende. Det gælder om at få et overblik over hele evalueringen. Man skal så at sige kunne "se" hele evalueringen for sig. Designfasen handler om at tilrettelægge evalueringen - at give den form så at sige. Det indebærer granskning af relevant materiale og valg af evalueringsmetode. Jo mere der kan fastlægges på forhånd, jo bedre. Dog skal man også være åben for ændringer i designet, hvis der dukker noget op i løbet af evalueringen, som gør en klogere. Huskeliste Når du designer din evaluering, skal du kunne svare på følgende spørgsmål: Skal evalueringen af dit projekt designes som en slutevaluering eller som en løbende evaluering? Begrund dit valg af evalueringsdesign? Hvilke(n) af de fire overordnede evalueringstyper er mest relevant(e) for evalueringen af dit projekt? Hvordan kan du kombinere de fire evalueringstyper, så du sikrer, at evalueringen måler det, du ønsker? Vejviser til evaluering 11

Hvis du vil vide mere: 1. Finansministeriet, "Evaluering i staten" (2006). Forventet udgivelse november 2006 Tager afsæt i statens brug af evalueringer, men kan også bruges i en kommunal sammenhæng. Indeholder blandt andet en gennemgang af de fire evalueringstyper. 2. Krogstrup, Hanne Kathrine (2003), "Evalueringsmodeller", Systime God indføring i et udvalg af evalueringsperspektiver og modeller samt de seneste tendenser inden for evaluering. Indeholder blandt andet også kriterier for valg af evalueringsmodeller. Vejviser til evaluering 12

4 Dataindsamlingen I dette kapitel beskrives hvilke overvejelser, en evaluator bør gøre sig om valg af metoder til indsamling af data. 4.1 Valg af metoder til dataindsamling Ved designet af evalueringen skal der tages stilling til, hvilke metoder til indsamling af data, som evalueringen skal baseres på. Overordnet kan man skelne mellem to typer af metoder: Kvantitative metoder, hvor data typisk bearbejdes statistisk (fx via spørgeskemaer, registreringsskemaer, fysiologiske målinger eller udtræk af registre). Kvalitative metoder, som kan give mere dybtgående informationer om fx holdninger og adfærd (fx gennem interview, fokusgrupper, workshops og deltagerobservation). En kvantitativ metode er ofte at foretrække, når der spørges til forhold som kan kategoriseres og rangordnes, og hvor man til en vis udstrækning kan standardisere undersøgelsens spørgsmål. Kvantitative metoder bruges ofte, når man skal vurdere resultatet/effekten af en indsats. Spørgeskemaundersøgelser - som er den mest almindelige kvantitative metode - er især velegnede, hvis man skal nå ud til mange. Skal man et spadestik dybere i forståelsen og fx uddybe årsagssammenhænge, er det en god idé at bruge kvalitative metoder. Kvalitative metoder har især deres styrke, når man skal vurdere, hvorfor et forløb er gået godt eller skidt. Ofte kan man med fordel kombinere de to metoder, så fx en spørgeskemaundersøgelse følges op med kvalitative interviews eller omvendt. Ved en undersøgelse som led i en evaluering af fysisk aktivitet blandt førtidspensionister i en kommune, kan man fx indlede med at udsende et spørgeskema, hvor der spørges ind til deres motionsvaner mv. Dette talmateriale kan suppleres med interview af de sagsbehandlere i kommunen, der ofte arbejder med sager om førtidspensionister. Man kan også vælge at interviewe nogle praktiserende læger i kommunen og personale fra det kommunale forebyggelses- og rådgivningscenter eller sundhedscenter. Nedenfor er gengivet et eksempel på metoder til dataindsamling i forbindelse med en evaluering af førtidspensionisters fysiske aktivitet. Vejviser til evaluering 13

Tekstboks 4: Eksempel på indsamling af data ved evaluering af fysisk aktivitet blandt førtidspensionister Workshop med nøglepersoner fra kommunens "socialforvaltning" og "sundhedsforvaltning", hvor evalueringens problemstilling om førtidspensionisternes fysiske aktivitet indkredses. Udarbejdelse af spørgeskema til kommunens førtidspensionister, bl.a. med udgangspunkt i resultaterne fra workshoppen. Personlige interviews med relevante sagsbehandlere fra "socialforvaltningen", "sundhedsforvaltningen", "kultur- og fritidsforvaltningen" mv. Resultaterne fra spørgeskemaundersøgelsen bruges til at udarbejde en spørgeguide, hvor der bl.a. spørges ind til, hvad kommunen har gjort. Fokusgruppeinterview med en række af kommunens førtidspensionister, fx udvalgt efter deres bopælsadresse, alder, uddannelse, tidligere jobfunktion mv. Pointen i eksemplet ovenfor er, at det gælder om at tilrettelægge en evaluering, så evaluator bruger den information som indsamles til at opnå en større viden. Hver gang evaluator opnår ny viden, bruges det til at skræddersy den næste del af undersøgelsen, så evaluator bliver "klogere" undervejs i processen. I undersøgelsen ovenfor bliver evaluator hele tiden "klogere" i forhold til at kunne vurdere førtidspensionisternes fysiske aktivitet samt vurdere kommunens indsats på området. Som tidligere nævnt er der mange måder at samle data ind på ved en evaluering. I en evaluering vil man ofte benytte flere undersøgelsesmetoder. Nedenfor er ni af de mest almindelige metoder gengivet: Vejviser til evaluering 14

Tabel 1: Ni udvalgte dataindsamlingsmetoder Dataindsamlingsmetode Beskrivelse Styrke Litteraturgennemgang Undersøgelse af dokumenter af generel interesse og i forhold til evalueringens problemstilling. Økonomisk og effektiv måde at tilvejebringe information på. Registerstudie Direkte måling Direkte observation Interviewundersøgelse Spørgeskemaundersøgelse Fokusgrupper Seminarer og workshops Case studie Undersøgelse af registre og eksisterende data, som er relevante for evalueringen. Registrering af data som kan klassificeres ved hjælp af et analytisk instrument. Observation med det formål at forstå processer. Interview med interessenter anvendes til at generere ny viden. Fra mere uformelle spørgsmål til større skriftlige spørgeskemaundersøgelser med høj grad af signifikans. En gruppe mennesker samles med henblik på at diskutere på forhånd fastlagte emner. En gruppe mennesker samles med henblik på at diskutere på forhånd fastlagte emner. Processen er mere struktureret end fokusgrupper - typisk er der en klar dagsorden. Studie af en udvalgt case eller et mindre antal udvalgte cases. Præcis og enkel måde at indhente information på. Eksempel: Brug af Indenrigsministeriets kommunale nøgletal. Præcision, høj troværdighed og ofte ikke særlig ressourcekrævende. Eksempel: Registrering af BMI (Body Mass Index). God til at få indblik i og forstå konteksten. Men meget afhængig af observatørens forståelse og fortolkning. God til at komme i dybden. Producerer konkret og kvantificerbar information. Man får et naturligt indblik i, hvad informanternes holdninger og erfaringer er. Metoden er meget afhængig af observatørens forståelse og fortolkning God til at få drøftet nogle på forhånd udvalgte emner. Sikrer struktur i afviklingen. God til at generere hypoteser, som senere kan efterprøves. Kan bruges til at forstå processer, men det er svært at generalisere ud fra cases. Vejviser til evaluering 15

Hver af metoderne har forskellige styrker og svagheder. Dette bør indgå i overvejelserne, når evalueringens dataindsamling tilrettelægges. Det kan fx være godt at starte med en workshop med udvalgte interessenter, så evaluator får et første indtryk af de problemstillinger, som gør sig gældende. Denne information kan så bruges til at formulere spørgsmål til en spørgeskemaundersøgelse og til at tage stilling til, hvem der skal interviewes personligt, og hvem der eventuelt skal deltage i et fokusgruppeinterview. Er evalueringens problemformulering klar og afgrænset fra starten, er en indledende workshop næppe en god anvendelse af ressourcerne. Huskeliste Når du skal indsamle data, skal du kunne svare på følgende spørgsmål: Skal der ved evalueringen af dit projekt lægges særlig vægt på kvantitative eller kvalitative metoder? Eller skal begge metoder indgå i evalueringen? Og hvorfor? Hvilke dataindsamlingsmetoder skal anvendes? Og hvad er deres styrke? Hvordan tilrettelægges evalueringen, så hver undersøgelse fører til ny viden? Og hvordan anvendes den ny viden fra den 1. undersøgelse til at kvalificere den 2 undersøgelse og så fremdeles? Hvis du vil vide mere: 1. Rieper, Olaf (red.) (2004), "Håndbog i evaluering. Metoder til at dokumentere og vurdere proces og effekt af offentlige indsatser", AKF Forlag. Håndborgens 2. del indeholder eksempler på evalueringer foretaget inden for forskellige sektorer, blandt andet på sundheds- og socialområdet (kapitel 9) og for udsatte grupper (kapitel 12). 2. Dahler-Larsen, Peter & Hanne Kathrine Krogstrup (2003), "Nye veje i evaluering. Håndbog i tre evalueringsmodeller", Systime. Håndbogen præsenterer tre evalueringsmodeller, som der gives en praktisk opskrift på at anvende. Kapitel 4 vil være en god inspirationskilde til planlægning af evalueringsindsatser på social- og sundhedsområdet. Vejviser til evaluering 16

5 Værktøjskassen Her i kapitel 5 gennemgås en række værktøjer som med fordel kan anvendes, når en evaluering skal gennemføres. Nogle af værktøjerne er simple, fx gennemførelse af en interessentanalyse samt opstilling af evalueringskriterier som målepunkt for evalueringen. Andre værktøjer er mere komplekse, fx Logical Framework Approach-metode som gennemgås senere. 5.1 Interessentanalyse Hvem skal bruge evalueringen? Det spørgsmål bør man starte med. Når målgruppen for evalueringen er indkredset, er det nemmere at beslutte sig for, hvordan evalueringen skal tilrettelægges. Ønsker man at dykke længere ned end at identificere målgruppen, så kan man udarbejde en interessentanalyse. Alle evalueringer inddrager i større eller mindre udstrækning interessenter (stakeholders) i gennemførelsen af evalueringen. En interessent defineres som en person, gruppe og institution, der har en interesse i et projekt. Interessenterne spænder bredt fra projektledelsen til involverede fagpersoner i og uden for kommunen og videre til politikere med interesse for området. Definition Man bør fra starten gøre sig klart, hvem der er interessenter i evalueringen. Dette kan gøres ved, at der gennemføres en interessentanalyse. Formålet med denne analyse er at sikre, at alle relevante parter involveres i evalueringen. Vejviser til evaluering 17

Tekstboks 5: Hvordan identificerer man interessenter? Interessenter kan identificeres ved en interessentanalyse. Ved en sådan analyse bør følgende spørgsmål besvares: Hvem er afhængige af projektet? Hvem er interesserede i resultatet af projektet? Hvem vil øve indflydelse på projektet? Hvem vil blive påvirket af projektet? Hvem vil eventuelt modarbejde projektet? Ved kommunale projekter inden for sundhedsområdet, kan det overvejes om følgende lokale og centrale interessenter er relevante: Lokale interessenter Social- og sundhedsforvaltningen Andre forvaltninger eller kommunale afdelinger Kommunale forebyggelsesog rådgivningscentre Sundhedscentre Samarbejdskommuner Foreninger Skoler og institutioner Andre Centrale interessenter Socialchefforeningen Danske regioner Indenrigs- og Sundhedsministeriet Kommunernes Landsforening Sundhedsstyrelsen NGO'er Andre Det er en god idé at gennemføre interessentanalysen i forbindelse med opstarten af et projekt. På denne måde får projektholdet tidligt et fælles billede af, hvem de vigtigste interessenter er. Interessentanalysen kan samtidig være en god anledning til at diskutere, hvad succeskriterierne for projektet er, hvilke forhindringer som ligger forude, osv. 5.2 Evalueringskriterier Når en evaluering planlægges, bør man spørge: Hvilke kriterier skal indsatsen vurderes i forhold til? En evaluering kan ikke gennemføres ud i den blå luft. Der vil altid være behov for vurderingskriterier. Det handler derfor om at få trukket dem frem i lyset. Nedenfor er de fire mest almindelige evalueringskriterier gengivet. Tekstboks 6: Evalueringskriterier De fire mest almindelige evalueringskriterier er følgende: Relevans: Er indsatsens mål relevant set i forhold til målgruppens behov og de overordnede mål og politikker? Måleffektivitet: Når projektet de definerede mål og delmål? Omkostningseffektivitet: Modsvares omkostningerne (tid, budget, ressourcer mv.) af tilsvarende resultater? Kunne alternative fremgangsmåder være anvendt? Forankring/bæredygtighed: I hvilket omfang kan de positive effekter fastholdes efter projektets afslutning? Vejviser til evaluering 18

Evalueringskriterier kan med fordel bruges som struktur for de konkrete spørgsmål, som evalueringen skal besvare. De følgende spørgsmål kunne være relevante for evalueringen af et projekt, som skal afprøve metoder, der sikrer, at kontanthjælpsmodtagere bedre kan påvirke deres egen sundhed og helbred: Hvor stor er uligheden i sundhed for kontakthjælpsmodtagere? (relevans) Er målene om at påvirke kontakthjælpsmodtagernes sundhed og helbred nået? (måleffektivitet) Var det projektets metoder som førte til, at kontanthjælpsmodtagernes sundhed og helbred blev påvirket? (måleffektivitet) Kan metoderne betale sig at gennemføre i forhold til resultaterne i form af bedre sundhedstilstand for kontanthjælpsmodtagerne? (omkostningseffektivitet) Er forbedringen i kontanthjælpsmodtagerne sundhedstilstand varig? (forankring/bæredygtighed) 5.3 Logical Framework Approach God projektudvikling kræver systematik i begreberne. Det er derfor vigtigt, at der skelnes mellem mål, umiddelbare mål (delmål), aktiviteter og indikatorer. Logical Framework Approach (LFA) er et værktøj, som bruges til at definere hovedelementerne i et projekt med særlig vægt på logiske sammenhænge mellem input, planlagte aktiviteter og forventede resultater. Tekstboks 7: Hvad er Logical Framework Approach? LFA metoden er udviklet til at systematisere og præcisere sammenhængen mellem mål, forventede resultater, aktiviteter og ressourcer for projekter. Den kobler en systematisk gennemgang af problem- og målsammenhænge med en struktureret opstilling af formål, (del)mål, forventede resultater, aktiviteter, inputs og indikatorer. Såfremt indikatorerne er af god kvalitet og er målbare, bliver det også muligt at vurdere graden af målopfyldelse i projektet. LFA metoden blev udviklet af den amerikanske bistandsorganisation USAID sidst i 60-erne, som et værktøj til brug i planlægning og evaluering af udviklingsprojekter. Metoden er løbende blevet videreudviklet og er i dag et generelt planlægnings- og styringsværktøj, som en lang række internationale organisationer, herunder EU Kommissionen, bruger helt systematisk. Ofte oplever man, at projekter ikke har opstillet mål, umiddelbare mål, aktiviteter og indikatorer på en systematisk måde. Når projektet senere skal evalueres, kan det være svært at systematisere resultaterne og gennemskue gennemførelsesprocessen. I den situation kan der være hjælp at hente i LFA metoden. Nedenfor er gengivet et eksempel på en LFA-matrice. Vejviser til evaluering 19

Tabel 2: Eksempel på en LFA-matrice: Fysisk aktivitet for førtidspensionister Overordnet formål: At førtidspensionisterne i kommunen oplever en forbedret livskvalitet som følge af deltagelse i projektets aktiviteter Umiddelbart mål: 75 % af kommunens førtidspensionister har taget aktivt del i en eller flere aktiviteter, som øger deres fysiske aktivitetsniveau Resultater (outputs): 1. Der er udviklet en metode til, hvordan førtidspensionister bedst øger deres fysiske aktivitetsniveau 2. Der er udarbejdet konkrete tilbud til kommunens førtidspensionister, der omfatter fysisk aktivitet 3. Tilbudene er blevet formidlet i relevante medier/kanaler Aktiviteter: 1.1 Møder mellem projektleder og idrætsfaglige eksperter samt udvalgte førtidspensionister 1.2 Indhentning af erfaringer fra andre lignende projekter 1.3 Metodeudvikling og dokumentation (herunder beslutning om, hvilke aktiviteter der vil være mest relevante) Indikator for succes mindst halvdelen af førtidspensionisterne oplever en forbedret livskvalitet efter et år Antallet af førtidspensionister, der har deltaget i mindst en aktivitet efter et år Antallet af førtidspensionister, der opfylder målsætningen om mindst ½ times fysisk aktivitet dagligt Metodeudvikling og projektbeskrivelse afsluttet og godkendt inden 1. december 2005 Minimum 4 forskellige tilbud bliver tilbudt kommunens førtidspensionister pr. 1. februar 2006 Tilbudene er formidlet i mindst 3 medier - - Dokumentation Interview af førtidspensionister Spørgeskemaundersøgelse før og efter Fremmødeprotokoller Information fra aktivitetsledere Projektdokument Aktivitetsbeskrivelser Projektafslutningsrapport Antagelse og betingelser Førtidspensionisternes deltagelse i projektets aktiviteter påvirker deres (opfattelse af) livskvalitet positivt Aktiviteterne skal være (nemt) tilgængelige for målgruppen Det er muligt at identificere egnede steder og instruktører, der matcher førtidspensionisternes udtrykte behov Vejviser til evaluering 20

Tabel 2 fortsat: Aktiviteter fortsat: 2.1 Identifikation og bookning af lokaler 2.2 Rekruttering af instruktører og/eller identifikation af allerede eksisterende tilbud 3.1 Formulering af annoncer og identifikation af egnede medier 3.2 Lancering af tilbudene Inputs (ressourcer): 1.1 Personale svarende til 3 fuldtidsstillinger 1.2 Tilskud fra Sundheds-styrelsen på X kr. 1.3 50 % egenfinansiering fra kommunen Indikator for succes - - - - Dokumentation Antagelse og betingelser LFA-metodens styrker består i, at: den "tvinger" de projektansvarlige til på forhånd systematisk at opstille mål, aktiviteter og forventede resultater og at fastlægge objektive, målbare indikatorer for de forventede resultater og mål den giver aktørerne i det enkelte projekt et fælles billede af de konkrete mål og forventede resultater af projektet og er dermed et vigtigt kommunikationsredskab den sætter fokus på de forudsætninger, der skal være til stede for, at projektet kan lykkes den er et stærkt styringsredskab for et projekt i forhold til at opnå de opstillede mål samtidig udgør metoden et godt grundlag for en ensartet rapportering om projekternes fremdrift. Vejviser til evaluering 21

5.4 Hvordan måles rigtigt? I en evaluering er der mange faldgruber. Man kan komme til at "måle" noget andet end det, man ønsker. Eller man kan tilrettelægge evalueringen, så det ikke er klart for andre, hvordan man er nået frem til resultaterne. Det er vigtigt, at man som evaluator tænker over den metode, som man går frem efter i evalueringen. Man bør løbende overveje, om man nu også måler det som ønskes målt. Samtidig skal metoden som benyttes i evalueringen være så gennemsigtig som muligt. På denne måde sikres en høj kvalitet af evalueringen. Det er altid en god idé at skrive et metodeafsnit i en evalueringsrapport. Her fortæller man, hvilke metoder som er benyttet. Og man vurderer eventuelle problemer ved metoderne. Tekstboks 8: Eksempel på metodeovervejelse ved evaluering: Spørgeskemaundersøgelse om førtidspensionister og fysisk aktivitet Som led i en evaluering er der gennemført en spørgeskemaundersøgelse blandt førtidspensionister om fysisk aktivitet. Der er i alt 320 førtidspensionister i kommunen. Heraf blev 200 tilfældigt udvalgt til at indgå i spørgeskemaundersøgelsen. Der blev sendt 200 spørgeskemaer ud, men kun 88 førtidspensionister returnerede spørgeskemaet. Det vil sige, at svarprocenten blev 44 %. Resultaterne fra spørgeskemaundersøgelsen skal derfor fortolkes med varsomhed. For det første er det kun et udvalg af kommunens førtidspensionister, som er blevet spurgt. For det andet var svarprocenten forholdsvis lav. Det kan endvidere være en skævhed i undersøgelsen, hvis de førtidspensionister, som har besvaret spørgeskemaet, er de mest ressourcestærke. Det vil kunne betyde, at de er mere fysisk aktive end den gruppe førtidspensionister, som ikke har besvaret spørgeskemaet. Resultaterne kan derfor overvurdere førtidspensionisternes fysiske aktivitetsniveau. Reliabilitet og validitet er to vigtige begreber, når vi taler om evaluering. Man taler om, at en undersøgelse har høj eller lav validitet og reliabilitet. Men begreberne kan også knytte sig til data eller til enkelte dele af processen, fx indsamling af data ved en spørgeskemaundersøgelse. Forenklet set handler validitet om, hvorvidt man måler det, man ønsker at måle. Reliabilitet vedrører derimod spørgsmålet om, hvor præcis målingen er. Med udgangspunkt i eksemplet i tekstboks 7 om en spørgeskemaundersøgelse blandt førtidspensionister om fysik aktivitet, kan vi sige, at undersøgelsens validitet blandt andet afhænger af, om spørgsmålene i undersøgelsen er formuleret på en måde, så de ikke er ledende og misvisende. Reliabiliteten afhænger blandt andet af udvælgelsen af respondenter, som i eksemplet ovenfor var tilfældig. Den afhænger også af, om der er en fejlkilde i undersøgelsen, hvis de mest ressourcestærke (og dermed fysik aktive) førtidspensionister er mere tilbøjelige til at besvare et spørgeskema. Ofte vil det være vanskeligt både at opnå en høj grad af reliabilitet og validitet, og man må prioritere mellem de to. Det vigtige er imidlertid, at evaluator træffer et bevidst valg, så tilfældighederne ikke kommer til at råde. Vejviser til evaluering 22

Huskeliste Om værktøjer til brug for evaluering, skal du kunne svare på følgende spørgsmål: Skal der i forbindelse med dit projekt gennemføres en interessentanalyse? Hvad er de vigtigste evalueringskriterier? Og hvilke evalueringskriterier skal indgå i evalueringen af dit projekt? Er LFA-metoden relevant for evalueringen af dit projekt? Hvordan sikres det, at evalueringen af dit projekt måler det, du ønsker at måle (validitet) og måler præcist (reliabilitet)? Hvis du vil vide mere: 1. "Aid Delivery Methods: Project Cycle Management Guidelines", Volume 1, European Commission (kan downloades fra www.europa.eu.int/comm/europeaid/qsm/index_en.htm) Indeholder i del 2, kapitel 5, en detaljeret gennemgang af LFA-metoden. Vejviser til evaluering 23