Evalueringsmetoder og forventninger til udbytte

Transkript

1 Evalueringsmetoder og forventninger til udbytte Anna Lund Jepsen Lektor, ph.d. Institut for Miljø- og Erhvervsøkonomi SDU i Esbjerg Evalueringsmetoder Anna Lund Jepsen maj

2 Formålet med at evaluere Hvilke interventioner virker Hvilke gør ikke og hvorfor? Kommunerne har en interesse i at Bruge midlerne bedst muligt Blive klogere på hvordan man laver den bedste indsats (med den mindste omkostning) Give succesoplevelser til brugere og personale Evalueringsmetoder Anna Lund Jepsen maj

3 Den klassiske metode Randomized controlled trial (RCT) Randomisering Interventionsgruppe Måling før Intervention Måling efter Kontrolgruppe Måling før Måling efter Evalueringsmetoder Anna Lund Jepsen maj

4 RCT kræver Tilfældig tildeling til interventions- og kontrolgruppe At de to grupper er ens og lever i samme omgivelser At der ikke er frafald undervejs At man kan holde de to grupper adskilt At det er helt klart hvad interventionen er og at den gennemføres som planlagt At interventionsperioden er lang nok til, at en sikker effekt er indtrådt At man har et entydigt, objektivt effektmål At man kan måle før og efter Evalueringsmetoder Anna Lund Jepsen maj

5 Er RCT et realistisk værktøj? Diskuter med din sidemand/kvinde: Hvilke udfordringer er der ved at bruge RCT i et kommunalt regi? Hvordan kan man (alligevel) bruge RCT i kommunalt regi? Evalueringsmetoder Anna Lund Jepsen maj

6 Alternativer og hjælp til RCT Kortsigtede effektmål Gennemførte leverancer mens projektet løber Simple effektmål Subjektive effektmål Undlade at sammenligne med kontrolgruppe men måske med tal fra andre undersøgelser Undlade førmåling men sammenligne med kontrolgruppe Processer, der kan gennemføres hurtigt Simple interventioner Pilotprojekter i mindre skala Arbejde sammen med nogen, der har sandsynlighed for at gennemføre projektet som planlagt Evalueringsmetoder Anna Lund Jepsen maj

7 Effektmål simplificering Diskuter med din sidemand/kvinde: Eksempler på effekter, man gerne ville måle Det store Et simpelt alternativ Evalueringsmetoder Anna Lund Jepsen maj

8 Plan for undersøgelsen Hvem skal vi få data fra Målgruppen eller andre? Hvornår skal vi indhente data? Hvordan skal vi indhente data? Emner Indsamlingsmetoder Hvordan skal vi analysere data? Dokumentationen måske en hypotesetest? Lettest hvis man har en hypotese Evalueringsmetoder Anna Lund Jepsen maj

9 Hvordan kan vi så måle effekten? Kvantitative målemetoder Fysisk effekt Observationer på individniveau som blodprøver og vægt Observationer på gruppeniveau sygedage som indikator for helbred Ændringer i adfærd Spørgeskema problemer med over/underrapportering samt recallbias Observationer som salg i kantinen, fødevareindtag, antal, der deltager i aktiviteter Ændringer i viden og holdninger Spørgeskema Evalueringsmetoder Anna Lund Jepsen maj

10 Hvordan kan vi så måle effekten? Fordele ved kvantitative metoder Relativt simple at foretage nogle informationer ligger der i forvejen men kan være svære at adskille fra noget, der ville være sket alligevel Anerkendt Regelrette procedurer for behandling af data med henblik på at dokumentere effekt Svagheder og problemer Kompliceret at omsætte et overordnet mål om viden til konkrete spørgsmål, der let forstås af målgruppe Statistik er ikke let for alle Ikke noget nyt under solen derfor svært at komme videre hvis noget ikke virker hvorfor? Evalueringsmetoder Anna Lund Jepsen maj

11 Hvordan kan vi så måle effekten? Kvalitative undersøgelser Deltager-observation Interviews med nogle, der ved noget Strukturerede Semi-strukturerede Ustrukturerede Giver mange detaljer måske især om det, vi ikke havde tænkt på Er tidkrævende pr. deltager og derfor bliver antallet af målinger lille Kan være sværere at anvende som dokumentation pga. Lille repræsentativitet Subjektivt dataudtræk Ikke så accepteret Evalueringsmetoder Anna Lund Jepsen maj

12 Overvej triangulering At se fra flere perspektiver Kvalitative og kvantitative metoder Deltagere og andre i omgivelserne Flere interviewer og tolker de samme data Anvend flere mål Fysisk effekt Adfærd Viden og holdninger Oplevelser Evalueringsmetoder Anna Lund Jepsen maj

13 Hvis der ikke er en effekt Kan det skyldes, at Interventionen ikke var god Hvilke elementer var det så? Kræver flerdimensionelle mål især hvis der er proces i ændringen Der var problemer i projektet Det var ikke godt organiseret Der skete uforudsete hændelser, så interventionen ikke blev gennemført som planlagt Afdækning af dette kræver løbende opfølgning på projektets fremdrift Evalueringsmetoder Anna Lund Jepsen maj

14 Derfor. Målet er en effekt af interventionen og den skal vi kunne konstatere MEN For at virkelig at blive bedre må vi også interessere os for forløbet af processen Evalueringsmetoder Anna Lund Jepsen maj