EFFEKT OG EVIDENS: HVAD, HVORFOR OG HVORDAN? HELLE HANSEN NETE KROGSGAARD NISS

Transkript

1 EFFEKT OG EVIDENS: HVAD, HVORFOR OG HVORDAN? HELLE HANSEN NETE KROGSGAARD NISS

2 RAMMEN FOR FØRSTE DEL AF OPLÆGGET Et overordnet perspektiv på effektmåling Forklaring af begreber Hvordan kan man måle effekt

3 ORDET EVIDENS ER BRUGT OG MISBRUGT Vær omhyggelig med brugen af ordet evidens, som er et meget bredt begreb Evidensbaseret politik og praksis Evidenskultur Evidensbaserede programmer Bedre at tale om: VIDENSBASERING

4 EFFEKT ER (OGSÅ) ET VANSKELIGT BEGREB Vi har brug for viden om effekter, fordi vi gerne vil vide, om de indsatser vi sætter i værk, rent faktisk virker Og fordi vi gerne vil sikre os, at indsatserne ikke har en skadelig virkning

5 EFFEKTMÅLING: Effektmåling besvarer spørgsmål om kausalitet: Hvordan går det (i gennemsnit) personer, der modtager en specifik indsats, i forhold til hvordan det ville være gået, hvis de ikke havde modtaget indsatsen?

6 KAUSAL EFFEKT FORMÅL MED EFFEKTMÅLING: At finde den kausale effekt af indsats på udfaldsmål

7

8 EFFEKT ENKELT I TEORIEN MEN SVÆRT I PRAKSIS Enkelt at undersøge, om der er en sammenhæng eller korrelation mellem indsats og udfaldsmål Eksempel: storke og børnefødsler alkohol og lungecancer

9 BASISVIDEN BESTÅR FX AF: Viden om sociale problemers karakter og udbredelse Viden om målgruppens karakteristika og adfærdsmønstre Viden om hvilke indsatser der anvendes Viden om ressourceforbrug ved hidtidig indsats Viden om effekter af forskellige former for indsatser Etc

10 TITEL

11 RAMMEN SKAL VÆRE IORDEN FØR VI KAN EFFEKTMÅLE Veldefineret målgruppe Klar og afgrænset indsats Klare succeskriterier/mål Gode måle redskaber

12 NÅR OPGAVEN ER AT FINDE EN EFFEKT EFFEKTSTIGEN

13 TILFREDSHEDSUNDERSØGELSER OG EFTERMÅLINGER 90% af dem, der modtog behandlingen var tilfredse eller meget tilfredse men det siger ikke noget om effekten 75% af dem, der trænede havde et kondital på 40 men hvad var deres kondital før træningsprogrammet? Det kan være et legitimt mål eks. tilfredshed i mødet med kommunen - MEN DET SIGER IKKE NOGET OM EFFEKT

14 FØR- OG EFTERMÅLINGER Vil gerne se hvordan borgeren UDVIKLER/ÆNDRER sig over tid. Vil gerne indføre en ny indsats og undersøge hvordan det går deltagerne. Kan bruges når der ikke kan laves en effektmåling - ikke muligt pga. fx økonomi, - for lille målgruppe - ingen mulighed for kontrolgruppe DET ER ET RIGTIG GODT STED AT STARTE

15 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Statistisk signifikant forskel p <

16 FØR-EFTERMÅLING AF LÆSE INTERVENTION Indsats Kontrol Før Efter Forskel mellem grupper er IKKE signifikant

17 EFFEKT STIGEN

18 RANDOMISEREDE KONTROLLEREDE FORSØG Randomisering A B Indsats Måle udfald

19 RANDOMISEREDE KONTROLLEREDE FORSØG RCT er det design, der egner sig bedst til at måle effekt Man kan udtale sig om kausalitet at A medfører B Randomiser hvis I overhovedet har mulighed for det Det behøver ikke at være så svært Men alt skal planlægges FØR i går i gang Start i det små

20 SPØRGSMÅL Hvor er I i arbejdet med evaluering og hvor højt oppe af stigen arbejder I?

21 DISPOSITION Evalueringsbølgen Påvirkninger Professionalisering Motivation Strategier Dekobling Integration Hvordan hjælper strategierne?

22 EVALUERINGSBØLGEN OG DET FRIVILLIGE SOCIALE ARBEJDE Øget fokus på resultater eller effekter. Opstilling af mål (eller som minimum et formål). Ofte både kort- og langsigtede. De skal ofte være på brugerniveau. En gennemtænkt plan for dokumentation af målopfyldelse. Målene er SMART-sikrede. Opstilling af forandringsteori

23 PÅVIRKNING - PROFESSIONALISERING Type frivillig Ung studerende Kompetencer til evaluering Kompetent Professionel Kompetent Almindelig Svært Brugerfrivillig Umuligt

24 RISICI VED PROFESSIONALISERING Svært for mange frivillige Svært for små foreninger Nogle typer frivillige, der ikke har særlige skriftlige eller evalueringsmæssige kompetencer, risikerer at blive udelukket Distance mellem ledelse og almindelige frivillige i foreninger Innovation svækkes

25 PÅVIRKNING - MOTIVATION Slid Irriterende Tidsspilde Ikke søgt igen, fordi det var for besværligt Drømme stoppes af tal og firkantede rammer. Giver ingen mening det er ikke det, som det handler om Valgte at blive frivillig, fordi det var noget med evaluering

26 PÅVIRKNING - MOTIVATION (Mindst) To forståelser: Pligtetik -> Tager tid fra det egentlige arbejde Nytteetik -> Ok, hvis det giver mening Mening Passer tankegangen med verdensbillede? Anvendelse Resultatets lighed med oplevet virkelighed

27 STRATEGI 1 - DEKOBLING Bruges af små foreninger Søger hjælp ved frivilligcenter eller andre erfarne Ansøgning Evaluering/drift Afrapportering Ikke stor sammenhæng mellem aktiviteterne og evalueringen Eks. It-venner Omverden Buffer Frivillige Figur 1: Buffer mellem omverdenens krav og forventninger og de frivillige

28 STRATEGI 1 - DEKOBLING Informanter: kæmpe hjælp Muliggør små foreninger De frivillige kan ikke friholdes helt

29 DEKOBLING - RISIKO Dekobling med afvigelse: frivillige deltager alligevel Frivillige deltager mindre end ellers Højere motivation Dekobling Evalueringen anvendes mindre og passer mindre med virkeligheden Evaluering giver mindre mening Lavere motivation

30 STRATEGI 2 -INTEGRATION Bruges af store foreninger (eks URK og Blå Kors) Arbejder med at fremme evalueringskapaciteten Udbud (opkvalificering mv) Efterspørgsel (anvendelse) Eks URK Risici: systemificering

31 HVORDAN HJÆLPER STRATEGIERNE? Svært for nogle frivillige Svært for de små foreninger Distance mellem ledere og alm frivillige Motivation Dekobling Giver plads Stor hjælp Kan forværre De frivillige slipper (næsten) for evaluering Integration Opkvalificering/ udelukkelse Kan ikke bruges Samme tankegang i organisationen Giver evaluering mening

32 ANBEFALINGER Bevillingsgivere: vær fleksible og undgå smarte ord Store organisationer: opkvalificer, husk efterspørgsel og undgå at der går for meget system i det Små foreninger: brug frivilligcenter, hjælp hinanden husk meningen

33 SPØRGSMÅL Hvilken strategi passer bedst til jeres organisation? Har I andre metoder til at arbejde med evalueringer?

34 TAK FOR OPMÆRKSOMHEDEN SPØRGSMÅL OG KOMMENTARER?!