Valg af ekstern eller intern evaluering Minikursus i dokumentation og evaluering af sundhedsfremme- og forebyggelsesindsatser Anna Paldam Folker, seniorrådgiver, ph.d. anpf@si-folkesundhed.dk Forskningsprogrammet for sundhed og sociale forhold Statens Institut for Folkesundhed, SDU Centret er støttet af TrygFonden og Kræftens Bekæmpelse
Punkter Forskel på intern og ekstern evaluering Fordele og ulemper ved intern og ekstern evaluering Relevante overvejelser ved brug af ekstern evaluator Forskningssamarbejde: forskellige typer samt fordele og ulemper
Intern og ekstern evaluering Intern evaluering består typisk i, at det er den samme organisation, som udvikler og gennemfører en indsats, som evaluerer indsatsen. gennemføres af medarbejdere i samme organisation, som er ansvarlig for indsatsen. Ved ekstern evaluering er det en anden organisation, end den der udvikler og gennemfører indsatsen, som evaluerer indsatsen. gennemføres af medarbejdere fra en anden organisation, end den, der er ansvarlig for indsatsen.
Også et spørgsmål om finansiering Ved intern evaluering bliver midlerne til evaluering i den organisation, som bestiller evalueringen Ved ekstern evaluering skal midlerne til evaluering udbetales til evaluators organisation
Hvem kan være intern evaluator? Medarbejdere Interne metodekonsulenter Interne projektledere
Hvem kan være ekstern evaluator? Videncentre Forskningsinstitutioner Konsulentvirksomheder
Aktører i evalueringslandskabet Konsulentvirksomheder Videncentre Fonde Forskningsinstitutioner Offentlige myndigheder Interesseorganisationer
Jeres erfaringer? - Intern evaluering? - Ekstern evaluering? - Erfaringer - læringspunkter?
Blandingsformer Hvis dele af evalueringen gennemføres internt, mens andre dele gennemføres af en ekstern leverandør Hvis en evaluering er bestilt på et højere ledelsesniveau, og det er en anden afdeling i organisationen, der gennemfører evalueringen, end den som udvikler og gennemfører indsatsen Hvis forskere/konsulenter i samarbejde med en eller flere kommuner får fonds- eller puljemidler til at gennemføre og evaluere et projekt
Fordele og ulemper
Fordele ved intern evaluering Forpligtelse overfor organisationen Har detaljeret viden om organisationen og indsatsen Let adgang til data og kan umiddelbart gå i gang Kan løbende informere om evalueringsresultater Kan let følge op på om evalueringens anbefalinger bliver brugt Viden fra evalueringen bliver i organisationen læring og kontinuitet over tid Typisk billigere end ekstern
Ulemper ved intern evaluering Er afhængig af ledelsen Kan være for indfødt blind for nogle aspekter, indforstået for andre svært ved at se organisationen udefra Kan mangle specielle evalueringskompetencer Kan blive belastet af andre opgaver Kan komme i etiske dilemmaer Kan virke mindre troværdig udadtil pga. manglende armslængde
Fordele ved ekstern evaluering Uafhængighed og armslængde ift. bestiller af evalueringen (opfattet legitimitet) Kan nemmere se indsatsen udefra og anlægge nye (kritiske) perspektiver Har specialiserede evalueringskompetencer og erfaring med mange typer evaluering Kan klare store, komplicerede evalueringsopgaver og sammensætte teams med differentieret ekspertise Deadline bliver overholdt
Ulemper ved ekstern evaluering Mangler detaljeret viden om organisationen og indsatsen Vanskeligere adgang til data Dyrere end intern evaluering Uafhængighed kan kompromitteres af markedsafhængighed
Evalueringens funktion kan være med til at guide valget
Overvejelser ved brug af ekstern evaluering
Forskellige typer eksterne evaluatorer Videncentre Forskningsinstitutioner Konsulentvirksomheder
Sammenligningspunkter Stor fleksibilitet ift. bestillers ønsker (serviceminded) Hurtighed ift. at sammensætte et team Bidrag til fortsat vidensproduktion Placering og orientering ift. videnskabelig litteratur Bidrag til forskning Pris
Suk fra en evaluator Hvis bestiller beder om noget andet, end det, de reelt vil have eller er internt uenige Hvis formålet med evalueringen skifter undervejs, uden at det gøres klart Hvis medarbejdere ikke vil evalueres Hvis bestiller ikke samarbejder svarer ikke Hvis evaluator bruges som syndebuk
Overvejelser for et godt samarbejde Hvorfor skal evalueringen laves? Hvorfor bruge en ekstern evaluator? Hvad vil vi gerne have opnået, når evaluators arbejde er slut? Hvem er den reelle modtager af evalueringen? Kan design fastlægges i dialog med evaluator? Kan evaluator inviteres til at komme med forslag til design? Hvad er vigtigst: pris, metodiske kompetencer, faglig ekspertise? Hvad er centrale milepæle i evaluators arbejde? Kan tidsplan og betaling knyttes op på disse?
Særligt om forskningssamarbejde
Mere forskning i de kommunale sundhedsopgaver Tiden er moden til, at KL og kommunerne får en stemme, når det gælder forskning
Forskellige former En eller flere kommuner hyrer forskere til at evaluere deres projekt (formativ/summativ; proces/effekt) Forskere rekrutterer kommuner til at deltage i et forskningsprojekt Forskere og kommuner søger fonds- eller puljemidler sammen og gennemfører projektet som partnere
Nogle fordele og ulemper ved at indgå i et forskningssamarbejde Fordele Nye (kritiske) perspektiver som er placeret i forskningslitteraturen fokus på originale ideer Bidrag til vidensopbygning, kompetenceudvikling af medarbejdere, uddannelse af studerende Fagligt meget velbegrundede metodevalg Resultater og metoder bliver diskuteret af fagfæller Ulemper Mindre klient og kunde Kan tage tid Metodiske krav kan virke ufleksible og styrende Der kan være videnskabelige hensyn til offentliggørelse
Litteratur Olaf Rieper: Intern eller ekstern evaluering. Håndbog i evaluering, AKF, 2004. Melissa Conley-Tylor: A fundamental choice: Internal or External Evaluation. Evaluation Journal of Australasia, Vol 4. No. 1, March/April 2005, pp. 3-11. Mere forskning i de kommunale sundhedsopgaver. KL, 2014.