ANVENDELSE AF EVALUERING PÅ DEN LANGE BANE

Transkript

1 ANVENDELSE AF EVALUERING PÅ DEN LANGE BANE INDIREKTE ANVENDELSE NETE KROGSGAARD NISS

2 PROGRAM Intro om betydningen af anvendelse Nedslåethed Håb for professionen SFI s (gode) måde at håndtere det på Fælles spark og indspark

3 HVORFOR ARBEJDER I MED EVALUERING? 2 minutters summen med sidemanden INTRO

4 HVORFOR ER ANVENDELSE VIGTIG? Hvorfor arbejder I med evaluering? Definerer evaluering, fx Vedungs definition. Evaluering er en systematisk retrospektiv vurdering af gennemførelse, præstationer og udfald af offentlig virksomhed, som tiltænkes at spille en rolle i praktiske handlingssituationer INTRO

5 HVIS DU KUNNE BESTEMME HVORDAN SKULLE DIN NÆSTE EVALUERING SÅ ANVENDES? 2 minutters summen med sidemanden INTRO

6 UDGANGSPUNKTET: DISKUSSION PATTON vs. WEISS NEDSLÅETHED

7 PATTONS RÅD TIL AT FREMME ANVENDELSE AF PROGRAMEVALUERINGER Identificer de vigtigste beslutningstagere Involver dem i planlægningen af evalueringen Sørg for at besvare deres spørgsmål Evaluer på det som beslutningstagerne kan ændre på Kommuniker resultaterne tidligt og personligt Skriv kort og enkelt Hav klare handlingsrettede anbefalinger, som kan lade sig gøre i den lokale kontekst NEDSLÅETHED

8 WEISS OM PATTONS RÅD De virker (som regel) ikke! Fordi Beslutningstagning foregår som en forhandling Man kan ikke besvare alt Beslutningstagning er ikke en rationel proces Beslutningstagere ved ikke hvilken viden de har brug for Folk holder af status quo NEDSLÅETHED

9 NEDSLÅETHED De er enige om at det ser skidt ud med den direkte anvendelse - Evalueringer bliver ofte ikke brugt til det, som de er beregnet til (intended use by intended users). - Pattons svar: følg rådene, det højner den instrumentelle anvendelse (som er nødvendig) - Weiss svar: drop den instrumentelle anvendelse, fokuser på konceptuel anvendelse NEDSLÅETHED

10 JAMEN, ER DET SÅ HÅBLØST? Nej! Hendes empiriske studier viser at evalueringer bliver brugt hele tiden i beslutningstagning. Begrundelser og gode argumenter funderes i evalueringsviden. HÅB FOR PROFESSIONEN

11 HÅBET: KONCEPTUEL ANVENDELSE Kaldes også Enlightenment eller indirekte anvendelse Når evaluering anvendes til noget andet end beslutninger vedrørende det præcise projekt/program, som evalueres. Beslutningstagere er opmærksomme på evalueringsviden Passer godt ind i forestillingen om den rationelle verden HÅB FOR PROFESSIONEN

12 KONCEPTUEL ANVENDELSE Påvirker fx Grundlaget for debatten Sproget man tager debatten i Hvilke ideer der forekommer relevante When the findings and the intellectual structure of evaluation begin to shape the way that decision makers think about an issue and the elements of it that they think about evaluation has been used. (Weiss 1990) HÅB FOR PROFESSIONEN

13 HVORDAN FÅR (TRAVLE) BESLUTNINGSTAGERE VIDEN? Kanaler: Medarbejdere Kommissioner Medier Interesseorganisationer Faglige netværk Sociale medier HÅB FOR PROFESSIONEN

14 GØR I NOGET FOR AT FREMME KONCEPTUEL ANVENDELSE? 3 minutters summepause med sidemanden

15 HVAD KAN MAN GØRE? Selve evalueringen Stil de rigtige spørgsmål! Balance mellem specificitet og generaliserbarhed Parametre der fremmer anvendelsen (Weiss 1977) Forskningskvalitet Passer til brugerens forventninger Handlingsorienteret Udfordrer status quo SFI S GODE MÅDE

16 HVAD KAN MAN GØRE? I forbindelse med evalueringen Få viden bredt ud! Antagelig meget nemmere nu end i 1990 Få viden bragt ind i relevante debatter SFI S GODE MÅDE

17 HVAD GØR VI GODT PÅ SFI? Høj faglighed Krav om offentliggørelse af alt Pressemeddelselser Udtalelses pligt Konferencer, gå-hjemmøder Nyhedsbreve, trykt blad SFI S GODE MÅDE

18 RESULTATER Tal for 2013 Omtale i medier: 4500 gange Omtale i radio og TV: 350 gange Foredrag: 280 Deltagere på egne gå-hjemmøder og konferencer: 2000 Unikke besøg på hjemmesiden: Abonnenter på nyhedsbreve: Facebook: 2300, Twitter: 2200, LinkedIn: 3170 SFI S GODE MÅDE

19 HVAD KAN VI GØRE BEDRE? Forskningsinstitutionerne er for lidt aktive i debatten. De sætter ikke sig selv i spil Lisbeth Knudsen Timing Analyser til tiden in the long run we are all dead Proaktivitet: blande os i aktuelle debatter Sociale medier FÆLLES SPARK

20 DISKUSSION Hvordan kan vi som profession fremme den konceptuelle anvendelse? Gør vi det godt nok? Gode råd til SFI? Er der et modsætningsforhold mellem instrumentel og konceptuel anvendelse og hvad er vigtigst? FÆLLES INDSPARK

21 DEN VIGTIGSTE ANVENDELSE ER IKKE ALTID DEN SOM VAR FORMÅLET AFSLUTNING

22 LITTERATUR Weiss, Carol (1990): Evaluation for Decisions: Is Anybody There? Does Anybody Care? i Marvin C Alkin: Debates on Evaluation, pp Patton, Michael Quinn (1990): The Evaluator s Responsibility for Utilization i Marvin C Alkin: Debates on Evaluation, pp Weiss, Carol (1990): If Program Decisions Hinged Only on Information: A Response to Patton i Marvin C Alkin: Debates on Evaluation, pp Weiss, Carol (1977): Research for Policy s Sake: The Enlightenment Function of Social Research, Policy Analysis, vol. 3, pp TITEL