FRA TRADITIONEL TIL STRATEGISK EVALUERING - eller hvordan man lægger æbler og bananer sammen og dividerer

Transkript

1 FRA TRADITIONEL TIL STRATEGISK EVALUERING - eller hvordan man lægger æbler og bananer sammen og dividerer Kick-off 31. august 2009 Merete Watt Boolsen Merete Watt Boolsen mwb@ifs.ku.dk 1

2 3 historier Merete Watt Boolsen 2

3 (1) TAL OG INTERVIEW/OBSERVATIONER 5-5 Merete Watt Boolsen 3

4 Tabel 1: Befolkningen i arbejdsstyrken fordelt på uddannelsesniveau i % (1999) Vollsmose Odense Kommune Uden formel erhvervskompetence 71,6 41,6 Erhvervsfaglig uddannelse Kort videregående uddannelse Længerevarende uddannelse 20,6 2,1 5,6 34,6 6,4 17,4 Kilde: Odense kommunes Statistikfunktion og Vollsmosesekretariatet Merete Watt Boolsen mwb@ifs.ku.dk 4

5 Tabel 2: Personer fordelt på arbejdsstilling, borgere på 15 år og derover, pr. 1. januar, 1999 Arbejdsstyrken Beskæftigede Arbejdsløse Udenfor arbejdsstyrken Heraf pensionister I alt Vollsmose 39,5 30,3 9,2 60,5 23,0 100,0 Odense Kommune 62,6 59,0 3,6 37,4 25,0 100,0 Merete Watt Boolsen mwb@ifs.ku.dk 5

6 5-5 Merete Watt Boolsen 6

7 (2) BILLEDER-SYMBOLER Kaassassuk den forældreløse Merete Watt Boolsen 7

8 Merete Watt Boolsen 8

9 (3) OVERRASKELSE spøgelser i Bata på byggepladsen Merete Watt Boolsen mwb@ifs.ku.dk 9

10 Formålet med mit oplæg starter med det 9. mål i civilsamfundsstrategien: styrkelse af effekten af udviklingsarbejdet rapportere om fremskridt i relation til de strategiske mål Merete Watt Boolsen mwb@ifs.ku.dk 10

11 Den traditionelle evalueringsproces (1) problem og mål (2) planlægning af evalueringen (3) dataindsamling (4) dataanalyse, status og konklusioner Merete Watt Boolsen 11

12 Processen skal nu se således ud: (1) problem og mål (2) planlægning af evalueringen (3) dataindsamling (4) dataanalyse, status, konklusioner og strategier det betyder, at analyserne skal være anvendelsesorienterede Merete Watt Boolsen 12

13 det nye er også implementering af eventuelle nye mål med eventuelle nye metoder og midler, hvor konsekvenser (ønskede og uønskede) skal identificeres osv. Merete Watt Boolsen 13

14 Hvis en evaluering skal angive strategier for efterfølgende handlinger, skal disse strategier være mulige at forfølge og navnlig mulige at definere og måle. Merete Watt Boolsen 14

15 ØVELSE: Merete Watt Boolsen 15

16 Med andre ord: Evaluering bliver en løbende proces, hvor der arbejdes med social forandring på en bevidst (strategisk) måde Hvilke krav stiller det til evaluator? Merete Watt Boolsen 16

17 Konsekvenser for evalueringsprocessen fokus flyttes fra dataindsamlingstrinnet til analysetrinnet (som hos Radisserne) og strategi-trinnet (som i historien 5-5, billedet af Kaassassuk) [konsekvenserne af spøgelserne på byggepladsen har jeg ikke gennemtænkt eller fulgt op på] Merete Watt Boolsen mwb@ifs.ku.dk 17

18 Pragmatiske metode principper IDEAL: få fat på de bedste data PRAGMATIK: less-than-perfect-data er bedre end more-than-perfect-data, når beslutningerne er taget Merete Watt Boolsen 18

19 IDEAL: hårde data på alle indikatorer PRAGMATIK: bløde data på vigtige spørgsmål er vigtigere end hårde data på mindre vigtige spørgsmål. Prioritér (don t work harder work smarter!) Merete Watt Boolsen mwb@ifs.ku.dk 19

20 IDEAL: flere og bedre data PRAGMATIK: for at undgå informationsdøden: less can be more Merete Watt Boolsen 20

21 anbefalinger at kunne analysere data frem for at blive ved med at samle dem ind at kunne ændre mål, strategier, fokuspunkter og intentioner undervejs (uden at etablere konflikter med donororganisationerne) at vide noget om social forandring og i forlængelse heraf: konsekvenser har konsekvenser Merete Watt Boolsen mwb@ifs.ku.dk 21

22 konsekvenser af anbefalingerne improvement versus development beyond just summative and formative beyond static accountability models muligheden bliver mao.: developmental evaluation Merete Watt Boolsen 22

23 DEVELOPMENTAL EVALUATION DEFINED Evaluation processes including asking evaluative questions and applying evaluation logic, to support program, product, staff and/or organisational development. The evaluator is part of a team whose members collaborate to conceptualize, design and test new approaches in a long-term, on-going process of continuous improvement, adaptation and intentional change. The evaluator s primary function in the team is to elucidate team discussions with evaluative questions, data and logic, and facilitate data-based decision-making in the developmental process. Merete Watt Boolsen mwb@ifs.ku.dk 23

24 DEVELOPMENTAL EVALUATION kaldes også real time evaluation emergent evaluation action evaluation adaptive evaluation Merete Watt Boolsen 24

25 det handler om at evaluere på PROCESSER, hvor evaluators rolle ændrer sig under overskriften: fra INTERAKTION til RELATION Merete Watt Boolsen 25

26 det sker, når kravene er/betingelserne er high innovation development high uncertainty dynamic emergent Merete Watt Boolsen 26

27 Udfordringen bliver derfor matching the evaluation process and design to the nature of the situation: dvs. contingency-based evaluation Merete Watt Boolsen 27

28 som begynder med det socialkonstruktivistiske perspektiv: hvordan forstår de, der skal evalueres, verden/situationen mv.? Merete Watt Boolsen 28

29 Inden for dette videnskabsteoretiske paradigme bliver forskeren/evaluator en del af måleapparatet. igen er processen: fra interaktion til relation Merete Watt Boolsen 29

30 ØVELSE data indsamling data-analyse anvendelse af data meta-evaluering (efter Michael Quinn Patton (2008): Utilisation- Focused Evaluation. Sage) Merete Watt Boolsen 30

31 MODSÆTNINGER Traditional evaluations Testing models Complexity-based, developmental evaluation Supporting innovation and adaptation (Michael Quinn Patton, TEI 2009) Merete Watt Boolsen 31

32 Konklusioner vs. feedback Traditional Evaluation Render definitive judgments of success or failure (Michael Quinn Patton, TEI 2009) Developmental Evaluation Provide feedback, generate learnings, support direction or affirm changes in direction in real time Merete Watt Boolsen 32

33 Analyser: bagudrettet vs. fremadrettet Traditional Evaluation Render definitive judgements of success or failure Measure success against predetermined goals (Michael Quinn Patton, TEI 2009) Developmental Evaluation Provide feedback, generate learnings, support direction or affirm changes in direction Develop new measures and monitoring mechanisms as goals emerge & evolve Merete Watt Boolsen 33

34 Evaluator-rollen: objektiv vs. subjektiv Traditional Evaluation Evaluator external, independent, objective (Michael Quinn Patton, TEI 2009) Developmental Evaluation Evaluator collaborates with those engaged in the change effort to design an evaluation process that matches philosophically and organizationally Merete Watt Boolsen 34

35 Kontrol vs. samarbejde Traditional Evaluation Evaluator determines the design based on the evaluator s perspective about what is important. The evaluator controls the evaluation (Michael Quinn Patton, TEI 2009) Developmental Evaluation Evaluator collaborates with those engaged in the change effort to esign an evaluation process that matches philosophically and organizationally Merete Watt Boolsen mwb@ifs.ku.dk 35

36 Kausalitet vs. dynamik Traditional Evaluation Design the evaluation based on linear cause-effect logic models (Michael Quinn Patton, TEI 2009) Developmental Evaluation Design the evaluation to capture system dynamics, interdependencies, and emergent interconnections Merete Watt Boolsen 36

37 Generalisering vs. kontekst-afhængighed Traditional Evaluation Aim to produce generalizable findings across time & space (Michael Quinn Patton, TEI 2009) Developmental Evaluation Aim to produce context-specific understandings that inform ongoing innovation Merete Watt Boolsen 37

38 Accountability: extern vs. intern Traditional Evaluation Accountability focused on and directed to external authorities and funders (Michael Quinn Patton, TEI 2009) Developmental Evaluation Acountability centered on the innovators deep sense of fundamental values and commitments and learning Merete Watt Boolsen 38

39 Kontrol og fejlfinding vs. mangel på kontrol og strategitænkning Traditional Evaluation Accountability to control and locate blame for failures (Michael Quinn Patton, TEI 2009) Developmental Evaluation Learning to respond to lack of control and stay in touch with what s unfolding And thereby respond strategically Merete Watt Boolsen mwb@ifs.ku.dk 39

40 Lav status vs. høj status Traditional Evaluation Evaluation often a compliance function delegated down in the organization Developmental Evaluation Evaluation a leadership function: reality-testing results-focused learning-oriented leadership (Michael Quinn Patton, TEI 2009) Merete Watt Boolsen mwb@ifs.ku.dk 40

41 Fear of failure vs. hunger for learning Traditional Evaluation Evaluation engenders fear of failure Developmental Evaluation Evaluation supports hunger for learning (Michael Quinn Patton, TEI 2009) Merete Watt Boolsen 41