Nr. 21 November Tema: Tilbageblik DES Konference 2008

Transkript

1 Nr. 21 November 2008 Tema: Tilbageblik DES Konference 2008

2 Side 1 Leder Tilbageblik på evalueringskonferencen 2008 Af Poul Skov Dahl, Ph.d., NIRAS Konsulenterne, bestyrelsesmedlem i Dansk EvalueringsSelskab Denne udgave samler op på årets evalueringskonference på flere måder. For det første samles der op på deltagernes oplevelser fra konferencen. Det gøres med udgangspunkt i en survey, som DES har foretaget blandt alle deltagere på konferencen. Igen i år kan der spores generel tilfredshed med konferencen. Det er vi i bestyrelsen glade for, men vi er samtidig meget opmærksomme på forbedringspotentialer. Derfor studerer vi nøje, de indkomne svar. Tak til de 160 konferencedeltagere (71 %), der har svaret! For det andet præsenteres selskabets nye bestyrelse, som kunne træde sammen umiddelbart efter året generalforsamling. Bestyrelsen vil gerne sige tak til de medlemmer, som er udtrådt efter tro tjeneste. Og så selvfølgelig velkommen til de nye medlemmer af bestyrelsen. For det tredje bringes en række artikler fra oplægsholdere på konferencen: John Mayne har begået en artikel, hvor han præsenterer Constribution Analysis som alternativ metode til eksperimentelle eller quasi-eksperimentelle designs til måling af effekter og resultater. Ian Davies biddrager med artiklen: What gets measured gets done: well, not necessarily. Hovedargumentet er, som overskriften antyder, at målinger ikke nødvendigvis påvirker performance i positiv retning nogle gange tværtimod. Grisen bliver med andre ord ikke nødvendigvis tykkere af at blive vejet. Runa Bjørn og Martin Bilberg fra Århus Kommune skriver om Evalueringsstudier og effektstyring som beslutningsgrundlag, og de rejser blandt andet spørgsmålet: Hvordan udspiller relationen mellem evaluator og beslutningstager sig i virkeligheden? Sven Erik Nordenbo og Mette Thornva præsenterer i deres artikel Dansk Clearinghouse for Uddannelsesforskning som løsningen på problemet med at skabe sammenhæng mellem pædagogisk forskning og praksis. Allerede nu ligger det fast, at næste års konference foregår på Hotel Nyborg Strand. Følg med i Evalueringsnyt på DES hjemmeside:. Vi glæder os til at se jer alle! Billede på forsiden: De to internationale oplægsholdere på DES-konferencen og forfattere i dette temanummer, Ian C. Davies og John Mayne

3 Side 2 Redaktion Redaktør: Jesper Pedersen, jp@discus.dk, telefon Baggrundsgruppe: Poul Skov Dahl, Niras Konsulenterne Tanja Miller, CEPRA (Videncenter for evaluering i praksis, Professionshøjskole University College Nordjylland) Nyheder, debatindlæg og artikler sendes elektronisk til Jesper Pedersen Deadline Deadline til det næste nyhedsbrev er d. 31. december 2008

4 Side 3 Indholdsfortegnelse Leder Tilbageblik på evalueringskonferencen Redaktion... 2 Deadline... 2 Nyheder... 4 Nyt DES sekretariat... 4 Evert Vedung besøger Århus... 5 Beretning fra konference... 6 Sekretariat... 6 Ny bestyrelse i DES... 7 Formandens årsberetning... 9 Oplevelser fra konferencen Artikler Contribution Analysis: Can you tell if you are making a difference? What gets measured gets done: well, not necessarily Evalueringsstudier og effektstyring som beslutningsgrundlag i den kommunale verden 30 Overblik og viden i den pædagogiske forskning Om Dansk Evaluerings Selskab Medlemskab Bestyrelsen

5 Side 4 Nyheder Nyt DES sekretariat Pr. 1. oktober 2008 er sekretariatet for Dansk Evaluerings Selskab (DES) overgået til Center for Kvalitetsudvikling i Region Midtjylland. Det betyder, at den daglige sekretariatsfunktion fremover vil blive varetaget af sekretær Stina Andersen, og økonomifunktionen vil blive varetaget af fuldmægtig Lola Panduro Vissing. DES adresse: Dansk Evaluerings Selskab Sekretariatet c/o Center for Kvalitetsudvikling Olof Palmes Allé Århus N sekretariat@danskevalueringsselskab.dk DES telefonnumre: Stina Andersen - tlf Lola Panduro Vissing tlf SE-nummer:

6 Side 5 Evert Vedung besøger Århus DES indbyder til Gå hjem møde med Evert Vedung hos NIRAS Konsulenterne i Århus Den offentlige sektor er præget af reformer. Reformerne betegnes ofte New Public Management og er blandt andet kendetegnet ved netværksstyring, joined up government, governance og offentlig-private-partnerskaber. Evert Vedung vil holde et oplæg om, hvad der kendetegner netværksstyring og hvordan denne form for New Public Management skal evalueres. Hvilke evalueringskriterier skal ligge til grund for evalueringen? Evert Vedung er Professor emeritus fra Uppsala og er desuden adjungeret professor ved Københavns Universitet og docent ved Åbo Akademi i Finland. Vedung har været tilknyttet adskillige universiteter i bl.a. Sverige, Danmark, Østrig, Finland, USA og Korea. Arrangementet vil finde sted mandag den 1. december klokken hos NIRAS Konsulenterne, Åboulevarden 80 i Århus. Det foregår på øverste etage. Alle er velkomne. Tilmelding til Dorte Jensen: dje@niraskon.dk senest 25. november.

7 Side 6 Beretning fra konference Sekretariat DES sekretariatet sikrede at alt klappede på konferencen. De skal have en stor tak herfor: Konferencesekretariatet: Fra venstre Stina Andersen, Trine Lolk Haslam og Marie Louise Møller Der skal også lyde en stor tak til konferencekomiteen, som bestod af Bianca Albers, Servicestyrelsen Dorte Kabell, Kabell Konsulting Elisabeth Friis Fredskilde, Frederiksberg Kommune Solgerd Just Mikkelsen, Økonomicenter, DTU Tim Jeppesen, Kommunernes og Regionernes Evalueringsinstitut (KREVI) Marie Louise Møller, sekretariatet for DES

8 Side 7 Ny bestyrelse i DES På generalforsamlingen blev en ny bestyrelse på 11 personer valgt Følgende bestyrelsesmedlemmer fortsætter i bestyrelsen: Tim Jeppesen, KREVI Poul Skov Dahl, Niras Konsulenterne Tue Vinther-Jørgensen, EVA Tanja Miller, CEPRA (Videncenter for evaluering i praksis, Professionshøjskole University College Nordjylland) Ole Gregersen, SFI Elisabeth Friis Fredskilde, Frederiksberg Kommune Peter Rhode, Center for Kvalitetsudvikling, Region Midtjylland Følgende nye bestyrelsesmedlemmer er valgt: Sven-Åge Westphalen, Servicestyrelsen Runa Bjørn, Århus Kommune Mads Teisen, Københavns Kommune Müzeyyen Boztoprak, Arbejdstilsynet Bestyrelsen har nu konstitueret sig. Resultatet blev følgende: Formand: Peter Rhode Næstformand: Tanja Miller Kasserer: Müzeyyen Boztoprak

9 Side 8 Den nye bestyrelse: Øverst fra venstre: Sven-Åge Westphalen, Mads Teisen, Poul Skov Dahl, Peter Rhode, Müzeyyen Boztoprak. Nederst fra venstre: Elisabeth Friis Fredskilde, Tanja Miller, Runa Bjørn, Tim Jeppesen. Ole Gregersen og Tue Vinther-Jørgensen var forhindret i at deltage på generalforsamlingen. Følgende er trådt ud af bestyrelsen Steffen Bohni Nielsen, Ramböll Management Dorte Kabell, Kabell Konsulting APS Bianca Albers, Styrelsen for Social Service Solgerd Just Mikkelsen Repræsentanter fra bestyrelsen : Fra venstre Poul Skov Dahl, Solgerd Just Mikkelsen, Tanja Miller, Elisabeth Friis Fredskilde, Tim Jeppesen.

10 Side 9 Formandens årsberetning Årets gang i store træk Peter Rhode, formand for DES, aflagde på generalforsamlingen foreningens bestyrelsesberetning: Medlemstallet Medlemstallet for perioden er stigende. Foreningen har på nuværende tidspunkt 100 institutionelle medlemmer, 66 personlige medlemmer og 17 studentermedlemmer. Medlemskontingenter er grundlaget for arbejdet i DES. Årets evalueringskonference Emnet for den årets DES konference var Professionalisering af evaluering. Konferencen blev afholdt på Hotel Koldingfjord umiddelbart før generalforsamlingen. Der har også i år været stor tilslutning til DES konferencen. Peter Rhode Gå-hjem-møder Der har været afholdt gå-hjem-møder i årets løb. Gå-hjem-møder sigter på at samle interesserede omkring et bestemt evalueringsemne. Formen har hovedsagligt været et forberedt oplæg, som lagde op til diskussion, samt en fri debat. Emnerne har dels været af metodisk karakter, dels omhandlende substantielle emner. Følgende gå-hjem-møder har været afholdt: 23/ Hvor mange stjerner får dit sygehus? 28/ Odense Kommunale nøgletal og benchmarking er det overhovedet evaluering? Ved Kurt Houlberg, Projektchef, NIRAS Konsulenterne A/S 24/ København Evidensdebatten vejen til en ny metodestrid? Ved Olaf Rieper, AKF, Anette Lund, Handicap- og Psykiatriforvaltningen, Odense Kommune og Kjeld Høgsbro, AKF Gå-hjem-møderne har været velbesøgte og det er en god mødeform som vi i DES vil gøre mere af.

11 Side 10 Evalueringsnyt Nyhedsbrevets redaktør er Jesper Pedersen er tidligere medlem af bestyrelsen, og han har gjort et stort arbejde med at sikre udgivelse af DES Evalueringsnyt. I har nyhedsbrevet dækket følgende temaer: December: Tilbageblik på DES konference 2007 Februar: Evaluering i den offentlige sektor - Information som grundlag for en bedre offentlig sektor Juni: Evaluering i kommuner og regioner August: Opvarmning til evalueringskonferencen 2008 Sekretariat Sekretariatet har indtil 1. oktober 2008 været placeret i Danmarks Evalueringsinstitut i København. Det er Marie Louise Møller der har varetaget sekretariatsopgaven, og hun har gjort et stort arbejde i sekretariatet. Bestyrelsen har besluttet at indskrænke sekretariatsopgaven, og har haft sekretariatsopgaven i et udbud blandt SFI, AKF, KREVI og EVA. Ingen af de 4 har ønsket at påtage sig sekretariatsopgaven inden for de rammer som bestyrelsen har skitseret. Indtil videre har bestyrelsen således besluttet at sekretariatsopgaven placeres ved Center for Kvalitetsudvikling. Arbejdsgrupper I bestyrelsen har der været nedsat en række arbejdsgrupper. Det har knebet lidt med mødefrekvensen i flere grupper, men vi håber, at vi med nye kræfter i bestyrelsen kan få mere gang i arbejdsgruppernes arbejde. Derudover har bestyrelsen besluttet, at der umiddelbart efter generalforsamlingen vil blive afholdt et strategiseminar, hvor bestyrelsen vil drøfte DES arbejdet i det kommende år og samtidig drøfte strategier for udviklingen af DES i de kommende år. Hjemmesiden Her annonceres DES-arrangementer, der bringes anmeldelser og omtale af litteratur om evaluering, information om kommende konferencer om evaluering samt links til websider om evaluering. Nyhedsbrevet kan ligeledes downloades fra hjemmesiden.

12 Side 11 Hjemmesiden indgår i de strategiske overvejelser. Økonomi Økonomien har fyldt meget i det forgangne år, fordi der har været meget vigtige opmærksomhedspunkter i løbet af året. I forhold til konferencen skal der være sammenhæng mellem et højt medlemsantal, honorarer til oplægsholdere og stedet for afholdelse af konferencen. Hotel Koldingfjord er blevet for lille til det store antal deltagere. På baggrund af dette og af hensyn til økonomien rykker konferencen fra 2009 til Hotel Nyborg Strand. Det er både større og billigere og udgør derfor et godt alternativ til Koldingfjord. Der har været inviteret internationale oplægsholdere både torsdag og fredag ved dette års konference. Det er lidt af en investering i forhold til økonomien i konferencen og dette skal evalueres. Der er kontingenter i restance blandt andet på grund af strukturreformen og manglende opdatering af databasen som vi arbejder på. Den nye bestyrelse skal arbejde på en strategi for at få flere institutionsmedlemskaber. Bestyrelsen Bestyrelsen er bredt sammensat. Den består af medlemmer fra det kommunale-, regionale- og private område samt forskningsområdet. Bestyrelsen består af: Peter Rhode, Center for Kvalitetsudvikling, Region Midtjylland (formand) Bianca Albers, Servicestyrelsen (næstformand) Solgerd Just Mikkelsen, Økonomicenter, Danmarks Tekniske Universitet (kasserer) Tim Jeppesen, Det Kommunale og Regionale Evalueringsinstitut Poul Skov Dahl, NIRAS Konsulenterne Dorte Kabell, Kabell Konsulting Steffen Bohni Nielsen, Rambøll Management Elisabeth Friis Fredskilde, Sundhedscentret, Frederiksberg Kommune Ole Gregersen, SFI, Det Nationale Forskningscenter for Velfærd Tanja Miller, Videncenter for evaluering i praksis, CEPRA, CVU Nordjylland Tue Vinther-Jørgensen, Danmarks Evalueringsinstitut (EVA)

13 Side 12 Bestyrelsen har afholdt 4 møder fra september 2007 og til dags dato. Der er følgende afgående bestyrelsesmedlemmer: Bianca Albers har valgt at udtræde af bestyrelsen Solgerd Just Mikkelsen falder for tidsperiode grænsen for deltagelse i bestyrelsen Dorte Kabell har valgt at udtræde af bestyrelse Steffen Bohni Nielsen har valgt at udtræde af bestyrelsen Poul Skov Dahl (genopstiller) Tak til alle de afgående bestyrelsesmedlemmer! Spørgsmål til formandens beretning Lisbeth Jarlov: Det er vigtigt at bevare mangfoldigheden i konferencens program og den kritiske tilgang og gode faglige debat. Og så må konferencen ikke blive dyrere. Sekretariatet er vigtigt så det er bekymrende at spare her. Peter Rhode, formand: En bred sammensætning i konferenceprogrammet er vigtig. Også økonomien er vi opmærksomme på og vi arbejder for at gøre deltagelse billigere. Vedrørende sekretariatet er det en foreløbig beslutning som bestyrelse har truffet. På efterårets strategiseminar vil vi drøfte sekretariatsplaceringen igen. Mads Teisen, Københavns Kommune: Gå-hjem-møde på Fyn hvordan vurderer I, hvor møderne skal afholdes? Peter Rhode, formand: Afvejning af om møderne skal holdes flere gange forskellige steder. Vi ved godt, at vores opgave er at servicere hele landet men vi har foreløbig holdt fast på at nogle møder holdes i København andre i Århus og nogen begge steder. Vi er åbne overfor at holde møder i Odense, det er nok også et praktisk spørgsmål med henblik på at få oplægsholdere til at deltage. Det er nemmere hvis de bor i København eller Århus. Martin Bilbjerg, Århus Kommune: Er der en strategi for at alle kommuner skal være medlem? Peter Rhode, formand: Der er handlinger på vej, der ligger dog ikke noget konkret endnu. Beretningen blev enstemmigt vedtaget.

14 Side 13 Oplevelser fra konferencen Hvert år bliver evalueringskonferencen evalueret gennem en spørgeskemaundersøgelse til deltagerne. En ny metode er blevet afprøvet med succes: Deltagerne fik efter konferencen tilsendt en mail med et link til undersøgelsen. Det har resulteret i at 50 % flere end sidste år har besvaret spørgeskemaet. Af de 226 tilmeldte til konferencen har 160 personer (71 %) udfyldt evalueringsskemaet. De er grundlæggende tilfredse med konferencen. Høj tilfredshed med konferencen alt i alt Selv om tilfredsheden med konferencen sidste år var høj, var der tale om den laveste tilfredshed i selskabets historie (87 %). I år er andelen af tilfredse steget til 89 %. Konferencen i Nyborg 2006 tegner sig for den højeste tilfredshed, med 98 % tilfredse. Der har i alt været 3 konferencer i Kolding. De tegner sig alle for den laveste andel af tilfredse deltagere. Tilfredsheden med konferencen alt i alt Kolding 2008 Kolding 2007 Nyborg 2006 Horsens 2005 Kolding 2004 Antal % Antal % Antal % Antal % Antal % Meget tilfreds Tilfreds Hverken/eller Utilfreds Meget utilfreds Ved ikke Total Lige som sidste år har deltagerne overvejende været meget tilfredse med rammerne samt forplejning i løbet af evalueringskonferencen. 96 % har været tilfredse eller meget tilfredse med Koldingfjord Hotel og Konferencecenter som ramme for evalueringskonferencen. Der er flere bemærkninger om at konferencen er for dyr: Rammerne på Kolding Fjord var fantastiske, men prisen var også høj. Kommunerne er spændt hårdt for økonomisk og jeg vil hellere bo og spise lidt mere sparsomt og så få flere af vores konsulenter fra kommunen med næste år. På den ene side er Koldingfjord en suveræn konferencelokalitet. På den anden side er prisen i overkanten af, hvad min organisation finder rimeligt at betale.

15 Side 14 Udviklingsseminarer torsdag Af de deltagere, der deltog i de professionelle udviklingsseminarer torsdag, var 71 % enten tilfredse eller meget tilfredse hermed, hvilket er det samme som sidste år. Udviklingsseminarer - Gruppearbejde i det fri Deltagernes kommentarer til udviklingsseminarerne går meget på at udviklingsseminarerne ikke adskilte sig konceptuelt fra parallelsessionerne, og at der manglede deltageraktivering og diskussion. Dog har flere af deltagerne fremhævet Bjørn Nygaard og Christian Moldts udviklingsseminarer som dem der bedst har lever op til konceptet. En deltager har skrevet denne kommentar: Bjørn Nygaard Det er ikke tydeligt, hvad der ligger i konceptet for "professionelle udviklingsseminarer". Hvad adskiller det fra "parallelsessionerne" ud over varigheden? Jeg forestiller mig, at hensigten er, at udviklingsseminarerne skal give en nærmere indføring i det konkrete emne. Men så er det ikke nok, at der blot er sat 3 gange så meget tid af som til parallelsessionerne. Jeg foreslår, at man specificerer konceptet og sikrer, at udviklingsseminarerne ikke blot er tre timers foredrag, men inkluderer noget, der gør det til netop et "udviklingsseminar" (hvad der så end ligger i dette ordvalg) - fx at der indgår mere noget interaktivt, fx øvelser. Det kræver selvfølgelig, at man handler dette af med oplægsholderne før konferencen, men det må kunne lade sig gøre. Jeg var til to professionelle udviklingsseminarer, hvor det ene var vældig godt og udbytterigt, det andet var mindre udbytterigt, og hvor det sådan set udmærkede indhold nok kunne være klaret på en times foredrag.

16 Side 15 To andre deltagere har beskrevet problematikken på følgende måde: Jeg ser helst at udviklingsseminarerne består af undervisning og gruppearbejde, ikke alt for meget oplæg med tonsvis af overheads. På de professionelle udviklingsseminarer jeg deltog i, glemte foredragsholderne at det skulle være et seminar. Jeg havde forventet meget større grad af inddragelse, gruppearbejde el. lign. 3-4 times foredrag er ekstremt langt, hvilket også betød en del døde perioder i begge oplæg. Christian Moldt Der skal også være plads til lidt ros: Christian Moldts oplæg var meget inspirerende. Både solidt fagligt indhold, men han var også dygtig til at aktivere og involvere deltagerne. Har du læst Christian Moldts og Bente Bjørnholdts artikler i det forrige nyhedsbrev? Selve konferencen Parallelsessioner 82 % af de deltagere, der deltog i parallelsessionerne om fredagen, var tilfredse eller meget tilfredse med indholdet. Tilfredsheden med lørdagens parallelsessioner var noget lavere. Her tilkendegav 70 % at de var tilfredse eller meget tilfredse. Bente Bjørnholt

17 Side 16 Plenumoplæg 71 % var tilfredse med plenumoplæggene fredag med John Mayne, Lisbeth Binderup, Ian C. Davies og Leon Lerborg. Kun 62 % var tilfredse med plenumoplæggene lørdag som var samlet under temaet Akkreditering på social- og sundhedsområdet ved Carsten Engel, Peter Rhode og Jan Mainz. 12 % af deltagerne tilkendegav at de var utilfredse med oplæggene. En af forklaringerne kan være at deltagerne ikke blev inddraget og at temaet var for adskilt og ikke reflekterende over fredagens diskussioner (se nedenfor). Carsten Engel og Jan Mainz En af deltagerne har givet en meget grundig tilbagemelding på konferencen som meget godt samler op på mange af de øvrige deltageres kommentarer: Oplæggene v. Lisbeth Binderup, Leon Lerborg og Henrik Hjortdal var fremragende. Disse oplæg kontekstualiserede på flot vis evaluering og rejste endda også nogle kritiske spørgsmål til NPMevaluering som kvalitetsstyringsredskab. Spørgsmål som vi med rette kunne tage med hjem og reflektere over. Der blev med andre ord åbnet eller måske snarere sparket et vigtigt vindue op til den praktikerkontekst som evalueringsarbejdet opererer i. Og det var fint. Det er for mig at se netop vigtigt at evaluering kontekstualiseres og at DES ikke bliver et for lukket kredsløb, så hurra for disse oplæg. Det jeg imidlertid savnede ved plenumoplæggene samlet set var noget reflekterende opsamling på forbindelserne imellem fredagens og lørdagens plenumoplæg. F.eks. stod Lerborg, Hjortdal og Binderups fredagsoplæg umiddelbart i meget skarp og skærende kontrast til lørdagens plenumoplæg ved Jan Mainz, Carsten Engel og Peter Rohde. Det kunne have været super interessant med en reflekterende konferenceopsamling på forbindelserne mellem plenumoplæggene. Fx kunne man godt have spundet en ende over det 'paradigmeclash', der umiddelbart syntes at udspille sig imellem fredagens og lørdagens plenumoplæg. Eller sagt på en anden måde: Det paradigmeskift som bl.a. Hjortdal og Lerborg lancerede fredag syntes umiddelbart at blive aflivet lørdag.

18 Side 17 En anden deltager forklarer det på denne måde: Ang. min utilfredshed med plenumoplægget lørdag: Diskussioner manglede totalt. Tilhørerne var sløve, men det kunne måske have været dyrket lidt via formen. Der er mange kritikere af akkreditering, indikatortænkning og performance monitorering. Vi mødte jo et udpluk fredag. Kunne I mon have fundet en stærk modspiller til Mainz og Engel på sundhedsområdet? Og en ditto fra socialområdet til Rhode? Hvorfor ikke skabe lidt spænding ved at sætte et panel med modsatrettede holdninger til feltet? Tog hjem med en underlig fornemmelse af om fredagen at have begravet performance monitorering og hyldet evalueringsbranchens muligheder for opera-tænkning frem for TALsættelse af det menneskelige v. den offentlige sektor for så om lørdagen at vække alt det grimme til live igen - mængder af tal og målinger i det offentlige felt. Det var sgu' ærgerligt, at de to dage ikke spillede bedre sammen. Konferencens tema Deltagere har generelt angivet, at temaet for årets konference Evaluering som beslutningsgrundlag - teorier, metoder og sektorer" er relevant i forhold til deres arbejde, den aktuelle politiske debat og evalueringsfeltet. I denne forbindelse har flere deltagere fremhævet, at kritiske indlæg og diskussioner kunne have øget konferencens relevans. Flere deltagere har tilkendegivet, at en bedre kobling mellem evalueringsfeltet og den politiske anvendelse af evalueringer ville have øget relevansen. To deltagere har foreslået, at man kunne have inviteret repræsentanter for politiske partier for at etablere en direkte forbindelse til det politiske niveau. En anden deltager har foreslået, at man med fordel kunne have niveau-inddelt sessionerne efter sværhedsgrad, så deltagerne havde haft mulighed for at vælge sessioner ikke bare ud fra interesse, men også ud fra erfaringsgrundlag. Endelig har flere deltagere påpeget, at øget deltagerinddragelse kunne have øget konferencens relevans. Der er masser af kompetente deltagere på konferencen, som fint ville kunne bidrage med perspektiver på evaluering. Og som ville kunne hæve det faglige niveau. Et andet punkt er en mere dynamisk konferenceform med et reelt deltagerorienteret perspektiv - især i sessionerne. Der er ikke plads til diskussioner og drøftelser. Som nævnt ovenfor har to deltagere givet udtryk for at konferencens tema også kunne lægge op til en politisk debat: Måske kunne det være rigtig sjovt med noget parti-politik om dette her emne. Hvor er socialdemokraterne i dag, hvor er venstre, radikale, SF osv. Hvis nogle politikere havde lyst til at møde evalueringsbranchen og deltage i noget paneldebat om evalueringers rolle i samfundet, og hvad vi skal gø-

19 Side 18 re ved, at målinger tager overhånd. Altid interessant at høre, hvordan og hvorvidt de partipolitiske linier ikke er entydige på disse spørgsmål. Inviter politikere til paneldebat. Både i år og sidste år, ville det have været helt oplagt. Sørg for at udviklingsseminarer består af undervisning og gruppearbejde. Evalueringskonferencens sociale aktiviteter Deltagerne er også blevet spurgt om deres tilfredshed med evalueringskonferencens sociale aktiviteter (eks. festen fredag aften). 88 % var tilfredse eller meget tilfredse. Det er præcis det samme som sidste år Det skal absolut fremhæves at musikken var meget mere egnet og festlig end tidligere, herunder sidste år. GODT GÅET. Det gør ikke noget at det ikke er et band, fint når der bare er en - som der var - man kan tale med om musik og spørge til navne mv. TAK!

20 Side 19 Artikler Artikler sendes elekronisk til Retningslinjer: Artikler skal være kortfattede, det vil sige max 5 sider (linjeafstand 1,3) Artikler skal omhandle evaluering 4 Artikler må ikke være anstødelige og diskriminerende Artikler må ikke have et markedsføringssigte Om nødvendigt bedes bestyrelsen foretage en vurdering af disse forhold Contribution Analysis: Can you tell if you are making a difference? John Mayne, Advisor on Public Sector Performance, Ottawa, Canada A key question in the assessment of programmes and projects ought to be that of attribution: to what extent are observed results due to programme activities rather than other factors? What we want to know is whether or not the programme has made a difference whether or not it has added value? Too often this question is not addressed in evaluations or only addressed in a very limited way. But without showing that the programme has made a difference, little can be said about its performance, other than, perhaps, that the programme is working hard staff are busy and outputs are being produced. Experimental or quasi-experimental designs are traditional methodological approaches to addressing cause and effect questions. But in many settings these methods are not feasible or not practical. In such cases, contribution analysis can help evaluatords come to reasonably robust conclusions about the contribution being made by programmes to observed results.

21 Side 20 Contribution analysis explores attribution through assessing the contribution a programme is making to observed outcomes. It sets out to verify the theory of change behind a programme and, at the same time, takes into consideration other influencing factors. Causality is inferred from the following evidence: 1. The programme is based on a reasoned theory of change: the assumptions behind why the program is expected to work are sound, are plausible, and are agreed upon by at least some of the key players. 2. The activities of the programme were implemented. 3. The theory of change is verified by evidence: the chain of expected results occurred. 4. Other factors influencing the programme were assessed and were either shown not to have made a significant contribution or, if they did, the relative contribution was recognised. Based on this evidence one can conclude that it is very likely the programme has made a difference that is has contributed to the observed desired outcomes. Contribution analysis is useful in situations where the programme is not experimental there is little or no scope for varying how the program is implemented and the programme has been funded on the basis of a theory of change. That is, the funders of the programme have rationale in mind of why carrying out a variety of activities will result in the desired outcomes being realized. Many evaluators assessing the performance of programmes face this situation. There are six iterative steps in contribution analysis (Table 1), each step building the contribution story and addressing weaknesses identified in the previous stage. If appropriate, many of the steps can be undertaken in a participatory mode. Table 1: Steps in Contribution Analysis Step1: Set out the attribution problem to be addressed There are numerous types of cause-effect issues that could be addressed. Care is needed in identifying exactly what is the concern: which question is really at issue and what level of evidence is desired. Step 2: Develop a theory of change, the risks to it and identify other influencing factors A theory of change shows both the logic of the programme and the assumptions behind the programme, and identifies other possible influencing factors. Sources for programme theory and for other influencing factors are documents,

22 Side 21 funders, programme managers and staff, beneficiaries, subject mater experts and social theory. Step 3: Gather the existing evidence on the theory of change What do we know now? There is usually relevant information already available from prior studies, monitoring data or informed observers on how the programme is working. What do we know about the other influencing factors? Step 4: Assemble and assess the contribution story, and challenges to it With this information we can set out an initial contribution story what is the evidence that the programme has made a difference and then assess its strengths and weaknesses. How strong do the other influencing factors and alternative explanations appear? Step 5: Seek out additional evidence Where the evidence is weak such as specific links in the theory of change and/or on other influencing factors additional evidence can be sought. Step 6: Revise and strengthen the contribution story The revised contribution story which may involve a revised theory of change to better match reality can be assessed and, if needed or if possible, further evidence gathered, returning to Step 5. Basic references for contribution analysis are Mayne (2001, 2008). Explicit uses of contribution analysis are limited. Kotvojs (2006) describes one way of using contribution analysis in a development context, as a means to consider progress towards outputs and intermediate and end outcomes. (p. 1) But there are quite a few articles that discuss approaches to this making a difference question that use many or most aspects of contribution analysis. These references are provided at the end of this article. Contribution analysis aims at confirming or revising a theory of change, not primarily to discover a theory of change. It is not a panacea for addressing attribution, but can provide useful information on the contribution a program is making. Neither is it a cop-out, allowing a limited statement of a theory of change to cover the attribution issue. It requires careful thought, in depth analysis, evidence gathering, testing and re-testing.

23 Side 22 General References Kotvojs, F Contribution Analysis: a new approach to evaluation in international development. Paper presented at the Australian Evaluation Society 2006 International Conference, Darwin. Available at Mayne, J. (2001). Addressing Attribution through Contribution Analysis: Using Performance Measures Sensibly. Canadian Journal of Program Evaluation, 16(1): Mayne, J. (2008). Contribution Analysis: An Approach to Exploring Cause and Effect, ILAC Brief No. 16: The Institutional Learning and Change Initiative. Available at References to Approaches that Use Aspects of Contribution Analysis Connell, J. P. and A. C. Kubisch (1998). Applying a Theory of Change Approach to the Evaluation of Comprehensive Community Initiatives: Progress, Prospects, and Problems. In K. Fulbright- Anderson, A. C. Kubisch and J. P. Connell, (Eds.). New Approaches to Evaluating Community Initiatives, Vol. 2: Theory, Measurement, and Analysis, Aspen Institute. Presents a version of contribution analysis, arguing that if the theory of change appears to come about, then you have some degree of attribution. Davidson, E. J. (2006). Causal inference nuts and bolts. American Evaluation Association Annual Conference. Portland, OR. Available at (accessed 11 Feb 2008). Presents a number of strategies for inferring causation, several of which are those suggested in contribution analysis. Gysen, J., h. Bruyninckx and K. Bachus (2006). The Modus Narrandi: A Methodology for Evaluating Effects of Environmental Policy. Evaluation, 21(1): Presents a form of contribution analysis. Talks about creating causal stories; constructing a reasonable causal chain; reconstructing the effects spectrum and reconstruction of the blind spot (to identify unintended side effects). Patton, M. Q. (2008). Advocacy Impact Evaluation. Journal of MultiDisciplinary Evaluation, 5(9): Available at Presents a de facto contribution analysis. They concluded that the campaign evaluated had contributed significantly to a Supreme Court decision. Pawson, R., T. Greenhalgh, G. Harvey and K. Walshe (2005). Realist review a new method of systematic review designed for complex policy interventions. Journal of Health Services Research & Policy, 10(Supp 1): Uses the generative model of causality (which underpins realist enquiry) that argues to infer a causal outcome (O) between two events (X and Y), one needs to understand the underlying mechanisms (M) that connects them and the context (C) in which the relationship occurs. Argues that realist evaluation seeks explanation rather than final judgement.

24 Side 23 Reynolds, A. (1998). Confirmatory Program Evaluation: A Method for Strengthening Causal Inference. American Journal of Evaluation, 19(2): Confirmatory program evaluation uses program theory and quantitative analytic techniques to investigate, strengthen, and confirm causal inferences in outcome evaluations. It complements and extends other evaluation approaches. Weiss, C. (1995). Nothing as practical as good theory: Exploring theory-based evaluation for comprehensive community initiatives for children and families. In New approaches to evaluating community initiatives: concepts, methods and contexts. J. P. Connell, A. C. Kubisch, L. B. Schorr and C. H. Weiss, Eds. Washington, DC, The Aspen Institute. "The aim is to examine the extent to which program theories hold. The evaluation should show which of the assumptions underlying the program break down, where they break down, and which of the several theories underlying the program are best supported by the evidence." (p. 67) "Tracking the micro-stages of the effects as they evolve makes it more plausible that the results are due to program activities and not to outside events or artifacts of the evaluation, and that the results generalize to other programs of the same type." (p. 72) Weiss, C. H. (1997b). How Can Theory-Based Evaluation Make Greater Headway? Evaluation Review, 21(August): A critical review of theory-based evaluation and the uses of theories of change.

25 Side 24 What gets measured gets done: well, not necessarily By Ian Davies, Consultant, Ian C. Davies Conseil Inc. This article 1 summarises the keynote presentation given by Ian Davies at the Danish Evaluation Society annual conference on September 12, 2008, in Kolding. Introduction Over the last 25 years or so, public management reforms in governments worldwide have had measurement as a centrepiece of their approach. Performance monitoring, use of indicators and targets, are but a few ways in which measurement is employed. This is the case for reforms in Canada, the UK, the US and Denmark, among others, and it is especially prevalent in international development. However, this attention to measurement is rarely accompanied by a corresponding focus on management and more broadly on organisational effectiveness. There appears to be an assumption among proponents of measurement, particularly evaluators, that, in the context of reform, the development and use of evaluative tools will necessarily lead to improvements in performance. 1 This article and its content is the intellectual property of the author and may not be reproduced in any way, shape or form without the formal written consent of Ian C. Davies.

26 Side 25 This article challenges the assumption that measurement, or, broadly writ, the evaluative enterprise, contributes necessarily to improving performance, i.e. to getting things done. It goes further and argues that, in some cases, the evaluative thrust can actually be detrimental to performance. Finally, the article discusses what evaluation, and evaluators, can do about it. Context The remarks that follow concern reforms in the public sector generally but draw more specifically on public administration reform initiatives at different levels of government: national, regional and local. Performance is understood as a causal construct 2 from organisational and programme perspectives 3. Performance management is defined as management and, as such, is different and distinct from performance measurement. Management is understood as the manipulation of production processes to realise performance. Performance management is making changes in processes of production in order to best meet the intended results, i.e. varying outputs to best achieve outcomes. Assumption An unmistakeable indication of the assumption that what get measured gets done is the way in which, both in literature 4 and in practise, the terms performance management and performance measurement are used interchangeably. Another sign of this assumption is the fairly typical reaction, when performance does not improve, i.e. the reform does not take or change does not occur, to look immediately to shortcomings in measurement. In the world of development, it is common practise to respond to lack of progress of reforms, i.e. in performance of programmes and institutions, with calls for more and better indicators, targets, and monitoring and evaluation. This is a little bit like calling for better weight scales and more weighting when one does not lose (or gain) the desired weight. Focusing on measurement to affect performance, without dealing with management, is like pushing a string. 2 Performance is conceived primarily as a cause and effect linkage, e.g. a program causes results; this is different from a normative construct where performance is seen as compliance with norms, e.g. an activity that only follows the rules. 3 As different from societal, strategic, policy and individual perspectives. 4 Nielsen, S. B., & Ejler, N. (2008). Improving Performance?: Exploring the Complementarities between Evaluation and Performance Management. Evaluation, 14(2), Davies, I. C. (1999). Evaluation and Performance Management in Government. Evaluation, 5(2),

27 Side 26 Reasons So where do the reasons lie for little or no change in performance? To a large extent they are rooted in the organisational and operational environments, i.e. the management universe, rather than in the evaluative world, i.e. the measurement domain. The reforms that are suggested by the New Public Management 5 (NPM) paradigm aim to bring about fundamental shifts in the culture of institutions. These changes can be significant, because of their nature and depth, when undertaken in procedurally focused bureaucracies. Cultural shifts are about sustainable and effective changes in collective behaviour that are usually long term and possibly generational. These behaviours respond to a host of factors other than measurement information, such as incentives, leadership, working environment, career perspectives, etc. Fit The prevailing view of this article is that, in the context of performance management in the public sector, the evaluative enterprise pays insufficient attention to organisational and operational determinants of collective behaviour. Reform initiatives typically nod at the organisational level in the areas of planning, e.g. developing strategic plans, and of measurement, e.g. identifying indicators, but that s about it. Outside of monitoring and evaluation considerations, little, if anything, is done at the operational level, i.e. how activities are managed. For evaluators working in the context of performance based reforms, the key message is that, for evaluative information to make a relevant and useful contribution to performance, it has to take into account organisational and operational conditions. In other words, the evaluator should acknowledge, identify and assess the organisational and operational environments to fit the level of measurement, i.e. of evaluative processes, to them. There s little point in developing performance measurement if there s no management use or demand for the information, i.e. the string needs to be pulled rather than pushed. Developing evaluative processes and mechanisms in the absence of corresponding management demand, not only wastes resources, but draws attention away from organisatio-

28 Side 27 nal and management issues that should be addressed to improve performance. When this happens, the evaluative enterprise is not only useless, it is detrimental to performance. Operational and organisational conditions To distinguish between operational (or programme and project) characteristics and organisational (or institutional) attributes, it is useful to apply the term results-based management to the former and performance management to the latter. What key conditions should exist in programmes and projects to allow for results-based management 6? First, there should be sufficient management autonomy. The manager of the programme or the project should have the ability to control the production processes to the extent that outputs can be modified. In other words, authority should be commensurate with responsibility. A public health programme has as its intended outcome the reduction of infant mortality due to malaria. There are various ways to contribute to the outcome such as impregnated mosquito nets, prophylactic medication, insect repellent, parental education, drainage of stagnant water, etc. To the extent that these can be done by the programme they can be considered outputs. Management consists, among other things, of finding and producing the optimal mix of outputs to achieve the intended outcome. However, if the only option is the purchase and distribution of mosquito nets, the manager of the programme does not have the required autonomy, i.e. the authority or the ability, to choose the outputs or their mix. In this case, the relationship between the output and the outcome, i.e. the effectiveness, of the programme is determined. When there is insufficient management autonomy, e.g. when outputs are prescribed, results based management is simply not possible. Second, accountability for results is the expectation that management be based, among other things, on meaningful information about the extent to which outputs are achieving outcomes. Accountability means the ability and obligation for management to show that 5 Aucoin, P. (1995). The new public management: Canada in comparative perspective. Montreal: Institute for research on public policy. 6 Results-based management (RBM) is used generically, i.e. the same as managing for results, results-oriented management, etc.

29 Side 28 decisions affecting the programme are made by keeping one s eye on the outcome ball. Only then can management be fully understood and its quality assessed. Two principles underlie this view: no one is expected to achieve the impossible and one can only be held responsible for those things over which he or she has control. Third, there has to be a clear distinction between operational (programme and project) performance, and individual employee performance which is a different construct. Bundling the latter with the former is a fundamental, and unfortunately common, mistake. Performance assessments of programmes and projects contribute to operational learning, i.e. programme theory, and constitute a different and distinct level of analysis from that of individual performance assessments. What are the organisational considerations for performance management? Organisational environments tend to be more complex and difficult to circumscribe and assess than programme environments. As such, there are no absolute conditions that need to be met; rather, there are attributes that are known to be related significantly to questions of organisational performance and these should be considered. Some considerations are: An effective organisational or corporate governance function that provides overall and strategic direction to the organisation. Leadership that articulates and communicates management direction clearly so that staffs understand where the organisation is going and how, and what they are meant to contribute. Quality of the working environment including professional development, job satisfaction, retention and turnover, workplace safety, gender equity, quality of human resource management, career development, etc. Are incentives consistent with principles of results-based management? For example: Is the organisation clear that pay for performance is a poor incentive? Is control adapted to organisational learning? Are mistakes seen as learning opportunities or reasons to punish? Does the organisation recognise and value professional judgment? Is the organisation risk-averse? Change should be managed. Change costs money. Are there resources dedicated to change and change management particularly in the context of reform?

30 Side 29 Is there a clear accountability framework for the organisation (who is accountable to whom for what, when, where and how)? Are performance measurement and reporting, evaluation and performance audit used appropriately? Is there meaningful external reporting on organisational performance? What can evaluation and evaluators do? In the contexts of performance management or results-based management, evaluators should expand their evaluative scope to include assessment of operational conditions and considerations of organisational attributes. There are at least three ways in which evaluation and evaluators can do this: A. By refocusing the debate away from the relative merits of performance measurement vs. evaluation vs. performance audit, to how to use and combine these different evaluative approaches under different programmatic conditions and organisational configurations. B. By providing managers with information and knowledge not only about the measurement processes that form part of performance and results-based management, but about the relationships between the latter and the operational conditions and organisational characteristics of their environment. C. By creating opportunities to learn about management and performance through case studies, formative evaluations, etc., by encouraging and supporting pilots and disseminating information on good practises.

31 Side 30 Evalueringsstudier og effektstyring som beslutningsgrundlag i den kommunale verden Af Runa Bjørn, cand.scient.pol. og Martin Bilberg, cand.scient.pol., Center for Socialfaglig Udvikling, Århus Kommunes Socialforvaltning Evalueringer har ofte indbygget i egen selvforståelse, at de skal anvendes som Evert Vedung skriver komme til at spille en rolle i praktiske beslutningssituationer (Vedung, 1998) men hvordan udspiller denne relation mellem evaluator og beslutningstager sig i virkeligheden? Er der forskel på hvilke beslutninger, der kan træffes på baggrund af traditionelle evalueringsstudier og et styringsperspektiv som effektstyring (performance management)? Artiklen tager fat på disse spørgsmål, og prøver at besvare dem på baggrund af to cases fra Socialforvaltningen i Århus Kommune. De beslutninger, der er i fokus for artiklen er beslutninger af strategisk betydning for forvaltningen, og relevante beslutningstagere er den øverste ledelse i forvaltningen eller byrådspolitikerne. 1. Evaluering og effektstyring er forskellige værktøjer På årets DES-konference betegnede Ian Davies hhv. evalueringsstudier og performance management som to forskellige værktøjer: En sav og en hammer. Vi vil gerne elaborere på denne metafor set i forhold til, hvordan vi ser tingene i Århus Kommunes Socialforvaltning. Effektstyring (= træhus og hammer) En simpel performance management tankegang er alene baseret på løbende monitorering af indikatorer. Hvis vi bliver i metaforens verden er der her tale om en hammer, der ved hver målopfølgning banker et antal søm (indikatorer) på plads. I Århus Kommunes Socialforvaltning tænkes effektstyringen imidlertid bredere. Selve det træhus, som sømmene bankes fast i, er rygraden i effektstyringen. I vores tilfælde svarer træhuset til Socialforvaltningens virksomhedsplan, som er hele organisationens samlende styrings- og dokumentationsværktøj. Den tætte sammenknytning af overordnede strategier og målsætninger (virksomhedsplanen/træhuset) og den effektstyringsmæssige dokumentation (systematisk målopfølgning/hammeren) er en stor fordel, der kan være med til at sikre, at sømmene bliver banket i på strategisk vigtige steder for fx at holde bærende bjælker på plads. Evalueringsstudier (= sav og bor) Mens effektstyringen rummer både opbygningen af træhuset og systematisk hamren, svarer traditionelle evalueringsstudier til værktøj som sav og bor. Evalueringer kan gå i dyb-

32 Side 31 den og blotlægge dybereliggende sammenhænge. De kan bore dybt i særligt bemærkelsesværdige områder og save bjælker over for at undersøge om de faktisk er bærende eller ej. 2. Hvilken form for viden leder evaluering og dokumentation til? Det særlige ved viden fra evalueringsstudier og dokumentation fra et effektstyringssystem i modsætning til megen forskningsviden er, at den netop er fremstillet for at blive brugt i en bestemt sammenhæng. Evaluerings- og dokumentationsbølgen er dybt forankret i det rationelle paradigme og, uagtet at værktøjerne ofte bruges både rituelt og symbolsk, er det den instrumentelle brug, som ofte ligger i deres selvforståelse. De vil typisk kunne bruges til at holde serviceudbydere, politikere og andre ansvarlige for, at skattepenge anvendes på en fornuftig måde til at frembringe mest mulig effekt for borgerne. Der kan både være tale om anvendelse i et rent kontrolperspektiv og anvendelse i et læringsperspektiv. I begge tilfælde er der tale om rationel og instrumentel anvendelse af evalueringsviden (Dahler- Larsen og Larsen, 2004). Vores og en række andre evaluatorers erfaringer for at arbejde med evaluering ud fra denne selvforståelse, peger imidlertid på, at der ikke altid er hul igennem, og at det kan være svært for evalueringsviden at blive transformeret til beslutninger, der kan omsætte viden til handling. Det er imidlertid også vores erfaring, at man som organisation kan gøre en del for at sikre bedre vilkår for, at evalueringsviden kan anvendes i beslutningsprocesser på det strategiske niveau. 3. Evaluering og effektstyring i Århus Kommunes Socialforvaltning Socialforvaltningen i Århus Kommune har igennem mange år arbejdet med at opbygge et dækkende effektstyringssystem 7. En del af dette system er, som tidligere nævnt, et målesystem med indikatorer for alle forvaltningens kerneområder. I øjeblikket måles der hvert kvartal på 61 delmål i Socialforvaltningen 8. Lige så systematisk anvendes en fælles referenceramme for tænkning i sammenhængen mellem tildelte ressourcer, organisering og hvilke ydelser, der skal produceres for at opnå den ønskede effekt for borgerne. Kommunen som helhed anvender denne virksomhedsmodel som referenceramme og retter dermed konsekvent fokus mod sluteffekten for borgeren, også når mere interne forhold drøftes. I nedenstående figur er illustreret den samlede struktur omkring dokumentations- og evalueringsviden som beslutningsgrundlag på det strategiske niveau. Heri findes virksomhedsmodellen indlejret i de midterste kasser, hvor pilene går fra højre mod venstre for at 7 For en uddybning af effektstyringssystemet og de aktuelle mål, se Socialforvaltningens virksomhedsplan på adressen: 8 For en uddybning af den mere tekniske side af, hvordan viden på de udvalgte indikatorer indhentes og mål indarbejdes, se Socialforvaltningens Effektstyringsguide 2008, der kan rekvireres ved Martin Bilberg (mhb@aarhus.dk)