D E S N Y H E D S B R E V

Transkript

1 N U M M E R 1 1 D E S N Y H E D S B R E V F E B R U A R I D E T T E N U M M E R : Å R S K O N F E R E N C E Å R S K O N F E - R E N C E B E S T Y R E L S E S - S E M I N A R N Y D E S B E - S T Y R E L S E E V A L U E R I N G A F Å R S K O N F E - R E N C E G Å - H J E M - M Ø D E R E J S E B E S K R I - V E L S E N Y B O G N Y A R T I K E L D A N S K E V A L U E R I N G S S E L S K A B Dansk Evalueringsselskab C/O Center for Kvalitetsudvikling Olof Palmes Allé Århus N Telefon: N E T V Æ R K 1 0 K O R T N Y T / K O N F E R E N C E 1 1 Dansk Evalueringsselskab Årskonference 2011 Call for Abstracts Kære medlem af Dansk Evalueringsselskab. Årskonferencen i Dansk Evalueringsselskab 2011 finder sted i dagene september 2011 på Hotel Nyborg Strand. Du får her den første information om konferencen, og en invitation til selv at deltage med din og din organisations viden og erfaringer. Som noget nyt lancerer vi her et call for abstracts. Dansk Evalueringsselskab henvender sig til kommuner, regioner og statsinstitutioner, forskere, konsulenter fra det private og offentlige samt andre evalueringsinteresserede. I er alle meget velkomne. Vi håber på en bred repræsentation af det danske evalueringsfelt. Har du lyst til at holde oplæg på DESkonferencen i 2011? Så send os et abstract! I bestyrelsen vil vi meget gerne have indlæg fra alle potentielle oplægsholdere også dem, som vi ikke selv kender! For at sikre den bedste fordeling og sammensætning af oplæg opfordrer vi derfor alle med spændende cases, metoder, resultater mm til at udforme et kort abstrakt (omkring 1 side) indenfor de fire konferencespor og sende dem til DES på inden den 28. februar Et abstract er en kort beskrivelse (resumé) af dit oplæg. Et abstract skal indeholde en kort beskrivelse af oplæggets problemstilling, herunder belyse hvorfor du har valgt at fokusere på lige dette emne/ problem. Hvilke spørgsmål vil blive besvaret i oplægget? For oplæg baseret på konkrete evalueringer og undersøgelser vil det desuden være relevant at præsentere en generel metodebeskrivelse. Endelig kan dit abstract beskrive de væsentlige resultater og konklusioner hvad har du fundet ud af set i lyset af oplæggets problemstilling? Du kan vælge at angive, hvil- ket af de fire spor, du mener dit abstract ligger under, eller overlade dette til konferencekomiteen. Mere information om samt eksempler på abstracts er præsenteret på DES hjemmeside. Konferencekomiteen træffer i begyndelsen af marts beslutning om, hvilke oplæg, der finder plads i det endelige konferenceprogram. Umiddelbart derefter får alle, der har fremsendt abstract, et skriftligt svar. Tema og spor for Dansk Evalu- eringsselskabs Årskonference 2011 EVALUERING PÅ TVÆRS Evaluering er i sin teoretiske og praktiske udformning kendetegnet ved konstant bevægelse og udvikling. Bag denne udvikling og måske som motiverende årsag hertil mødes og færdes evalueringsinteresserede på tværs af positioner og perspektiver, funktioner og roller, teori og praksis. sekretariat@ danskevalueringsselskab.dk

2 N U M M E R 1 1 Side 2 Å R S K O N F E R E N C E Med afsæt i denne dynamik vil evalueringskonferencen i 2011 udforske, hvordan vi som kommuner, regioner, statsinstitutioner, forskere, konsulenter og andre evalueringsinteresserede samles omkring en række fælles udfordringer og dilemmaer i vores arbejde med evaluering. Konferencen vil danne ramme om såvel forskningsorienterede oplæg som oplæg baseret på praktiske erfaringer med at anvende forskellige metoder og tilgange i evalueringsarbejdet. Konferencespor 1: Kvalitet i evaluering. Omfanget af evaluering og evalueringens rolle i det moderne videnssamfund gør det oplagt at udforske kvalitet i evaluering. Vi taler alle om kvalitet men hvad mener vi egentlig med kvalitet i evaluering? Hvad er kvalitet for en kommune eller for en statsinstitution? En konsulent eller en forsker? Har vi et fælles kvalitetsbegreb på tværs, eller er der frit valg på alle hylder? Kan man styre og sikre kvaliteten i evalueringer? Hvad kendetegner den gode evaluator? Hvordan har danske evaluatorer i praksis arbejdet med at skabe kvalitet i forskellige evalueringstyper? Og hvilken betydning har kvalitet for evalueringens anvendelse? I Danmark findes der ikke et sæt professionelt vedtagne evalueringsetiske retningslinjer (som fx den amerikanske evalueringsforening har), men er der ved at være behov herfor? Det er spørgsmål, vi vil diskutere under konferencesporet Kvalitet i evaluering. Konferencespor 2: Økonomi i evaluering. Den offentlige sektor er presset: Finanskrisen, nulvækst og skattestop virker som tommelskruer på økonomien, og forude truer mangel på kvalificeret arbejdskraft på en række områder. Spørgsmålet er, om det overhovedet kan betale sig at evaluere, måle og veje den offentlige sektor. Hvornår er der penge at hente ved at evaluere, og hvornår er det penge ud af vinduet? Hvad er evalueringers benefits relativt i forhold til omkostningerne forbundet med at evaluere? Er der former for evaluering, som både er billige og anvendelige? Eller kan evalueringer også blive for billige? Et andet spørgsmål er, om evaluatorerne er gode nok til at kigge på økonomien, eller om deres anbefalinger kun handler om kvalitetsforbedringer. Er der praktiske erfaringer med evalueringsmodeller som er særlig gode til at sammentænke og vurdere både økonomi og kvalitet til at spotte mulige effektiviseringsgevinster? Spørgsmål som disse er der mange af, når den offentlige økonomi er klemt, og vi sætter dem øverst på dagsordenen i konferencesporet Økonomi i evaluering. Konferencespor 3: Politik i evaluering. Evaluering er ikke en neutral aktivitet, men er i høj grad politisk. Evaluering har indflydelse på den offentlige meningsdannelse, skaber nyheder og påvirker den politiske dagsorden. Det rejser en række problematikker og spørgsmål. Den måde, evaluering gennemføres på, har konsekvenser for, hvilke svar og konklusioner evalueringen kommer med. Dette har igen konsekvenser for, hvordan eksempelvis en indsats eller institution vurderes, og hvilke handlinger der som følge

3 N U M M E R 1 1 Side 3 Å R S K O N F E R E N C E heraf sættes i værk. Der er politik i design- og implementeringsfasen, hvor evalueringer tjener bestemte formål, og hvor nogle former for evaluering fx har et participatorisk sigte, og tildeler brugerne en særlig status, andre igen har fokus på effekter osv. Der er også politik i fortolkningen og anvendelsen af evalueringsresultaterne, som ofte er spredt i tid og sted. Skal og kan vi som evaluatorer undgå/ minimere den politiske dimension i evaluering? Hvordan håndterer vi som evaluatorer den politiske dimension i evaluering? Og hvordan forholder vi os som evaluatorer til, at vi i stigende grad forventes at udfylde en mere politisk og rådgivende rolle? Det er nogle af de spørgsmål, vi vil søge at sætte fokus på i konferencesporet Politik i evaluering. Konferencespor 4: Anven- delse af evaluering. I lyset af et demokratisk, et styringsmæssigt og ikke mindst et økonomisk perspektiv kan evalueringers eksistensberettigelse hævdes at hvile på deres bidrag til forbedring af offentlige beslutninger, programmer, ydelser m.m. Det særlige ved evaluering er netop dens sigte på praktisk anvendelse. Men anvendelsesproblematikken afspejler en række dilemmaer. Evalueringer fører ikke altid til de officielt tilsigtede former for anvendelse. Ligesom der kan være utilsigtede konsekvenser eller konsekvenser, man ikke på forhånd kunne have forestillet sig af evalueringen. Hvordan kan øget opmærksomhed på evaluerings mange anvendelsesformer være med til at øge kvaliteten af evaluering? Hvordan øger vi som evaluatorer sandsynligheden for, at evaluering anvendes som officielt tilsigtet? Hvilken betydning har valg af evaluator, design, metoder m.m. for evalueringens anvendelse og resultater? Og findes der empiriske eksempler på positive og negative konsekvenser af bestemte evalueringsmodeller i dansk sammenhæng? Dette er nogle af spørgsmålene, som karakteriserer konferencesporet Anvendelse af evaluering. Husk: DEADLINE for indsendelse af ABSTRACTS: 28. februar Abstract sendes til: sekretariat@danskevalueringsselska b.dk I lighed med 2010 vil der også i år være mulighed for deltagelse med poster til postersession. Hvis du er interesseret i at byde ind med en posterpræsentation, så giv besked til DES-sekretariatet på: sekretariat@danskevalueringss elskab.dk Nærmere information om konferenceprogram og tilmelding følger i april Hold dig opdateret via hjemmesiden kab.dk Venlig Hilsen Louise Jørgensen Sekretær for Dansk Evalueringsselskab

4 N U M M E R 1 1 Side 4 B E S T Y R E L S E S S E M I N A R Bestyrelsesseminar d november 2010 i Mid- delfart Bestyrelsen indledte som de foregående år sit arbejde med at afholde et bestyrelsesseminar, for at komme godt fra start i forhold til opgaverne i det kommende år. Vi startede med at byde velkommen til vores tre nye bestyrelsesmedlemmer Stinne Højer Mathiasen, Bente Bjørnholt, Vibeke Normann Andersen og at se tilbage på det forgangne år. Vi blev hurtigt enige om, at opretholde det høje aktivitetsniveau og at byde. Vi vil således også i 2011 afholde gå-hjem-møder og understøtte erfa-grupper i de emner, som foreningens medlemmer har interesse i (se mere på ab.dk/erfagrupper.htm ). Som noget nyt har vi i år besluttet at udbygge samarbejdet med de øvrige nordiske evalueringsselskaber, som vi så småt tog hul på sidste år. Vi vil i sommeren 2012 afholde en fælles nordisk evalueringskonference. Vi arbejder også på at sikre medlemmerne en mere flydende kommunikation indbyrdes og med foreningen ved at bruge LinkedIn. Herudover var en stor del af dagsordenen helliget planlægningen af DESkonferencen for Vi fandt god inspiration i tilbagemeldingerne i evalueringen af dette års konference mange tak til alle jer, der har udfyldt evalueringsskemaet og til KREVI for bearbejdningen af skemaerne. Vi vil bl.a. på baggrund af jeres tilbagemeldinger arbejde med at finde et mere hensigtsmæssigt tidspunkt for generalforsamlingen og være mere tydelige om niveauet for indholdet i læringsseminarerne. Temaet for næste års konference bliver Evaluering på tværs, som vi håber, kan samle DES medlemmer og øvrige interesserede. Som noget nyt vil vi bygge konferencen op omkring forskellige spor, så man inden for det brede fælles tema kan gå i dybden med undertemaer. Alt i alt var det et rigtigt produktivt seminar, som sikrer os et godt udgangspunkt for det kommende års bestyrelsesarbejde. Vi er især glade for, at vores formand Peter Rhode trods en overfyldt kalender nåede at deltage i seminaret tirsdag eftermiddag og aften. Det blev sidste gang, vi så Peter. Vi vil gøre alt for at bære hans energi og høje ambitioner for foreningen videre i vores arbejde. /Runa Bjørn Evaluering af årskonferencen. KREVI har udarbejdet en evalueringsrapport på baggrund af tal fra en spørgeskemaundersøgelse blandt deltagere på Dansk EvalueringsSelskabs årskonference 2010, der fandt sted september på Best Western Nyborg Strand i Nyborg. Af de 202 tilmeldte til konferencen har 152 personer (75 pct.) udfyldt hele eva-lueringsskemaet, 3 personer (1 pct.) har udfyldt dele af skemaet, mens 47 personer (24 pct.) ikke har udfyldt skemaet. Analyserne i rapporten er altså foretaget på grundlag af størstedelen af konferencens deltagere. Hele rapporten kan læses sidst i nyhedsbrevet.

5 N U M M E R 1 1 Side 5 D E S B E S T Y R E L S E Den nye bestyrelse består af: Formand Tanja Miller, Videncenterleder for Videncenter for evaluering i praksis, CEPRA. tnm@ucn.dk Bente Bjørnholt, Adjunkt ved Institut for statskundskab, Aalborg Universitet. Tue Vinther-Jørgensen, chef for EVA's enhed for videregående uddannelser og voksen - og efteruddannelse. Vibeke Normann Andersen, Institutleder ved Institut for Statskundskab, Syddansk Universitet. Mads Theisen, Chefkonsulent ved Teknik- og Miljøforvaltningen, Københavns Kommune. Stinne Højer Mathiasen, Specialkonsulent ved Krevi. Sebastian T. Lemire, Chefkonsulent ved Rambøll. Carsten Stømbæk Pedersen, Servicestyrelsen. Ulf Hjelmer, Programleder ved AKF. Runa Bjørn, Afdelingen for velfærdsudvikling, Rambøll Management.

6 N U M M E R 1 1 Side 6 G Å - H J E M - M Ø D E Kontrolfrie zoner Hvad sker der, når evaluering og dokumentation rulles tilba- ge? Gå-hjem-møde onsdag 23. februar kl med direktør Hosea Dutschke, Magistratsafdelingen for Sundhed og Omsorg i Aarhus Kommune og direktør Torben Buse, KREVI Magistratsafdelingen for Sundhed og Omsorg har gennem projektet Kontrolfri Zone taget kampen op mod det voksende omfang af kontrol og dokumentation i den offentlige sektor. Projektet Kontrolfri Zone, som blev gennemført i perioden har været indledningen på en proces, hvor fokus er på kerneopgaverne og på afskaffelse af al unødig dokumentation og kontrol. Sådan står det på Aarhus Kommunes hjemmeside, om det initiativ man har gennemført i ældresektoren. Hermed har Aarhus Kommune været en af de første til at arbejde med at rulle kontrol, evaluering og dokumentation tilbage efter, at New Public Managementbølgen gennem mange år har inspireret ledere og politikere landet over til at sikre heldækkende dokumentationssystemer, så der til hver en tid kan redegøres for alt i en organisation. Men hvordan er det så gået i Aarhus? Lykkedes de med projektet? Og hvilke konsekvenser har det haft for borgere, medarbejdere og ledere? Har forsøget givet anledning til, at man har opfundet nye dokumentationskrav? Hvad er unødig dokumentation? Hvem er den unødvendig for og hvem definerer nytten? Har erfaringerne med kontrolfrie zoner bredt sig til andre områder? På gå-hjem-mødet vil direktør for Magistratsafdelingen for Sundhed og Omsorg Hosea Dutschke fortælle om tankerne bag initiativet og erfaringerne med at slippe kontrol og rulle dokumentation og evaluering tilbage. Som opponent har vi inviteret Torben Buse, direktør for KREVI det Kommunale og Regionale Evalueringsinstitut ( ). Torben vil ud fra sit perspektiv fra et statsligt evalueringsinstitut kommentere på oprettelsen af kontrolfrie zoner. Mød op til en spændende drøftelse af grænserne for lyksalighederne ved evaluering og dokumentation, og tag dine egne spørgsmål med til de to direktører. Hvor og hvornår? Arrangementet afholdes onsdag d. 23. februar kl i Repræsentationslokalet på Aarhus Rådhus - Rådhuspladsen 2, 8000 Århus, Tilmelding Tilmelding skal ske til DESsekretariat: sekretariat@danskevalueringsselskab.dk eller på tlf. Tlf.: senest d. 17. februar Vil man læse foran kan man læse om projektet på internetsiden for selvfølgelig er projektet dokumenteret og evalueret

7 N U M M E R 1 1 Side 7 R E J S E B E S K R I V E L S E F R A P R A G Spaning efter trender inom utvärdering några reflektioner efter den nionde EES konferensen i Prag. (Kim Forss) K O N F E R E N S E N EES konferenserna har utvecklats till mastodontevenemang. I Prag var det 650 deltagare och 140 programpunkter à 90 minuter under tre dagar. Innan dess hade det varit två dagar med försessioner. Programmet var välorganiserat och lätt att få en bild av, och i det här fallet hade sekretariatet och de tjeckiska värdarna gjort ett bra arbete med att välja lokal och att organisera konferensen. Trots det var det svårt att navigera i programmet, det är inte alltid rubrikerna ger en bra bild av innehållet i föredrag. Ibland blir man besviken, ibland glatt överraskad. EES envisas med att ha många konventionella paper-sessions med tre till fyra presentationer under loppet av 90 minuter. Det blir för snabbt och ger inte presentationerna rättvisa och det blir för lite tid till diskussioner. Bättre med paneldiskussioner eller de lite längre falldiskussioner som också förekom. Det var också ovanligt många bra posters i konferenslokalen. Ö V E R B L I C K F I N N S D E T? Med så många programpunkter är det nästan omöjligt att urskilja eventuella trender inom utvärdering. Jennifer Green höll ett intressant inledningsanförande om metodfrågor, där hon pläderade för blandning av metoder, val av metod efter problem och kontext, samt vikten av pluralism och triangulering. Frans Leeuw talade om cyber-society och e- evaluation, en utmaning till alla utvärderare att engagera sig i den tekniska utvecklingen. När får vi den första utvärderingsappen? Den avslutande plenartalaren, Denis Lievesley, talade om vikten av tillförlitlig statistik för att producera bra utvärderingar. Alla tre tänkvärda och bra föredrag men inte direkt något som vänder upp och ned på hur vi ser på utvärdering. S T R U K T U R F I N N S D E T? Under de flesta programpunkter presenterades tre till fyra papers. Det ger en sammanlagd mängd av papers. En enskild konferensdeltagare hinner gå på cirka 15 till 20 av dessa, dvs. knappa 5% av det totala utbudet - i bästa fall. Det finns två sätt att organisera utbudet, och båda förekom här. Det ena är efter sektorer, och det fanns sessioner om t.ex. utbildning, tillväxtpolitik, forskning, regional utveckling, arbetsmarknadspolitik, jordbrukspolitik, m.m. Det andra är efter någon infallsvinkel på utvärdering; t.ex. kompetens för utvärderare, användning av resultat, metodfrågor, etik, gender, eller standards och kvalitet. S T R U K T U R F O N D E R O C H B I S T Å N D När det gäller sektorer dominerade två områden, det ena internationellt bistånd och utvecklingssamarbete och det andra EU s strukturfonder. Det fanns särskilda spår för dessa, men det var också utvärderingar inom de områdena som fyllde mycket

8 N U M M E R 1 1 Side 8 R E J S E B E S K R I V E L S E F O R T S A T diskuteras, trots att den allmänna inställningen är att alla metoder har sin starka och svaga sidor. Burt Perrin höll några bra inlägg om vikten av kvalitet i all aspekter på utvärdering, och Nicoletta Stame påminde om begreppen reliabilitet och validitet och hur pionjärerna i utvärderingsforskning hade betydligt mer nyanserade diskussioner på dessa områden än vi har idag. Användning av utvärdering fortsätter att vara aktuellt, fast nu ställs inte längre frågan om utvärderingar används utan snarare hur. Många inlägg handlade just om mekanismer för att föra resultat från utvärdering till beslutsfattare och politiker, och många av de präglades av god konkretion. Det gavs exempel på hur utvärderingar förbereds, styrs, och kontinuerligt föder resultat till beslutsprocesser. Där har den praktiska kunskapen utvecklats mycket och både beställare och utvärderare gör mer för att utvärdering ska komma till användning. H Ö J D P U N K T E R Alla har väl sina favoritinlägg. Det jag mest uppskattade var en presentation av hur Oxfam (den brittiska frivilligorganisation) utvärderade sitt arbete med global påverkan och opinionsbildning inför klimatförhandlingarna i Köpenhamn. Just att utvärdera effekter som kan förväntas vara så diffusa, svårmätbara, och där det som eventuellt påverkas också beror på mycket annat, reser enorma metodproblem. Presentation gjordes av Oxfam och av de forskare som gjort utvärderingen. Mycket spännande och ett imponerande utvärderingsarbete. Ytterligare en intressant programpunkt handlade om att fånga upp barns och ungdomars synpunkter och attityder inom utvärderingar. Presentation påminde om vikten av att lyssna till dessa, både när de är föremål för projekt och program eller när de är en grupp bland andra intressenter. Det gavs också många bra exempel på hur utvärderingsmetoder kan anpassas för att bli mera tillförlitliga när det gäller barn och ungdomar. B O T T E N N A P P Sådana finns också. Det såg ut att bli en bra diskussion om kontrafaktiska händelseförlopp och hur man kan fånga sådana när man gör effektutvärderingar. Bra tema, men föreläsaren hade inte förberett sig alls utan delade snabbt in oss i grupper som var för sig fick diskutera sina erfarenheter och sedan lite ostrukturerat återföra till andra. I och för sig kul att byta erfarenheter och det blev en del bra samtal, men det gavs ingen struktur och det var en föredragshållare som inte tog sitt inlägg på allvar. N Ä S T A E E S K O N F E R E N S Vi vet inte var, men det är i alla fall säkert att det blir en ny EES konferens i början av oktober Det blir den tionde i ordningen, och ingenting talar för att den blir mindre omfattande eller mindre intressant, eller för den delen mindre kaotisk. Det är utan tvekan ett av de bästa sätten att få idéer och inspiration om utvärdering, vad man än har för relation till ämnet.

9 N U M M E R 1 1 Side 9 N Y B O G RESULTATORIENTEREDE MEDARBEJDERUNDERSØ- GELSER Af Jacob Storch, Carsten Sørensen, Karina Solsø og Line Keiding Petersen. Forlag L&R Business. Får din organisation nok ud af jeres medarbejderunder- søgelse? Eller hører I til blandt den halvdel af alle organisationer, som bruger tid og penge på undersøgelser, der i bedste fald er spild af tid og penge? Denne bog sætter fokus på, hvornår og hvordan man skaber værdi ved at spørge medarbejderne. Den tager udgangspunkt i forfatternes mangeårige erfaringer med gennemførelse af og opfølgning på medarbejderundersøgelser i mere end 100 organisationer, og detaljerede analyser af mere end medarbejderbesvarelser. Konklusionen er, at værdien af medarbejderundersøgelser ikke ligger i undersøgelsen i sig selv, men i det efterliv den iværksætter. Et efterliv som ofte besværliggøres af mange organisationers mere eller mindre bevidstløse anvendelse af tilfredshedsundersøgelser, der hverken er relaterede til organisationens målsætninger eller øvrige HRaktiviteter. Bogen sætter scenen for en ellers uudforsket disciplin herhjemme; kombinationen af kvantitative data med kvalitative opfølgninger baseret på dialog og procesforståelse. Du kan bestille bogen via mail på info@attractor.dk. Prisen er 460,00 kr. inkl. moms + porto ved forsendelse. N Y A R T I K E L In a recent article, Evert Vedung argues that four waves of evaluation have swept the Atlantic world since 1965: 1) Scientific Wave 2) Dialogical Wave 3) Neo-Liberal Wave, and 4) Evidence-based Wave. At least waves 2-4 have also surged Denmark. By using the wave metaphor to capture the history of evaluation, Vedung sets himself apart from Guba & Lincoln who used the generation metaphor and Marvin Alkin who used the metaphor of an evaluation tree. Reference: Vedung, Evert, 2010, Four Waves of Evaluation, Evaluation, 16 (3), content/16/3/263.full.pdf+htm l Danish readers may also consult the following 2006 version with more about the Danish development: Utvärdering som megatrend, gigatrend och fyra böljor, i Hanne Foss Hansen, red., Den organiserede forvaltning, (Festskrift till Professor Torben Beck Jørgensen) København: Forlaget Politiske Studier. Evert Vedung, professor emeritus, is Honorary Member of the Danish Evaluation Society.

10 N U M M E R 1 1 Side 10 N E T V Æ R K / K U R S E R NETVÆRK FOR NETVÆRKS- ANSVARLIGE Her kan du mødes med andre personer, som har det praktiske ansvar for at drive vidt forskellige organiserede netværk. I deler erfaringer og giver hinanden sparring, og får konkret inspiration til at udvikle jeres egne netværk. Alle netværksmøder faciliteres af en netværkskonsulent fra AZENA. Vi har to grupper i København og en gruppe i Jylland, som mødes i Vejle. Der er åbent for tilmelding til netværkene nu, og plad- serne besættes efter "først til mølle-princippet" princippet". Læs mere her KURSUS: ETABLERING OG LEDELSE AF NETVÆRKS- GRUPPER Dette kursus er for dig, som gerne vil blive bedre til at etablere og lede netværksgrupper. På kurset arbejder du med AZENAs netværkskonceptmodel i forhold til en netværksgruppe, du gerne vil etablere eller revitalisere. Vi afklarer netværksarbejdsformen, og du får forståelse for de opgaver og roller, der er forbundet med at etablere og udvikle netværksgrupper i de forskellige livsfaser. Værktøjskassen Netværkspakken får du med hjem. Kurset holdes tirsdag d. 5. april i København. Læs mere her KURSUS: UDBYTTERIGE NETVÆRKSMØDER Står du for møder i større netværk eller mindre netværksgrupper, og ønsker du at skabe mere udbytte og fokus for deltagerne? Så ved du, at et udbytterigt netværksmøde ikke er gjort med en interessant oplægsholder, men at der også skal være tid til og styr på både videndeling, sparring og netværksdannelse, afhængigt af deltagernes forudsætninger og forventninger. Få værktøjskassen MødeBoxen 3 - Netværksmøder med hjem. Kurset holdes tirsdag d. 10. maj i Køben- havn. Læs mere her GRATIS NYHEDSBREVE Du kan tilmelde dig vores gratis nyhedsbreve om netværk og mødeinnovation her: Trends & Tricks OM NETVÆRK Med venlig hilsen Hanne Holmbom AZENA ApS. Netværk Mødeinnovation Kreative værktøjer Vestergade 12, 1. sal 1456 København K T M

11 N U M M E R 1 1 Side 11 K O R T N Y T Konsulenterne Steffen Bohni, Sebastian Lemire og Majbritt Skov fra Rambøll Management har fået optaget en artikel i American Journal of Evaluation januar 2011 om evalueringskapacitet. Titlen er "Måling af evalueringskapacitet. Resultater og implikationer af en dansk undersøgelse". Runa Bjørn fra Rambøll har skrevet en artikel på baggrund af hendes Masterprojekt - "Handleplaner som styrings- og evalueringsværktøj", som har været trykt i december-nummeret af Socialrådgiverforeningens tidsskrift "Uden for Nummer". Files/Filer/Publikationer/ Udenfornummer/21- UdenForNummer.pdf K O N F E R E N C E ECCERS International Work- shop On behalf of the organising committee, it is our pleasure to invite you to the 14th ECERS International Workshop, which will take place in Oxford, England, on 19th and 20th May The ECERS Workshop is an annual meeting for international scholars to meet and discuss current research, ideas and practice regarding the Early Childhood Environment Rating Scales (ECERS; ITERS; FDERS; SACERS; ECERS-E). Over the years, the ECERS Workshop has become a rewarding forum for international researchers, early childhood practitioners, as well as young scholars. The London Institute of Education and A+ Education are hosting a conference on 21st May in London on the use of the scales for professional development and audit. I attach their flyer in case you would like to attend the professional conference in London, following-on from the International Workshop in Oxford. Those wishing to make presentations are invited to submit word abstracts to the organising committee by 1st March We look forward to seeing you all in Oxford, but more details will follow. ( S E P R O G R A M P Å F Ø L - G E N D E S I D E )

12 UK National ECERS Conference Raising Quality in the Early Years Jointly hosted by: A + Education Ltd and the Institute of Education Saturday 21 st May 2011 Institute of Education, London The Environment Rating Scales (ECERS, ITERS and others) are internationally recognised, evidence-based tools for measuring and improving quality in Early Years settings used world-wide for research, audit and self-evaluation. In the UK they are used by both Local Authorities and practitioners as quality improvement tools, guided by the findings of the EPPE research which shows a strong correlation between quality (as measured by the ECERS scales) and long lasting positive outcomes for children. This conference provides a unique opportunity to meet the authors of the US scales (Thelma Harms, Richard Clifford and Debby Cryer), as well as Kathy Sylva, Iram Siraj-Blatchford and Brenda Taggart, the authors of the ECERS-E. All are leading figures in their field. Delegates will have the opportunity to visit the exhibitor stands and to attend a range of workshops organised by A+ Education Ltd. The workshops will be practical in nature and provide ideas and inspiration for using the scales within settings, at Local Authority level and for research. Who should attend? Leaders and strategic planners with Local Authorities and Children s Trusts Local Authority advisers, consultants and development workers Leaders and managers of settings and schools Practitioners from all sectors (maintained, private, voluntary, independent, childminders and out-of-school providers) Researchers All those with an interest in early years education and care Whether you are an experienced ECERS user, or new to the scales, this conference will offer new insights and practical inspiration to improve the quality of children s learning experiences as well as a chance to meet others from around the country who are using ECERS. Speakers and Workshop Leaders Thelma Harms, Richard Clifford Debby Cryer Authors of the Environment Rating Scales (Frank Porter Graham Child Development Institute, University of North Carolina) Kathy Sylva, Iram Siraj-Blatchford Brenda Taggart Authors of ECERS-E LOOK OUT FOR CONFERENCE BOOKING DETAILS: Faye Linskey, Sandra Mathers and the A + Education Ltd team Conveners of the UK ECERS Network and leading UK trainers on the Environment Rating Scales

13 Evaluering af Dansk Evalueringsselskabs årskonference 2010 Fra evaluering til praksis Indledning Denne rapport er baseret på tal fra en spørgeskemaundersøgelse blandt deltagere på Dansk EvalueringsSelskabs årskonference 2010, der fandt sted september på Best Western Nyborg Strand i Nyborg. Af de 202 tilmeldte til konferencen har 152 personer (75 pct.) udfyldt hele evalueringsskemaet, 3 personer (1 pct.) har udfyldt dele af skemaet, mens 47 personer (24 pct.) ikke har udfyldt skemaet. Nedenstående analyser er altså foretaget på grundlag af størstedelen af konferencens deltagere. Deltagere på konferencen 66 pct. af de deltagere, der har svaret på evalueringsskemaet, er tilknyttet evalueringsområdet som offentlig ansatte konsulenter, 19 pct. er tilknyttet evalueringsområdet som privat ansatte konsulenter, mens forskere udgør 5 pct. af deltagerne, jf. tabel 1. Tabel 1. Tilknytning til evalueringsområdet (Flere kryds mulige) Privat ansat konsulent 28 18,5% Offentlig ansat konsulent ,2% Forsker 8 5,3% Køber/opdragsgiver til evalueringer 7 4,6% Studerende 1 0,7% Anden tilknytning 15 9,9% Kan ikke eller ønsker ikke at besvare 0 0,0% I alt ,0% Note: I alt angiver antallet af respondenter, der har besvaret spørgsmålet. Da respondenterne har haft mulighed for at sætte mere end ét kryds, summerer antallet af svar i de forskellige kategorier ikke nødvendigvis til 152 (ligesom den relative fordeling ikke nødvendigvis summerer til 100). Dette gør sig gældende i alle tabeller baseret på spørgsmål, hvor respondenterne har haft mulighed for at sætte mere end ét kryds.

14 93 pct. af respondenterne var tilknyttet evalueringskonferencen som deltagere, mens 7 pct. var tilknyttet som oplægsholdere. 91 pct. af deltagerne på evalueringskonferencen er medlem af Dansk EvalueringsSelskab enten som enkeltperson eller via deres arbejdsplads. 57 pct. har tidligere deltaget i Dansk EvalueringsSelskabs evalueringskonference. Heraf har 33 pct. deltaget én gang før, 20 pct. to gange før, 17 pct. tre gange før og 30 pct. tre eller flere gange før. Deltagerne har primært hørt om dette års evalueringskonference gennem andre jf. tabel 2, der viser, hvorfra deltagerne har hørt om evalueringskonferencen. Tabel 2. Bekendtskab med årets evalueringskonference (Flere kryds mulige) På Dansk EvalueringsSelskabs hjemmeside 39 25,7% Jeg læste om evalueringskonferencen i Dansk EvalueringsSelskabs nyhedsmail 40 26,3% Fra tidligere deltagelse i Dansk EvalueringsSelskabs evalueringskonference 51 33,6% Jeg læste pjecen om evalueringskonferencen sendt til mig/min arbejdsplads 37 24,3% Via annoncering i tidsskrift/fagblad 1 0,7% Jeg hørte om evalueringskonferencen gennem andre 62 40,8% Andet 6 3,9% Kan ikke eller ønsker ikke at besvare 0 0,0% I alt ,0% Den primære kilde til information om årets konference høres gennem andre og via tidligere deltagelse(r) i konferencen. Ser man på de skriftlige invitationer til konferencen (pjecer, annoncer, nyhedsmail, hjemmeside) tyder det på, at deltagerne primært har fået kendskab til konferencen via DES nyhedsmail og hjemmeside samt invitationer sendt til arbejdspladsen. Omvendt er der kun en, der oplyser, at vedkommende har fået kendskab til konferencen igennem tidsskrifter eller fagblade. Deltagelse på konferencen Deltagernes fordeling på de forskellige seminarer og sessioner fremgår af nedenstående tabeller. Torsdag formiddag var Effektanalyser med process-tracing og kvalitativ metode og Evalue-

15 ringsdesign populære jf. tabel 3, og om eftermiddagen var Brugerundersøgelser som dokumentation og i kvalitetsudvikling og Kvalitative interviews og fokusgrupper velbesøgte jf. tabel 4. Tabel 3. Deltagelse i udviklingsseminar torsdag formiddag Seminar 1: Effektanalyser med "process-tracing" og kvalitativ metode 36 23,7% Seminar 2: Akkreditering på social- og sundhedsområdet 7 4,6% Seminar 4: Kampagneevaluering 8 5,3% Seminar 6: Evalueringsdesign 35 23,0% Husker ikke 0 0,0% Deltog ikke i udviklingsseminar torsdag formiddag 66 43,4% I alt ,0% Tabel 4. Deltagelse i udviklingsseminar torsdag eftermiddag Seminar 3: Brugerundersøgelser som dokumentation og i kvalitetsudvikling 24 20,7% Seminar 5: Fælles begreber og terminologi på det sociale område 3 2,6% Seminar 7: Kvalitative interviews og fokusgrupper 23 19,8% Husker ikke 0 0,0% Deltog ikke i udviklingsseminar torsdag eftermiddag 66 56,9% I alt ,0% Fredag formiddag var deltagerne spredt ud på alle de afholdte seminarer med flest deltagere på Har brugerundersøgelser blandt patienter nogen effekt?, De kommunale kvalitetskontrakter baggrund og forventninger, Effektmåling og effektmål de styringsmæssige udfordringer og muligheder og særligt The Devil is in the Design jf. tabel 5.

16 Tabel 5. Deltagelse i parallelsession fredag formiddag 1A: Har brugerundersøgelser blandt patienter nogen effekt? 16 10,6% 1B: The Devil is in the Design: Eksperimentel logik og kausale sammenhænge i uddannelsesforskningen 50 33,1% 1C: De kommunale kvalitetskontrakter - baggrund og forventninger 20 13,2% 1E: Effekter af resultatbaseret styring i Københavns Kommune, Teknik og Miljøforvaltningen 10 6,6% 1F: Effektmåling ændrer SKATs arbejdsmetoder 10 6,6% 1G: Effektmåling og effektmål - de styringsmæssige udfordringer og muligheder 27 17,9% Husker ikke 0 0,0% Deltog ikke i parallelsession fredag formiddag 18 11,9% I alt ,0% Af tabel 6 fremgår, at seminarerne Forskningsevaluering, EvalueringsDanmark anno 2010 og Evaluering som kvalitetsredskab i den kommunale praksis var de mest besøgte seminarer fredag eftermiddag. Deltagerne var mest interesseret i at høre om evalueringen i Danmark anno Tabel 6. Deltagelse i parallelsession fredag eftermiddag 2A: Hvor blev de administrative stordriftsfordele af i kølvandet på strukturreformen? 11 7,2% 2B: Visitation til vidtgående specialundervisning efter kommunalreformen 6 3,9% 2C: Kommunalreformen og de specialiserede tilbud på handicapområdet - set i et bruger- og institutionsperspektiv 7 4,6% 2D: Forskningsevaluering - udfordringer og metoder 23 15,1% 2E: EvalueringsDanmark anno ,4% 2F: Evaluering som kvalitetsudviklingsredskab i den kommunale praksis 21 13,8% Husker ikke 0 0,0% Deltog ikke i parallelsession fredag eftermiddag 18 11,8% I alt ,0% Lørdag besøgte deltagerne Open discussion session, Metaevaluering Evaluering af resultatbaseret styring som illustrativ case, Aktiv formidling af evalueringsviden og Opbygning af evalueringskapacitet i offentlige institutioner, hvor seminaret om aktiv formidling af evalueringsviden var mest besøgt jf. tabel 7.

17 Tabel 7. Deltagelse i parallelsession lørdag 3A: Open discussion session 11 7,2% 3B: Metaevaluering - Evaluering af resultatbaseret styring som illustrativ case 28 18,4% 3C: Aktiv formidling af evalueringsviden 43 28,3% 3D: Er det muligt at få psykologisk rådgivning og effektmåling til at gå hånd i hånd? 0 0,0% 3E: Opbygning af evalueringskapacitet i offentlige institutioner 30 19,7% Husker ikke 0 0,0% Deltog ikke i parallelsession lørdag 40 26,3% I alt ,0% Fagligt udbytte af konferencen 93 pct. af deltagerne er alt i alt tilfreds eller meget tilfreds med evalueringskonferencen, mens 1 pct. er utilfreds eller meget utilfreds jf. tabel 8. Dette er tæt på graden af tilfredshed med konferencen i 2009 og 2008, hvor henholdsvis 95 pct. og 93 pct. alt i alt var tilfreds eller meget tilfreds. Tabel 8. Tilfredshed med evalueringskonferencen alt i alt Meget tilfreds 44 30,6% Tilfreds 90 62,5% Hverken/eller 5 3,5% Utilfreds 1 0,7% Meget utilfreds 1 0,7% Kan ikke eller ønsker ikke at besvare 3 2,1% I alt ,0% Hvis man sammenligner 1 tilfredshed med tilknytning til evalueringsområdet fremgår det, at 96 pct. af de private konsulenter alt i alt er tilfredse eller meget tilfredse, 95 pct. af de offentlig ansat konsulenter alt i alt er tilfredse eller meget tilfredse, og 88 pct. af forskerne alt i alt er tilfredse eller meget tilfredse. Der er i udarbejdelsen af rapporten ikke gennemført signifikanstest.

18 I en sammenligning af tidligere deltagere med førstegangsdeltagere fremgår det, at 92 pct. af førstegangsdeltagere alt i alt er tilfredse eller meget tilfredse, og 95 pct. af tidligere deltagere var tilfredse eller meget tilfredse. Dette er en stigning på henholdsvis 4 og 15 procentpoint i forhold til I forhold til 2008 er der et fald på 4 procentpoint for førstegangsdeltagere og en stigning på 6 procentpoint for tidligere deltagere. Af ikke-medlemmerne af DES er 100 pct. tilfredse eller meget tilfredse, hvorimod 93 pct. af medlemmerne af DES er tilfredse eller meget tilfredse. I 2009 var 94 pct. af ikke-medlemmerne tilfredse eller meget, og 84 pct. af medlemmerne var tilfredse eller meget tilfredse. I 2008 var 88 pct. af ikke-medlemmerne tilfredse eller meget tilfredse, og 89 pct. af DES medlemmer var tilfredse eller meget tilfredse. Der er således sket en stigning i tilfredsheden over de seneste to år særligt blandt ikke-medlemmerne. I forhold til de enkelte udviklingsseminarer torsdag formiddag fremgår det af tabel 9, at 75 pct. af deltagerne er tilfredse eller meget tilfredse med seminaret Effektanalyser med processtracing og kvalitativ metode, 50 pct. er tilfredse eller meget tilfredse med Akkreditering på social- og sundhedsområdet, 100 pct. er tilfredse eller meget tilfredse med Kampagneevaluering og 74 pct. er tilfredse eller meget tilfredse med Evalueringsdesign. Tabel 9. Tilfredshed med udviklingsseminarer torsdag formiddag Seminar 1: Effektanalyser Seminar 2: Akkreditering på social- og med "processtracing" og evaluering ringsdesign Seminar 4: Kampagne- Seminar 6: Evalue- sundhedsområdet kvalitativ metode Meget tilfreds 27,8%(10) 33,3%(2) 75,0%(6) 44,1%(15) Tilfreds 47,2%(17) 16,7%(1) 25,0%(2) 29,4%(10) Hverken/eller 16,7%(6) 33,3%(2) 0,0%(0) 23,5%(8) Utilfreds 8,3%(3) 16,7%(1) 0,0%(0) 2,9%(1) Meget utilfreds 0,0%(0) 0,0%(0) 0,0%(0) 0,0%(0) Kan ikke eller ønsker ikke 0,0%(0) 0,0%(0) 0,0%(0) 0,0%(0) at besvare I alt 100%(36) 100%(6) 100 %(8) 99,9%(34) Angående seminarerne torsdag eftermiddag er 77 pct. af deltagerne tilfreds eller meget tilfreds med Brugerundersøgelser som dokumentation og i kvalitetsudvikling, 67 pct. er meget tilfreds med Fælles begreber og terminologi på det sociale område og 78 pct. er tilfreds eller meget tilfredse med Kvalitative interviews og fokusgrupper jf. tabel 10.

19 Tabel 10. Tilfredshed med udviklingsseminarer torsdag eftermiddag Seminar 3: Seminar 5: Seminar 7: Brugerundersøgelser som Fælles begreber og terminologi på det sociale om- Kvalitative interviews og dokumentation og i kvalitetsudviklinråde fokusgrupper Meget tilfreds 27,3%(6) 66,7%(2) 52,2%(12) Tilfreds 50,0%(11) 0,0%(0) 26,1%(6) Hverken/eller 22,7%(5) 0,0%(0) 8,7%(2) Utilfreds 0,0%(0) 0,0%(0) 8,7%(2) Meget utilfreds 0,0%(0) 0,0%(0) 4,3%(1) Kan ikke eller ønsker 0,0%(0) 33,3%(1) 0,0%(0) ikke at besvare I alt 100%(22) 100%(3) 100%(23) Vedrørende sessionerne fredag formiddag er tilfredsheden størst blandt deltagerne på Har brugerundersøgelser blandt patienter nogen effekt?, hvor 81 pct. er tilfredse eller meget tilfredse. 78 pct. er tilfredse eller meget tilfredse med Effekter af resultatbaseret styring i Københavns Kommune, Teknik og Miljøforvaltningen og Effektmåling ændrer SKATs arbejdsmetoder jf. tabel 11. Tabel 11. Tilfredshed med parallelsessioner fredag formiddag 1A: Har bru- 1B: The Devil is in the gerundersøgel- ser blandt logik og kausale sam- Design: Eksperimentel patienter menhænge i uddannelsesforskningen nogen effekt? 1E: Effekter af resultatbaseret styring i og effektmål - de 1G: Effektmåling 1C: De kommunale 1F: Effektmåling ændrer kvalitetskontrakter Københavns Kommune, Teknik og Miljø- udfordringer og styringsmæssige - baggrund og SKATs arbejdsmetoder forventninger forvaltningen muligheder Meget tilfreds 25,0%(4) 24,0%(12) 0,0%(0) 33,3%(3) 50,0%(5) 15,4%(4) Tilfreds 56,2%(9) 40,0%(20) 20,0%(4) 44,4%(4) 20,0%(2) 23,1%(6) Hverken/eller 12,5%(2) 18,0%(9) 60,0%(12) 22,2%(2) 20,0%(2) 34,6%(9) Utilfreds 0,0%(0) 12,0%(6) 15,0%(3) 0,0%(0) 0,0%(0) 11,5%(3) Meget utilfreds 0,0%(0) 6,0%(3) 5,0%(1) 0,0%(0) 0,0%(0) 7,7%(2) Kan ikke eller 6,2%(1) 0,0%(0) 0,0%(0) 0,0%(0) 10,0%(1) 7,7%(2) ønsker ikke at besvare I alt 99,9%(16) 100%(50) 100%(20) 99,9%(9) 100%(10) 100%(26) Af tabel 12 fremgår det, at 88 pct. af deltagerne er tilfredse eller meget tilfredse med EvalueringsDanmark anno Tilfredsheden med de andre seminarer fredag eftermiddag ligger på henholdsvis 82 pct. for Hvor blev de administrative stordriftsfordele af i kølvandet på strukturreformen?, 83 pct. for Visitation til vidtgående specialundervisning efter kommunalreformen, 86 pct. for Kommunalreformen og de specialiserede tilbud på handicapområdet set i et bru-

20 ger- og institutionsperspektiv, 35 pct. for Forskningsevaluering udfordringer og metoder og 84 pct. for Evaluering som kvalitetsudviklingsredskab i den kommunale praksis. Tabel 12. Tilfredshed med parallelsessioner fredag eftermiddag 2C: Kommunalreformen og de specialise- 2D: Forsknings- 2A: Hvor blev de 2B: Visitation til administrative vidtgående specialundervisninringsdanmark 2E: Evaluerede tilbud på handicapområdet - set i et udfordringer og evaluering - stordriftsfordele af i kølvandet på efter kommunalreformen anno 2010 bruger- og institutionsperspektiv metoder strukturreformen? 2F: Evaluering som kvalitetsudviklingsredskab i den kommunale praksis Meget tilfreds 18,2%(2) 33,3%(2) 28,6%(2) 8,7%(2) 57,8%(37) 31,6%(6) Tilfreds 63,6%(7) 50,0%(3) 57,1%(4) 26,1%(6) 31,3%(20) 52,6%(10) Hverken/eller 18,2%(2) 16,7%(1) 0,0%(0) 39,1%(9) 9,4%(6) 10,5%(2) Utilfreds 0,0%(0) 0,0%(0) 0,0%(0) 17,4%(4) 1,6%(1) 0,0%(0) Meget utilfreds 0,0%(0) 0,0%(0) 14,3%(1) 4,3%(1) 0,0%(0) 0,0%(0) Kan ikke eller 0,0%(0) 0,0%(0) 0,0%(0) 4,3%(1) 0,0%(0) 5,3%(1) ønsker ikke at besvare I alt 100%(11) 100%(6) 100%(7) 99,9%(23) 100,1%(64) 100%(19) Open discussion session er topscorer af lørdagens sessioner med 73 pct. af deltagerne værende tilfredse eller meget tilfredse. Dette er tilsvarende 32 pct. for Metaevaluering evaluering af resultatbaseret styring som illustrativ case, 54 pct. for Aktiv formidling af evalueringsviden og 14 pct. for Opbygning af evalueringskapacitet i offentlige institutioner jf. tabel 13. Tabel 13. Tilfredshed med parallelsessioner lørdag 3B: Metaevaluering - 3E: Opbygning af evalueringskapacitet i offentlige institu- 3A: Open discussion Evaluering af resultatbaseret styring som illu- evalueringsviden 3C: Aktiv formidling af session tioner strativ case Meget tilfreds 36,4%(4) 7,1%(2) 16,7%(7) 3,7%(1) Tilfreds 36,4%(4) 25,0%(7) 38,1%(16) 11,1%(3) Hverken/eller 27,3%(3) 53,6%(15) 21,4%(9) 55,6%(15) Utilfreds 0,0%(0) 10,7%(3) 21,4%(9) 22,2%(6) Meget utilfreds 0,0%(0) 3,6%(1) 2,4%(1) 7,4%(2) Kan ikke eller ønsker 0,0%(0) 0,0%(0) 0,0%(0) 0,0%(0) ikke at besvare I alt 100,1%(11) 100%(28) 100%(42) 100%(27) Note: Session 3D: Er det muligt at få psykologisk rådgivning og effektmåling til at gå hånd i hånd? fremgår ikke i tabellen, da sessionen blev aflyst. Af de deltagende er 63 pct. meget tilfredse med plenumoplægget af Philip Davies og samlet set er 85 pct. tilfredse eller meget tilfredse med dette oplæg. 67 pct. er tilfredse eller meget tilfredse med det første plenumoplæg fredag, og 66 pct. er tilfredse eller meget tilfredse med det andet plenumoplæg fredag jf. tabel 14.

21 Tabel 14. Tilfredshed med plenumoplæg Plenumoplæg I fredag (Hvass, Skærbæk og Hegnsvad) Plenumoplæg II fredag (Mouritsen) Plenumoplæg lørdag (Davies) Meget tilfreds 15,6% (21) 18,8%(25) 62,8%(76) Tilfreds 51,1% (69) 57,1%(76) 22,3%(27) Hverken/eller 20,0% (27) 15,0%(20) 5,8%(7) Utilfreds 8,1% (11) 3,0%(4) 0,8%(1) Meget utilfreds 2,2%(3) 0,0%(0) 0,0%(0) Kan ikke eller ønsker ikke at besvare 3,0%(4) 6,0%(8) 8,3%(10) I alt 100%(135) 100%(133) 100%(121) Som et nyt indslag på årskonferencen blev der afholdt en postersession til at stimulere erfaringsudvekslingen. 34 pct. af deltagerne er tilfredse eller meget tilfredse med postersessionen, 36 pct. er neutrale, og 11 pct. er utilfredse jf. tabel 15. Postersessionen blev altså afholdt for første gang og i betragtning heraf, kunne der ligge udviklingspotentiale i sessionen. Dette understøttes af kommentarer til det faglige indhold samt forslag til forbedringer af næste års konference nedenfor. Tabel 15. Tilfredshed med postersession i tilknytning til konferencen Meget tilfreds 7 6,9% Tilfreds 27 26,7% Hverken/eller 36 35,6% Utilfreds 11 10,9% Meget utilfreds 0 0,0% Kan ikke eller ønsker ikke at besvare 20 19,8% I alt ,0% Kommentarer til det faglige indhold Deltagerne på årets konference har haft mulighed for at give komme kommentarer til det faglige indhold. Generelt efterlyser flere deltagere en bedre præcisering af seminarerne før tilmelding. En mulighed kunne være at kategorisere seminarerne efter teoretisk eller praktisk fokus. Derudover mener et par deltagere, at oplægsholdere skal være bedre til at reflektere over et seminars udbytte og ramme lytterne. Der er en række positive kommentarer til både udviklingsseminarer, parallelsessioner og plenumoplæg. Nedenfor er opridset kommentarer fra deltagerne.

22 Angående udviklingsseminarer får heldagsseminaret ros for at være veltilrettelagt og veksle godt mellem forelæsning og øvelser. Til gengæld mener flere deltagere, at der var for lidt tid til øvelser, at emnet ikke blev sat i et evalueringsperspektiv, og at seminaret ikke gav brugbare redskaber. Seminaret om evalueringsdesign roses for at give et godt overblik og bygge ovenpå basisviden. Dog er der ærgrelse over, at Müzeyyen Boztoprak fra Arbejdstilsynet ikke kom på talerstolen. Seminaret om kvalitative interviews og fokusgrupper kritiseres for at være på et for lavt niveau og for lidt relateret til evaluering. Vedrørende parallelsessioner får The Devil is in the Design et par spredte kommentarer. Sessionen havde for lidt tid til at brede diskussionen ud, og der blev lagt for megen vægt på generelle eksempler. På den anden side var sessionen metodisk inspirerende. Sessionen om De kommunale kvalitetskontrakter manglede nytænkning og dialog med deltagerne, og emnet blev altså ikke udtømt på sessionen. Peter Dahler-Larsens session EvalueringsDanmark anno 2010 får megen stor ros fra deltagerne: sessionen var inspirerende, underholdende og godt formidlet. Endelig bliver den teoretiske del i Opbygning af evalueringskapacitet i offentlige institutioner rost, men deltagerne savner en kobling til praksis og en bedre konkretisering af emnet. Af plenumoplæggene bliver særligt Philip Davies fremhævet for at være en forrygende session samt konferencens højdepunkt, da det var både interessant og relevant. Dog påpeges det, at han virkede lidt ufokuseret, og sessionen kritiseres for at være for urealistisk set med danske øjne (økonomiske hensyn). Endelig foreslås det, at flere inviteres til at medbringe posters og præsentere interessante projekter for at gøre postersessionen bedre. Konferencens relevans 94 pct. af deltagerne vurderer, at temaet for årets konference Fra evaluering til praksis er relevant i forhold til deres arbejde, 81 pct. vurderer, at temaet er relevant for den aktuelle politiske debat, og 89 pct. vurderer, at temaet er relevant for evalueringsfeltet jf. tabel 16.

23 Tabel 16. Vurdering af relevansen for årets konference Fra evaluering til praksis i forhold til Dit arbejde Den aktuelle politiske debat Evalueringsfeltet Relevant 94,0%(141) 81,0%(119) 88,5%(131) Hverken/eller 4,7%(7) 16,3%(24) 8,8%(13) Irrelevant 0,7%(1) 0,0%(0) 0,0%(0) Kan ikke eller ønsker ikke at 0,7%(1) 2,7%(4) 2,7%(4) besvare I alt 100%(150) 100%(147) 100%(148) I 2009 vurderede 97 pct., at temaet for konferencen Effektmåling metoder, anvendelse og effekter var relevant i forhold til deres arbejde, 88 pct. vurderede, at temaet var relevant i forhold til den aktuelle politiske debat, og 89 pct. vurderede, at temaet var relevant for evalueringsfeltet. I 2008 vurderede 90 pct., at temaet for konferencen Evaluering som beslutningsgrundlag teorier, metoder og sektorer var relevant for deres arbejde, 86 pct. vurderede, at temaet var relevant for den aktuelle politiske debat, og 89 pct. vurderede, at temaet var relevant for evalueringsfeltet. I 2010 vurderes relevansen af konferencen i forhold til den aktuelle politiske debat en smule lavere i forhold til de to tidligere konferencer, men konferencen vurderes dog samlet set relevant på alle tre parametre. Udover at deltagerne har vurderet konferencens relevans, har de også haft mulighed for at præcisere, hvad der kunne have gjort konferencen mere relevant. I den forbindelse fremhæves et ønske om en bedre sammenhæng mellem evaluering og praksis samt mere tid til dialog mellem oplægsholdere og deltagere. I forlængelse heraf efterspørges mere erfaringsudveksling og bedre netværksmuligheder. Derudover efterspørges et mere snævert fokus og en tydeligere rød tråd på konferencen. Et strukturelt forslag, som bliver nævnt af flere deltagere, er en opdeling af seminarerne i sværhedsgrad for at undgå, at den mere erfarne evaluator spilder sin tid. Endvidere ønskes et mere internationalt perspektiv med flere tunge og store personligheder. Derudover er der en række konkrete forslag til at gøre konferencen mere relevant. For det første bliver det foreslået, at postersessionen udvides og foregår i mindre formelle rammer. For det andet en analyse af hvor evalueringsiveren i Danmark er blevet af. Derudover foreslås følgende ideer til at øge relevansen; store evalueringer af regeringens programmer med refleksioner over de faglige kompromisser, en workshop med deltagelse af kommunale ledere om læringspotentialet i evalueringer samt et besøg fra England om erfaringer med Outcome Star (en effektmonitorering på individniveau). Konferencen som platform for erfaringsudveksling og diskussion ne har i evalueringsskemaet vurderet, i hvilken grad evalueringskonferencen udgør en platform for erfaringsudveksling og diskussion af evalueringsfaglige problemstillinger. 94 pct.