Effektmålinger på kommunalt niveau. Ane Andersen Institut for Design og Kommunikation Billund ErhvervsFremme

Transkript

1 + Effektmålinger på kommunalt niveau Ane Andersen Institut for Design og Kommunikation Billund ErhvervsFremme

2 + Disposition Hvad er en effekt og hvorfor måle dem? Udfordringer på et kommunalt niveau 2 tilgange til evalueringer hos turistbureauet Hvordan en praktisk guide. Hvad så bagefter? Et par gode råd

3 + Hvad er en effekt? Fordi Peter blev anbragt (a rsag) uden for hjemmet i sin barndom, så begik han mindre kriminalitet (effekt). Hvis han derimod ikke var blevet anbragt men alt andet i hans liv ellers havde forløbet uændret så ville han have bega et mere kriminalitet. Effekten af indsatsen anbringelse udenfor hjemmet på succeskriteriet mindre kriminalitet. Har A en effekt på B? Ad hvilke veje påvirker A i en specifikt kontekst B? Årsags-virkningsammenhæng (Kausalitet)

4 + Hvad er en effekt ikke? Der blev i perioden født færre børn end normalt, og dette skyldes at der i samme periode var en nedgang i storkebestanddelen. Undersøgelse viser, at mænd bliver fede af at se for meget fjernsyn Hvis man spiser grønne æbler får man høje tindinger

5

6 + Man kan ikke bare påstå at der findes årsagsvirkningssammenhænge fordi en effekt indtræffer i tilknytning til en årsag Korrelation er ikke nødvendigvis ensbetydende med årsags-virkningsammenhæng. Fordel at starte med en generel evaluering

7 + Symbolsk Kvalitetsudvikle Kvalitetssikre Formidle Taktisk Nu har vi brugt en masse penge på noget vi vil gerne vide om det så virker? Legitimering Viden Erfaring Dokumentere

8 + Forudsætninger for at måle effekt Er der en nulpunktsmåling? Er der opstillet målbare mål? (input, output, aktiviteter, effekt) Har I fastsat succeskriterier? Har I valgt et relevant monitoreringssystem FØR I har besluttet jer for at måle effekterne? Ved I hvad for noget data der skal bruges? Er der afsat ressourcer til at lave evalueringen? En effektmåling kan være en del af en samlet evaluering.

9 + Udfordringer hos turistbureauer Meget lidt rådata tilgængeligt I skal ofte selv indsamle data Ressourcerne til at lave evalueringer eller effektmålinger er begrænsede. Evalueringen og effektmålinger ender i en fin mappe Evidensbaseret ledelse?

10 2 tilgange til evaluering hos + turistbureauer 1. Evaluere jeres egen indsats i forhold til flere faktorer. 2. Skabe data til evaluering (af andre?)

11 1. fase 2. fase 3. fase 4. fase Udarbejde et notat om effektmåling i opstartsfasen Identificer succeskriterier og forventede ændringer Vælg et monitoreringssyst em Identificer en referencegruppe Afsæt ressourcer til evalueringen Evalueringens formål og fokus Timing af evalueringen Evalueringens kontekst Valg af evalueringsmodel Hensyn til valg af evaluator Afklaring af, om evalueringen sendes i udbud Udbudsmateriale og valg af tilbud Kontrakt Metodiske overvejelser Anvendelse Formidling Offentliggørelse Nyttiggørelse

12 + Evalueringsmodeller Målopfyldelsesevaluering Effektevaluering Procesevaluering Aktørevaluering

13 + Målopfyldelsesevaluering Er det opstillede mål opnået? Og har indsatsen bidraget hertil? Kræver af målene er specifikke og målbare. Kræver at der har været opstillet målbare mål fra starten Overser (negative) sideeffekter Overser forsinkede effekter

14 + Hos turistbureauet internet Har vores nye sortiment af varer hjulpet til, at vi har nået vores omsætningsmål i butikken? Har vores søgemaskineoptimering virket og har vi haft de antal klik vi ønsker i bureauet? Har vores nye lokaler bidraget til flere besøgende? Men viser ikke den utilfredshed der var med de nye varer. Viser ikke, hvad folk har brugt jeres hjemmeside til. Viser ikke, om folk har spurgt efter toiletter. (Årsag-virkningssammenhængen )

15 + Effektmåling Forsøger at afdække samtlige effekter ved en indsats Bruges ofte ved en større indsats Og det er jo dejligt når alle effekter søges afdækket Meeen det er svært at isolere effekten af en enkelt indsats (Påvirker A B) især hvis der ikke er en referencegruppe.

16 + Hos turistbureauet Rigtig god til at vurdere kommunale og tværkommunale projekter, hvor man har god føling og ejerskab over projektet. Inkluderer andet end blot tal og virker mere grundig. Men det er svært at altid at argumentere for årsagsvirkningssammenhængen.

17 + Procesevaluering Fokuserer på hvordan processen er og hvad vi kan lære af processen. Bruges meget i forhold til læring Men overser ofte effekterne af selve processen Bruges primært hvis man formålet er læring

18 + Hos turistbureauet Kan bruges i forhold til at vurdere eksempelvis flexmedarbejdere, løntilskuds-ansatte, jobprøvnings-ansatte, praktikanter mv. Men det siger sjældent noget om, hvad turistbureauet har fået ud af den ansatte Kan også bruges til løbende evaluering af f.eks. Fondsprojekters forløb i turistbureauer. Men kan bruges på mange mange måder se følgende.

19 + Aktørevaluering Samlet betegnelse for brugerevaluering, interesseevaluering og kollegial evaluering. Aktørernes egne kriterier anvendes Bliver tit tilfredshedsundersøgelse Tendens til at være positive Bruges når viden og kompetencer er centrale

20 + Hos turistbureauet Ofte i form af MUS-samtaler, personalemøder, mindre konflikthåndteringer, bruger-evaluering ( hvad synes du om det her ) Kortsigtet og nemme evalueringer Effekten er ofte en konflikt der løses eller en følelse der kommer til udtryk.

21 + Hos turistbureauet i udlandet Sammenligning af eksisterende data overnatningstal, antal ansatte i frontline-jobs, lønninger, profit og sammenligne det med andre kommuner eller nationale tal for samme. Cost-benefit analyser (Resultatet bliver kun så godt, som konsulentens indsigt i feltet) Multiplikatoreffekten - Indkomstmultiplikatoren : Ad hoc Multiplier modeller (Archer & Owen 1976) Input output modeller (Archer 1973)

22 + Archers ad hoc model Beregner indkomst-multiplikatoreffekten

23 + Archers input/output modeller

24

25 + Opsummerende

26 Spørgsmål Tilgang Metode Effekt Ræsonne ment Viden Har A en effekt på B Eksperimentelle metoder Kvasieksperimentelle metoder Randomiserede, kontrollerede forsøg Naturligt eksperiment Kontrafaktisk ræsonnement: tilstræbe at kunne sammenligne med, hvad der var sket med målgruppen hvis de ikke have været udsat for indsatsen Kan give et præcist svar på styrken af kausalrelationen Matching Repressionsanalyse Ad hvilke veje påvirker A i en specifikt kontekst B Processuel tilgang Realistic evaluation Virkningsevaluering Forandringsteorier Bidragsanalyse Prosessuelt ræsonnement: tilstræber at forstå den måde, A påvirker B på og derigennem sandsynliggøre kausal-relationen Kan identificere hvor kæden opper af på vejen mellem indsats og resultat Kan identificere mønstre mellem lokale indsats, kontekst og resultat

27 1. fase 2. fase 3. fase 4. fase Udarbejde et notat om effektmåling i opstartsfasen Identificer succeskriterier og forventede ændringer Vælg et monitoreringssyst em Identificer en referencegruppe Afsæt ressourcer til evalueringen Evalueringens formål og fokus Timing af evalueringen Evalueringens kontekst Valg af evalueringsmodel Hensyn til valg af evaluator Afklaring af, om evalueringen sendes i udbud Udbudsmateriale og valg af tilbud Kontrakt Metodiske overvejelser Anvendelse Formidling Offentliggørelse Nyttiggørelse

28 + Tilgang nr. 2 Skab jeres eget data

29 + Hvad vi gjorde i Billund Rejsegruppen består af 2 voksne i et forhold (gift/kærester), og i gennemsnit 2 børn De 2 børn er primært i alderen 4 9 år. Gruppen kommer for at holde ferie. De ankom i bil. De overnatter i 2 dage, og overnatter på hotel. De kommer primært for at besøge LEGOLAND, og gennemfører dette besøg. De besøger muligvis også Lalandia, Billund Centrum og benytter sig af shuttelbussen.

30 + Hvad krævede det? Og hvor blev det brugt Et setup / spørgeskema Samarbejdsvillige hoteller En god kopimaskine Adgang til Survey Xact Ejerskab til projektet

31 + Skab jeres eget data Sørg for det bliver professionelt Kommuniker resultaterne ud Benyt jer af studerende Benyt jer af forskellige metoder (etnografiske er også en ide) Vær ikke blind for, hvad der kan måles og evalueres.

32 + Sjove effektmålinger og evalueringer Attitude-indexet i Cape Cod (Pizam 1978) Film-turisme (Riley et al 1998, Busby & Klug 2001 etc.) Forbrugeren humør ved evaluering af forbrug af et turismeprodukt (Sirakaya et al 2004) Evaluering af prioriteter vedr. Strand-turisme (Phillips & House 2009) Campingpladsen der ikke gav mening Vi bryder os ikke om turisterne-måling (Davis et al.)

33 + Hva så bagefter? Det primære resultat ved en evaluering er de aktiviteter, som evalueringen sætter i gang ikke selve evalueringsrapporten. manglen på ledelsesopbakning (evidensbaseret ledelse) manglende anbefalinger. evalueringernes anbefalinger ofte er vage og abstrakte og på et meget generelt niveau. Anbefalingerne skal være så anvendelsesorienteret som muligt og tilpasset den konkrete kontekst.

34 + Formidling og offentliggørelse Ejerskabet opstår ofte i forbindelse med offentliggørelsen Lav det nu læsevenligt og lækkert at se på! Lav en kommunikationsplan Skal pressen ind over? Hjemmeside? Ledelsen? Byrådet? Sørg for at kommunikere den rigtige vej. Gør en aktiv indsats for at nyttiggøre evalueringen handlingsplan Følg eller forklar-princippet.

35 + Et par gode råd. Husk Nulpunktsmåling At kopiere evalueringsmodeller ukritisk fra hinanden At opfinde den dybe tallerken (Sociale medier) At have for store forventninger til en evaluering og for mange formål. Overvej om der er behov for en evaluering eller effektmåling At se evaluering som kontrol og overvågning Skaf jer evt. en studerende til arbejdet. Pas på med den omvendte effektmåling Vi har haft flere campingovernatninger i X, det må skyldes at Der er kommet en ny campingplads? Er der er bedre registrering af eksisterende overnatninger? At campingsæsonen er udvidet? At der er mersalg af vinter-campingvogne? At der er flere fastliggere?

36 + Kilder Evalueringsguide til inspiration for evaluering og effektmåling i de regionale vækstfora. Erhvervs-og byggestyrelsen (2008) Kongsted og Konnerup (2011) Archer & Owen (1976) Archer (1983) Dahler-Larsen (1999, 2000, 2006) EVA (2012)