Temaguide: Kommunikationsmålinger. 10. juni 2008

Transkript

1 Temaguide: Kommunikationsmålinger 10. juni

2 Indholdsfortegnelse Indledning 3 Hvorfor er måling vigtig? 4 Hvordan kommer man godt i gang? 5 Hvad skal målene være? 7 Hvilken metode skal vælges? 9 Hvem skal måle? 12 Eksempler på kommunale målinger 14 Har kan du mere inspiration 20 2

3 Indledning Kommunerne er godt i gang med at opruste deres kommunikationsarbejde. I en KL-undersøgelse af kommunernes kommunikation peger 75% af de kommunikationsansvarlige i kommunerne på, at kommunikationsberedskabet i deres kommune er blevet styrket med kommunalreformen. Ni ud af ti kommunikationsansvarlige forventer desuden, at kommunikationsområdet i deres kommune vil blive prioriteret højere i løbet af de næste tre år. Mere end halvdelen af kommunerne har formuleret og vedtaget en kommunikationspolitik, som udstikker de overordnede mål for kommunernes strategiske kommunikation. Andre er på vej. Det næste skridt er at kunne dokumentere, at de opstillede mål nås med den ønskede effekt. På tværs af sektorer er der i kommunikationskredse stigende opmærksomhed på vigtigheden af at kunne måle kommunikation. Det kan være ud fra et ønske om at få redskaber til at kunne justere det daglige kommunikationsarbejde med afsæt i viden frem for fornemmelser. Det kan være for at kunne holde resultaterne af indsatsen op imod de langsigtede, strategiske kommunikationsmål. Eller det kan kort og godt være for at kunne synliggøre nytteværdien af kommunikationsarbejdet fx over for topledelsen i organisationen. KL-undersøgelsen viser, at kommunernes kommunikationsvarlige ser det som en central opgave at få målt kommunikationsindsatsen. Men samtidig er det en opgave, de efter egen vurdering ikke bruger meget tid på. Det kan bl.a. skyldes manglende erfaringer med, hvordan man griber opgaven an i en travl hverdag. Derfor har KL udarbejdet denne temaguide om kommunikationsmåling for at give inspiration til, hvordan man kommer i gang med at måle. Målet med temaguiden er at give inspiration, argumenter og hjælp til det konkrete arbejde med målinger. Temaguiden er skrevet til og udviklet i dialog med kommunikationsansvarlige i kommunerne og med afsæt i erfaring med kommunale målinger, samt uddrag fra den sparsomme litteratur på området. Læsevejledning I de første to afsnit kan du læse om, hvorfor måling er vigtigt, og hvordan du kommer i gang med at systematisere arbejdet med målinger. I afsnit 3 og 4 får du konkrete råd til, hvordan man formulerer mål og vælger metode. I de to sidste afsnit er konkrete eksempler på kommunale målinger og henvisninger til, hvor du kan læse mere. 3

4 1. Hvorfor er måling vigtig? Der kommer mere og mere fokus på dokumentation af kommunernes kommunikationsarbejde. Og med rette. I mange af de 98 kommuner er der inden for de seneste år afsat flere ressourcer til kommunikationsarbejdet. Der er ansat nye medarbejdere, kræfterne er blevet samlet i én afdeling tættere på den administrative og politiske ledelse, budgetterne er forhøjet og ambitiøse kommunikationspolitikker vedtaget. Oprustningen er et svar på de kommunikationsudfordringer, kommunerne står overfor. Den kommunale verden er blevet godt stof i medierne, efter kommunerne har fået flere og større opgaver. Pressekontakten prioriteres derfor højere. Det er også blevet afgørende for kommunerne at kunne fortælle historien om den attraktive arbejdsplads i en tid med mangel på arbejdskraft. Og de mange interne forandringsprocesser reformen har sat skub i, har øget fokus på betydningen af god intern kommunikation. Skal oprustningen på kommunikationsområdet ikke bare resultere i mere, men også bedre (og mere målrettet) kommunikation, er der behov for, at den kommunale kommunikationsindsats bliver evalueret løbende. Kun ved at måle på indsatsen opnås viden om, hvordan den enkelte kommune bedst kan målrette og forbedre kommunikationsarbejdet fremover. Det bliver også vigtigere at kunne dokumentere over for topledelsen og i sidste ende borgerne, at investeringen i kommunikation opfylder et behov, og at kommunikation udfylder en vigtig rolle i kommunernes kerneopgaver. Hvis værdien af kommunikationsarbejdet skal synliggøres er det helt afgørende, at effekten af indsatsen kan dokumenteres. Ligeledes er der behov for at få omsat kommunens mange visioner, strategier og kommunikationspolitikker fra ord til handling. Skal kommunens kommunikationspolitik blive andet end en støvet hyldesucces, er det vigtigt, den følges op af målinger. At arbejde med vision, strategier og kommunikationspolitikker uden at arbejde med opfølgning er stort set som at arbejde med et kommunalt budget, uden at der aflægges regnskab, når året er omme. Måling er vigtig. Men samtidig er det nødvendigt at kende begrænsningens kunst for ikke at måle sig ihjel. Undgå at måle på alle mulige aktiviteter og udvælg i stedet et mindre antal væsentlige målepunkter. Temaet i denne guide er kommunikationsmålinger. Det er dog ikke ensbetydende med, at målingerne er lig måling af kommunikationsfunktionens produkter og alene ses som denne enheds ansvar. Kommunikationsmålinger bliver i stigende grad brugt til at måle hele kommunens ellers et fagområdes relation til omverdenen. Og målingerne bliver planlagt i fællesskab mellem kommunens tværgående funktioner som fx Borgerservice, HR og Kommunikation, men også fagområderne. 4

5 2. Hvordan kommer man godt i gang? Kommunikationspolitikken er et vigtigt grundlag at have på plads, inden man går i gang med at måle. Herefter er det fornuftigt at vælge et styringsredskab til systematisering og prioritering af målinger. Inden man afgør, hvad der skal bruges tid, penge og kræfter på at måle, er det vigtigt at sikre sig, at den ledelsesmæssige forankring af kommunikationsarbejdet er på plads. Kommunikationspolitikken kan være med til at udstikke rammerne for, hvad det er for indsatsområder, der prioriteres, og dermed vigtigst at få målt på. Læs evt. mere om kommunikationspolitikker i KL s temaguide (2006) og Kommunaldirektøren og Kommunikationsstrategien (2008). Læs mere på Kommunikationsmålinger skal bruges til at finde ud af, om organisationen lever op til forventningerne blandt borgere, brugere og medarbejdere - og om kommunikationsarbejdet understøtter organisationens overordnede visioner og ambitionerne for den daglige og langsigtede kommunikation. Allerede i arbejdet med kommunens kommunikationspolitik kan det være fornuftigt at arbejde med målinger, der kan afdække de forskellige interessenters behov og krav til kommunens kommunikation. Det kan være brugbart at lave en nulpunktsmåling af status i dag for at kunne sætte sig realistiske mål for, hvor man gerne vil hen på sigt og kunne benchmarke sig selv efterfølgende. Valg af styringsredskab til systematisering og prioritering af målinger Når kommunikationspolitikken er på plads, handler det næste skridt om at få systematiseret og prioriteret de indsatsområder, det er vigtigst, der bliver målt på. Til det formål har vi i denne guide valgt at beskrive det styringsredskab, der hedder balanced scorecard (BSC). Et andet værktøj kan fx være det, der bliver kaldt et kommunikationsregnskab. Miljøstyrelsen har siden 2000 indført et kommunikationsregnskab, som rummer et systematiseret evalueringskoncept. Også Københavns Kommune har tidligere erfaringer med anvendelsen af kommunikationsregnskab. Figur 1: Grundskabelon BSC, se figur 2 for udfyldt skema Overordnede mål for kommunen Målgrupper Kommunikations mål Særlig vigtige indsatsområder KPI Key Point Indicators Hvad indikerer om vi når målene? Måling - hvordan måler vi? 5

6 BSC er et redskab, som bruges af kommunikationsafdelinger i både private og offentlige virksomheder, da det har vist sig at være velegnet til at systematisere målingsarbejdet. Det kobler konkrete kommunikationsaktiviteter til kommunens overordnede mål, visioner og kommunikationspolitik - og er samtidig med til at konkretisere aktiviterne i mål og målinger. Det anvendes til at planlægge og udvikle kommunikationsarbejdet i en ofte kaotisk hverdag, hvor udsving i hverdagen nemt flytter fokus. At benytte et overordnet styringsredskab kan være en vaccination imod, at målinger bliver tilfældige uden sammenhæng til det store billede. I arbejdet med BSC er det centrale at få defineret kommunikationsmålene for de valgte kommunikationsaktiviteter. BSC giver overblik over den overordnede kommunikationsstrategi med fastlæggelse af kommunikationsmål, væsentlige indsatser og målepunkter i forhold til kommunens mange målgrupper (fx borgere, brugere, medarbejdere, presse, politikere) Organisationer, hvis kommunikationsafdelinger har haft gode erfaringer med at arbejde med BSC, er fx Odense Kommune, TDC og KL. Det har betydet et løft for det strategiske arbejde med kommunikation og en mulighed for at tænke mere helhedsorienteret ved tilrettelæggelse og udvikling af afdelingens arbejde. 6 trin i arbejdet med BSC Kommunens overordnede vision, mission, mål og værdier er afsættet for arbejdet med BSC og alt hvad der har med kommunens kommunikation at gøre bør være knyttet dertil. De følgende trin knytter sig til førnævnte skema i rækkefølgen fra venstre mod højre: 1. Overordnede mål: Beslut, hvad der er fællesnævneren for al kommunens kommunikation med afsæt i kommunens overordnede mål. 2. Målgrupper: Definér de vigtigste målgrupper (borgere, brugere, medarbejdere, presse, kommunalpolitikere, virksomheder osv.) Prioritér - den kommunale kommunikationsopgave er potentiel enorm. 3. Kommunikationsmål: Definér kommunikationsfunktionens vigtigste mål i en aktivitetsplan i forhold til målgrupper. Vælg indsatsområder i relation til mål og målgrupper. Prioriter indsatsområdernes vigtighed og skær ind til benet 4. KPI key point indicators (succeskriterier): Vælg KPI er som er simple, har status og vækker genklang i organisationen. Beslut hvad, der kan indikere, om I når målene. Se eksempel i figur 2 5. Måling: Beskriv hvordan I har tænkt jer at måle på, om målene nås. 6. Opfølgning: Evaluer løbende: Har I nået målene, og hvad kan I evt. gøre for at forbedre resultaterne eller justere kursen? 6

7 Figur 2: Eksempel på udfyldt BSC-skema Overordnede mål for kommunen Kommunen vil levere den bedst mulige service til borgerne Målgrupper Kommunikations mål Borgere Pressen Vi skal bidrage til at borgerne hurtigt finder frem til den information de søger om kommunens service Vi skal få pressen til at fokusere på de mere positive historier om kommunens service Særlig vigtige indsatsområder Brugerundersøgelse af hjemmesiden Udarbejdelse af færdige historier til lokalpressen med dokumentation KPI Key Point Indicators Hvad indikerer om vi når målene? 90% finder det de leder efter Måling - hvordan måler vi? Brugerundersøgelse på hjemmesiden Mindst 10 historier i lokalpressen om xx kommune månedligt Mediemonitorering Se bilag: BSC skema fra Odense Kommune. Eksempel på hvordan Odense tidligere har arbejdet med BSC med rod i kommunikationspolitikken. Odense Kommune er sidenhen begyndt at udvikle et kommunikationsregnskab, som arbejdet med BSC har været med til at støbe kuglerne til. 3. Hvad skal målene være? God måling kræver gode mål. Derfor er det helt afgørende at få defineret nogle realistiske kommunikationsmål. De er forudsætningen for at kunne beslutte sig for, hvad og hvordan der skal måles og til at lægge sig fast på, hvilken metode der egner sig bedst. Målene kræver grundige overvejelser, så de efterfølgende bliver til at måle på. Man kan let komme til at formulere luftige visioner og mål: Kommunen vil gerne være den bedste til elektronisk kommunikation inden udgangen af Det er et mål der kan være svært at måle på, fordi man hurtigt opdager, at man bliver nødt til at finde ud af, hvad fx bedst er, og hvad kommunikation er. Gode målinger kræver gode mål, herunder realisme, operationalitet, tidshorisont og succeskriterier (KPI). (Sepstrup 2007) Når man skal have defineret nogle realistiske kommunikationsmål kan det være en hjælp at skelne mellem kommunikationsmål, projektmål og kommunens overordnede mål. Dermed kan kommunikationsfunktionen udarbejde realistiske mål, som knytter sig til det, man kan opnå med kommunikationsløsninger. Kommunikationsmål handler om, hvad det er man ønsker at opnå med kommunikationen: Kommunikation er sjældent et mål i sig selv Kommunikationsmål er mål man kan opnå med kommunikationsløsninger 7

8 Kommunikationsmål skal understøtte andre mere overordnede mål (vision/strategi /projektmål osv.) Jo mere præcis målsætningen er formuleret, jo lettere er det at finde de rigtige løsninger Forudsætter at man altid kan beskrive problemet/kommunikationsudfordringen. Eksempel I kommunens vision (overordnede mål) står der fx: Kommunen vil være frontløber på miljøområdet. Eksempel på et projektmål kan være: Kommunen ønsker, at kommunens borgere i højere grad anvender tilbuddet om delebiler. Kommunikationsmålet kan være at sikre kendskab og viden om ordningen med delebiler. Den afgrænsning afspejler, at kommunikationsfunktionen ikke alene kan sikre, at ordningen bliver en succes, da det vil afhænge af andre faktorer end kommunikation, fx bilernes tilgængelighed og prisen på benzin. Målet kan yderligere konkretiseres i et kvantitativt mål; fx at 75% af målgruppen kender til ordningen om delebiler år et efter kommunikationsindsatsen. Mål skal være SMART e Et godt tip til målinger er, at mål skal være SMART e: Specifikke og entydige det skal være klart, hvad det er man ønsker Målbare man skal vide, hvornår man har nået målet Accepterede de vigtigste interessenter i organisationen skal have accepteret målene Realististiske - de skal kunne nås, men må samtidigt gerne være ambitiøse og udfordrende Tidsbestemte det skal fremgå klart, hvornår man har opnået målet Målinger skal være realistiske og samtidig gerne være ambitiøse og udfordrende. Der er set mange eksempler på alt for høje forventninger til, hvad det er, man kan opnå med kommunikation. Husk at skelne mellem kommunens overordnede mål, projektmål og kommunikationsmål. Det er sjældent kommunikation alene, der gør at flere borgere i kommune x begynder at anvende delebiler. Men en vigtig forudsætning er selvfølgelig, at borgerne er oplyst om ordningen. Kommunikationsmål kan yderligere inddeles i fx fire niveauer - en skelnen mellem 1) Procesmål: Det vi gør! For eksempel: Vi vil udgive 10 annoncer om delebilsordningen 2) Kanalmål: Hvem har set det? For eksempel: Vi ønsker at måle om minimum 20% af borgerne har set annoncerne og evt. høre hvad de synes om annoncerne. 8

9 3) Forståelsesmål: Har modtagerne forstået det? For eksempel: Vi ønsker kvalitativt at teste om borgerne har forstået, hvad ordningen går ud på. 4) Effektmål: Anvender modtagerne ordningen? For eksempel: Vi ønsker at måle om brugen af delebilerne har været stigende. Forudsætningen for at kunne lave gode og realistiske målinger, er at man har sine redskaber til kommunikationsplanlægning i orden. Til grund for målinger, er det vigtigt, man har valgt kommunikationsløsninger, hvor man på forhånd har gjort sig realistiske overvejelser om, hvad det er man kan opnå med kommunikation, og hvilke løsninger der er bedst egnet til formålet. Det falder uden for denne temaguides fokus at gå nærmere ind i kommunikationsplanlægningens abc. Men en god idé er altid at overveje succeskriterier (KPI) og målemetoder i sin kommunikationsplanlægning. Gode kilder til praktisk kommunikationsplanlægning er Sepstrup (2007) og Petersen (2005). Et lille redskab til kommunikationsplanlægning Information skaber kendskab Dialog og information skaber accept og forståelse Dialog skaber motivation Involvering skaber handling Sepstrup (2007) 4. Hvilken metode skal vælges? I det foregående afsnit er beskrevet, hvordan man ved hjælp af BSC kan systematisere arbejdet med målinger, og hvordan formulering af mål er forudsætningen for at komme godt fra start. I dette afsnit er kort beskrevet, hvilke metoder som typisk anvendes i kommunikationsmålinger. Der findes hundredvis af forskellige måder at evaluere på. Her er forklaret de mest anvendte begreber og metoder. Nulpunktsmålinger Nulpunktsmålinger er især anvendelige, når man skal udarbejde en kommunikationspolitik eller igangsætte en større kampagne. De fleste kommuner beslutter allerede i arbejdet med kommunikationspolitikken, hvad det er for mål, man vil arbejde hen i mod og hvad det er, man vil opnå med sin kommunikation. Hvis et sådant mål skal give mening og være realistisk, er det ofte nødvendigt at gennemføre en nul-punktsmåling (også kaldet før-evaluering) af status i dag både for at kunne benchmarke sig selv efterfølgende og for at fastsætte et realistisk mål for, hvor meget man skal flytte sig, inden der skal gøres status og kommunikationspolitikken revideres. Der kan foretages nulpunktsmålinger i forhold til de forskellige interessentgrupper. Det være sig en undersøgelse af en borgergruppes opfattelse af kommunens 9

10 serviceinformation. Det kan også være en undersøgelse af medarbejdernes tilfredshed med den interne kommunikation. Eller det kan være en undersøgelse af de lokale journalisters opfattelse af kommunens pressearbejde. Effektmålinger Effektmåling har til formål at vurdere virkningen af en kommunikationsindsats. Det er en måling af hvordan modtageren forstår og/eller vurderer den kommunikation, som vedkommende har modtaget over kortere eller længere tid. (Frandsen et al 2005) Målingen kan ske på forskellige tidspunkter i planlægning og gennemførsel af en målrettet kommunikationsindsats og have lidt forskellige formål. Prætest benyttes til at vurdere om budskabet i forskellige medier fungerer som tilsigtet. Prætest anvendes oftest i forbindelse med større kampagner eller kostbare kommunikationsprodukter, hvor det er vigtigt at få korrigeret, inden der investeres i dyre, færdige produkter og distribution. Den typiske fremgangsmåde i prætest er kvalitative interviews, først og fremmest fokusgruppeinterviews. Før-, (midtvejs-) og efterevalueringer har til formål at høste erfaringer og belyse kommunikationsindsatser (fx kampagner) i forhold til de opstillede mål. Er det lykkedes at skabe viden om det emne, man har informeret om? Disse målinger skal gennemføres efter samme metode og samme målvariabler. Sepstrup skelner således mellem prætest og før-evalueringer, fordi de har to forskellige formål: prætest har til formål at afprøve et produkt, før det går i produktion. Før-evaluering benyttes til at registrere målvariable værdier før en kommunikationsindsats. Det kan som hovedregel bedst betale sig at lave prætest, inden man trykker fx tusindvis af borgeraviser. Det er ofte givet bedre ud at prioritere prætest fremfor før- og efter-evalueringer, hvis budgettet ikke giver mulighed for begge dele. Førog efter-evalueringer er ofte omkostningskrævende, og erfaringer kan kun anvendes til fremtidige kommunikationsindsatser, eller til efterkritik af afsender. Interessentanalyser Interessentanalyse er en metode til at kortlægge, hvilke interesser forskellige grupper har i relation til kommunens kommunikation. Ligesom nulpunktsmålinger er interessentanalyser relevante, når kommunen skal fastlægge sin kommunikationspolitik eller planlægge en større kampagne. Interessentanalyser giver kommunen: forståelse for interessenternes mediepræferencer, forventninger/holdninger til kommunen, alliancemuligheder for kommunen mv. indblik i, hvilke kommunikationsindsatser der virker hensigtsmæssigt, og hvilke der ikke gør i forhold til forskellige målgrupper. 10

11 Metoden går ud på at identificere interessenterne, afdække deres krav, mediepræferencer osv. Ifølge Brink Lund (2008) bør der i de kommunale kommunikationspolitikker i første omgang skelnes mellem tre overordnede grupper: (for)brugere, (demokratiets) borgere og medarbejdere. Herunder kan grupperne igen deles op i undergrupper, fx brugere i forhold til, hvilken service de benytter i kommunerne, borgere i forhold til alder og interesseområder, medarbejdere i forhold til placering i organisationen osv. Kvalitative eller kvantitative interviews? Der skelnes i almindelighed mellem to hovedformer for metodisk fremgangsmåde, nemlig den kvalitative og kvantitative metode. Om det skal være den kvalitative eller kvantitative metode man skal vælge, bør afhænge af undersøgelsens formål, og hvad der er kommunikationsmålet. De kvalitative og kvantitative metoder bør ikke opfattes som et enten eller, men er ofte gode som et supplement til hinanden. Hvor den kvantitative metode er god til at skabe statistiske opgørelser på baggrund af strukturerede spørgeskemaer, er den kvalitative metode god til at skabe en dybere forståelse af respondenternes svar med dialog og nærhed til kilden - og mulighed for at opdage nye vinkler og drejninger. I kvalitative interviews er antallet af respondenter typisk ikke mange - ofte er 5-6 respondenter nok til enten individuelle interviews eller fokusgrupper. Kvantitative undersøgelser bør derimod basere sig på minimum respondenter afhængig, hvad undersøgelsen skal sige noget om. Det giver undersøgelsen den validitet, som kræves af statistiske konklusioner. Den kvantitative metode er typisk mere ressourcekrævende end den kvalitative. Til gengæld kan ressourcerne være givet godt ud i forhold til at sikre sig den nødvendige legitimitet og gennemslagskraft i organisationen og i forhold til ledelsen. Formulering af interviewguides og spørgeskemaer Når man har lagt sig fast på metoden bliver det næste skridt at få formuleret en interviewguide eller et spørgeskema. En interviewguide er ofte én man formulerer til baggrund for de kvalitative interview. Det er en huskeliste med emner, som intervieweren på et eller andet tidspunkt i samtaleforløbet ønsker at berøre, men ikke nødvendigvis i en bestemt rækkefølge. Med kvalitative interviews er det vigtigt at være åben for den interviewedes svar, som måske kan føre én i nye retninger. Spørgeskemaet er et fast struktureret skema knyttet til det kvantitative interview med forud fastlagte spørgsmål, som skal stilles i en bestemt sekvens. Det er vigtigt for, at man efterfølgende kan sammenligne og lave statistiske opgørelser på baggrund af alle svar. Vær opmærksom på, at når du forbereder spørgeskemaundersøgelser, må de ikke være for lange. Mange bliver irriteret over meget lange spørgeskemaer eller sim- 11

12 pelthen undlader eller opgiver at svare, hvis det tager for lang tid. Analysebureauer vurderer typisk, at minutter er smertegrænsen for, hvor lang tid en besvarelse må tage. Det afhænger i høj grad af det specifikke produkt og situation, hvilke spørgsmål, det er relevant at stille. Du kan bl.a. finde konkret inspiration til formulering af interviewguides og spørgeskemaer i de kommunale kommunikationsmålinger som allerede er sat i værk. Se henvisninger i sidste kapitel med eksempler på kommunale målinger. 7 bud på god skik i målinger 1. Brug altid god tid til planlægning og design af undersøgelse 2. Fastlæg og beskriv metode 3. Gennemfør en foranalyse for at få afprøvet metoden. Afprøv fx spørgeskemaet på 2-3 testpersoner fra målgruppen 4. Overvej grundigt, hvordan respondenter udvælges. Er den endelige metode baseret på tilfældig udvælgelse, er fremgangsmetoden tilfredsstillende overvejet og kan dokumenteres? Hvis der er tale om bevidst udvælgelse, hvilken fremgangsmetode er så anvendt? 5. Aftal altid på forhånd, hvem der har rettigheder til resultater af undersøgelsen og hvordan resultater skal formidles 6. Sørg for at dataindsamlingen er tilfredsstillende dokumenteret, er forklaret og gennemskuelig for ikke fagkyndige 7. Evaluer fremgangsmåde og resultater, så læring i forløbet kan anvendes til næste undersøgelse. Sepstrup (2002) og Rieper (2004) 5. Hvem skal måle? Det er altid en overvejelse, om man skal bruge ekstern bistand til måling, eller om man kan gennemføre målingen selv. De fleste målinger kan man selv foretage, men det er tidskrævende. Fordelen ved at bruge eksterne bureauer er, at de ofte har bedre styr på metoderne, de er erfarne og kan give analysen større troværdighed. Der er mange udbydere på markedet. De kan overordnet deles op i to grupper: For det første er der kommunikationsbureauerne. De kan hjælpe med at tilrettelægge overordnede programmer, fx BSC, kommunikationsregnskaber, interessentanalyser: Det vil sige større analyseprogrammer med afsæt i forskellige metoder. For det andet er der analysebureauer, som kommunikationsbureauerne typisk samarbejder med. Analysebureauerne har specialiseret sig i forskellige former for 12

13 effektmålinger. Det er typisk større internationale virksomheder, der udbyder standardmålinger som mærkevare. Hvis man vælger selv at planlægge og gennemføre målinger, er det en god ide at have et godt program til udsendelse af spørgeskemaer og til systematisering af kvantitative data, fx Enalyzer, Defgo eller Sharepoint. Det er også vigtigt at alliere sig med et internt evalueringsteam til at bistå med planlægning, tidsplan og gennemførsel. Sidst men ikke mindst er det afgørende at få undersøgelserne forankret i ledelsen, fx i en styregruppe, for at sikre sig mål og metoder er accepterede. Smutveje til målinger Ekstern hjælp til måling er ikke gratis - og det er tidskrævende selv at foretage målingerne. Derfor kan man med fordel finde smutveje til målinger: Genbrug metoder og resultater Der er godt gang i kommunernes produktionen af forskellige undersøgelser af den kommunale kommunikationsindsats. Derfor er der stor sandsynlighed for, at disse undersøgelser vil kunne genbruges til inspiration og grundlag for planlægning af fremtidige kommunikationsindsatser i din kommune. Kan resultaterne ikke genbruges, kan metoderne efter al sandsynlighed benyttes til inspiration. Der bliver i dag lavet masser af undersøgelser af offentlig kommunikation, som kan bruges i planlægning af det videre kommunikationsarbejde. Nogle af disse er fx: Danmarks Statistiks målinger Benchmarkinganalyse af den interne kommunikation i 35 skandinaviske virksomheder udarbejdet af Nordisk Kommunikation Undersøgelser af lederkommunikation af GCI Mannow Institut for Konjunktur-Analyse, IFKA, har i september 2007 på landsbasis undersøgt borgernes tilfredshed med kommunernes information KL s jubilæumsfond støtter et forskningsprojekt under CBS om kommunernes kommunikation. De første resultater er tilgængelige i rapporten Kommunaldirektøren og kommunikationsstrategien på Forskningsprojektet vil genere en rapport mere i begyndelsen af Brug studerende /praktikanter Der er studerende, som læser kommunikation eller lign., og som gerne vil have et studiejob, en praktikplads ellers bare en opgave til brug i deres speciale/rapport. Du kan finde de studerende både på de kommunikations-, samfundsfaglige og humanistiske uddannelser på universiteterne, handelshøjskolerne, journalisthøjskolen mv. Fordelen ved at bruge studerende er, at de har fingeren på pulsen og kender de basale metoder. Og de vil gerne lave analyser, der rent faktisk kan bruges til noget i den virkelige verden. Husk på forhånd at lave klare aftaler om, hvad undersøgelserne må bruges til, og hvordan de eventuelt må offentliggøres. 13

14 Slå jer sammen og hop på andre undersøgelser I din kommune kan der fx være andre afdelinger, som har planlægger at lave undersøgelser af servicen til borgerne i relation til en central kerneopgave. Få eventuelt et par spørgsmål med om kommunikation. Eller tag temperaturen på den interne kommunikation i den næste medarbejdertilfredshedsundersøgelse. Slå dig sammen med nabokommunen i forbindelse med spørgeskemaundersøgelser til udvalgte segmenter, fx hvis begge kommuner ønsker at afprøve og afdække behov for forskellige former for serviceinformationer til borgerne eller med det mål at benchmarke med hinanden. Kantine- og borgerservicemodellen Det er også en god idé at benytte de kanaler, hvor målgruppen allerede færdes til løbende at måle sine kommunikationsprodukter. Tag fx det sidste nummer af personalebladet med i kantinen, og spørg til hvad dine kolleger synes om bladet. Eller tag den sidste informationsannonce fra kommunen i lokalavisen med i borgerservicebutikken - og spørg til om borgeren læser det, finder det relevant, let læseligt, troværdigt, anvendeligt osv. Eller forbered et spørgeskema, som bliver uddelt til de ventende, og stil en boks til indsamling af svar. 6. Eksempler på kommunale målinger I foregående afsnit er beskrevet de mest anvendte metoder til måling af kommunikation. I dette afsnit relateres metoderne til de vigtigste indsatsområder i kommunerne. KL s undersøgelse fra 2007 viser, at de kommunikationsopgaver kommunerne bruger mest tid på i nævnte rækkefølge er; hjemmeside, pressehåndtering, intern kommunikation og anden ekstern kommunikation (fx markedsføringsog kampagneaktiviteter, imageundersøgelser og tilfredshedsmålinger). Det er selvsagt også de opgaver, som det i første omgang giver mest mening at måle på. Her er samlet en række konkrete kommunale eksempler på målinger til inspiration. Netundersøgelser Webstatistik, webanalyse og brugerundersøgelser er nogle af de redskaber kommunerne bruger til at udvikle og forbedre deres kommunale hjemmesider. Bedst på nettet under Videnskabsministeriet har siden 2001 været med til at vise, hvad der skal til for at udvikle kvaliteten i de kommunale hjemmesider i forhold til bl.a. brugervenlighed, digital selvbetjening og åbenhed ( I de senere år har udviklingen af analyse af hjemmesider udviklet sig markant. Det er nu muligt at få detaljeret information om, hvor godt et website klarer sig, hvem der anvender det, og hvordan brugerne anvender det. I dag er den mest almindelige måde at praktisere webanalyse på, at webmasteren kaster et blik på, hvor mange brugere der har været inde på hjemmesiden og hvilke sider der er de mest besøgte. 14

15 Selv om dette er et brugbart udgangspunkt, så kan man anvende en væsentlig mere systematisk webanalyseprogram, som går helt ned i detaljen. Med webanalyseprogrammer kan man se samtlige klik for alle brugerne af ens hjemmeside, alt hvad de indtaster på siden, og hvordan de navigerer rundt, hvor lang tid de bruger på de forskellige handlinger osv. Det giver nogle særlige muligheder for at forstå forskellige brugere af hjemmesiden, opdele i segmenter/brugergrupper og tilpasse indhold og navigationsstruktur herefter. Webstatistikprogrammer bliver ofte suppleret med brugerundersøgelser, som er spørgeskemaer, der popper op på den hjemmeside eller delsider/kampagnesites brugeren klikker sig ind på. Tre kendte leverandører af sådanne webanalyseprogrammer er fx Netminers; Omniture og Visionize. Eksempel 1: Høje Taastrup Kommune foretog i foråret 2007 en større kvantitativ undersøgelse af brugerne af - en undersøgelse med i alt ca respondenter udført af Userneeds. Målingen supplerede Høje Taastrups statistikprogram. I undersøgelsen blev spurgt til brugernes tilfredshed med bl.a. overblik, struktur/navigation, teksternes kvalitet og det grafiske design. I forhold til en tidligere undersøgelse kunne Høje Taastrup konstatere, at brugerne generelt var blevet mere tilfredse. Høje Taastrup har netop fulgt op med fokusgruppeundersøgelser af delområder af hjemmesiden og resultaterne afventes i skrivende stund. Resultater fra brugerundersøgelserne er tilgængelige på kommunens hjemmeside - klik på Om hjemmesiden og herefter på Brugervurderinger (også de nye undersøgelser vil bliver tilgængelige der). Eksempel 2: Århus Kommune gennemførte i 2006 en såkaldt usability test (brugerundersøgelse) af kommunens dengang nye borgerindgang på Testen havde til formål at undersøge om den nye hjemmeside fungerede tilfredsstillende og hvilke områder, som kunne give brugerne problemer i forhold til navigation og overblik på websitet. Undersøgelsen byggede på seks kvalitative én-til-én interviews foretaget af firmaet Userneeds. Der var udvalgt 6 personas til interviewene; Den velforberedte, Den digitale, Den forkælede, Den kritiske, Den utålmodige og Den usikre. Flere af undersøgelsens resultater gav anledning til ændringer i borgerindgangen. En ny søgemaskine blev taget i brug i januar Endvidere blev servicemenuen i øverste højre hjørne gjort mere synlig, så borgerne nemmere kunne se den var interaktiv. Usabilitty testen blev i marts 2007 fulgt op af en større kvantitativ undersøgelse (en exit survey) med i alt 1943 besvarelser. Resultater fra undersøgelsen gav ikke anledning til nævneværdige justeringer, men bekræftede, at Århus kommune havde fået udviklet et godt og tilfredsstillende website. 15

16 Pressemålinger og mediemonitorering Kommunerne begynder i stigende grad at måle pressearbejdet ved hjælp af både kvantitative og kvalitative mediemålinger foruden mediemonitorering. Den tid er ovre, hvor en organisation alene kunne måle presseomtale ved en simpel kvantitativ optælling af spaltemillimeter i pressen. I dag er kvantitative og noget overfladiske opgørelser af antallet af mediehistorier udskiftet med mere kvalitative dybdegående analyser af presseomtalen. Formålet med pressemålinger kan være at vurdere organisationens omdømme udadtil. Kommunen har fx defineret i kommunikationspolitikken, hvordan kommunen gerne vil opfattes udadtil, og hvilke historier kommunen gerne vil have, der skal præge dagsordenen. Pressemålinger kan bruges til at vurdere, om man har held med sætte dagsordenen med de ønskede historier, eller om man bliver spændt for pressens vogn. Der er i dag få kommuner, som abonnerer på mediemonitorering, men KL s undersøgelse af kommunernes kommunikation viser, at det er på vej. Der er flere leverandører på markedet for medieovervågning, fx Infomedia, Infopaq og Cision. Eksempel 3: Århus Kommune har i 2007 lavet en analyse af pressearbejdet som led i en større analyse af kommunikationsindsatsen i Social og Beskæftigelsesforvaltningen. Undersøgelsen havde tre formål. For det første at undersøge, hvordan rådmanden og forvaltningen blev profileret i en periode på halvandet år. For det andet at undersøge, hvordan journalisterne oplevede samarbejdet med Social og Beskæftigelsesforvaltningen gennem interview med 23 journalister. Sidst blev der ved hjælp af et borgerpanel bestående af 2000 borgere undersøgt borgernes kendskab til og opfattelse af forvaltningen, herunder deres kendskab til historier, som havde været i pressen. Undersøgelserne resulterede i en række fremadrettede anbefalinger: Forvaltningen blev opfordret til at arbejde mere bevidst med at få de gode historier omtalt i pressen, bruge pressemeddelelser og kontakter offensivt, samt sørge for at rådmanden spiller en aktiv rolle i omtale af arrangementer. Undersøgelsen kan rekvireres hos Henriette Wiese, Social- og Beskæftigelsesforvaltningen i Århus Kommune, tlf Eksempel 4: Greve Kommune har for nylig lavet en kvantitativ optælling af, hvor mange af kommunens pressemeddelelser, som er blevet bragt i de lokale medier. Undersøgelsen blev fulgt op af en kvalitativ dialog med de lokale journalister om, hvad det så er for historier, lokal- og regionalaviserne især interesserer sig for og hvorfor. Undersøgelsen bekræftede, at det især er historier om begivenheder, som giver pote. Journalisterne interesserer sig i nogen grad også for historier om serviceforbedringer/forringelser og undersøgelser, men i mindre grad for administrative informationer. 16

17 Måling af intern kommunikation Arbejdet med den interne kommunikation er vokset markant med kommunalreformen. Af samme grund er der også kommet gang i målinger af den interne kommunikation i kommunerne, fx analyser af medarbejderblade, intranet og tilfredshedsmålinger. Der er en stigende tendens til, at kommunikationsmålinger af den interne kommunikation også anvendes som HR værktøj. Derfor må måling af den interne kommunikation ideelt set både være et arbejde for kommunernes kommunikations- og HR- afdelinger. Kommunikationsmålingerne bruges ikke kun til at udvikle det konkrete formidlingsarbejde, men i lige så høj grad som værktøj til at arbejde med fastholdelse, tilfredshed og arbejdsmiljø. Forskellige virksomheder er begyndt at benchmarke deres interne kommunikation, fordi det sætter målingerne i relief. Benchmarking kan være en god metode til at få belyst, hvordan organisationen eller de enkelte afdelinger klarer sig i forhold til andre. I foråret 2007 foretog Nordisk Kommunikation en benchmarkinganalyse af den interne kommunikation i 32 offentlige og private virksomheder. Undersøgelsen viste tydeligt, at de interpersonelle kommunikationskanaler i virksomheden er langt de vigtigste for medarbejderne. Vigtigst er nærmeste chef, tæt forfulgt af kollegaerne. De kanaler, som kommunikationsfunktionen bruger mest tid og ressourcer på er intranettet og personalebladet. Det er de kanaler, som ifølge medarbejderne, er mindst vigtige. Men det er ikke ensbetydende med, at personaleblade/nyhedsbreve og intranet er overflødige. Flere kommunale undersøgelser viser, at de er et godt supplement til den direkte, personlige ledelseskommunikation. De kan dog ikke stå alene. Og samme undersøgelser viser, at der blandt medarbejdere fortsat er ønske om personaleblade/nyhedsbreve, men også, at der er behov for at produktudvikle disse og nøje overveje, hvor kommunikationsfunktionen bedst lægger kræfterne. Eksempel 5: Greve Kommune har i 2007 lavet en spørgeskemaundersøgelse blandt de ansatte om kommunens personaleblad. Der blev spurgt til kendskab, relevans og om målet med bladet blev opfyldt. Spørgeskemaundersøgelsen blev fulgt op af kvalitative fokusgruppeinterview med grupper af medarbejdere fra bl.a. en daginstitution og et plejecenter. Undersøgelsen resulterede i en relancering af personalebladet med et nyt koncept. Det nye personaleblad udkommer sjældnere, men til gengæld i et flottere layout med journalistisk vinklede artikler og indhold med almen interesse for alle kommunens arbejdspladser. Med det nye koncept blev også nedsat en udvidet redaktionsgruppe med repræsentanter fra det decentrale niveau. 17

18 Eksempel 6: Århus Kommune gennemførte i 2007 en bredere undersøgelse af den interne kommunikation. I samarbejde med Jøp, Ove og Myrthu undersøgte Social- og Beskæftigelsesforvaltningen medarbejdernes holdninger til den interne kommunikation. Der blev gennemført fem fokusgruppe-interview med fem forskellige grupper; 1) linjemedarbejdere, 2) administrative medarbejdere, 3) nyansatte administrative medarbejdere, 4) nyansatte linjemedarbejdere og 5) elever/praktikanter. Der blev også foretaget telefon-interview med ledere fra kommunens institutioner og centre. Formålet var at afdække ledere og medarbejderes holdninger og ønsker til den interne kommunikation. Resultater fra undersøgelsen resulterede i en række anbefalinger, fx ønsket om en mere åben og let tilgængelig information fra den øverste ledelse og ønsket om et nyhedsbrev fra topchefer og rådmænd. Indholdsmæssigt efterlyste ledere og medarbejdere klare udmeldinger fra ledelsen om mål, strategier og værdier. Hele undersøgelsen kan rekvireres hos Henriette Wiese, Social- og Beskæftigelsesforvaltningen i Århus Kommune, tlf Måling af anden ekstern kommunikation Private virksomheder har i mange år interesseret sig for at måle på deres image og omdømme. Ligeledes viser kommunerne stigende interessere for, hvordan deres omdømme er - velvidende at et godt image påvirker borgernes holdning positivt til såvel kommunen, som den service kommunen leverer. Imageundersøgelser, kendskabs og tilfredshedsmålinger bliver brugt til at tage temperaturen på borgernes kendskab til og opfattelse af dele eller hele kommunen. Kommunale borgerpaneler er et redskab, der med fordel kan benyttes til disse undersøgelser og bliver det i nogle kommuner. Kommunerne investerer netop nu i kommune-branding og dyre kampagner som aldrig før. KL s undersøgelse bekræfter, at markedsføringsaktiviteter er blandt de aktiviteter de kommunale kommunikationsfunktioner vil bruge mest tid på i fremtiden. Særligt employer-branding vil der komme flere eksempler på i fremtiden. Men det er sjældent, større kampagner systematisk bliver evalueret. I arbejdet med større kampagner bør der ideelt set afsættes beløb til evaluering før, under og efter gennemførsel. Det kan sjældent betale sig at lade være, og det er en oplagt mulighed for at opsamle erfaringer, der kan bidrage til at gøre den aktuelle eller kommende kommunikationsindsats bedre. Og til at vurdere resultaterne: Blev succeskriterierne opfyldt? Var det indsatsen værd? I arbejdet med måling af større kampagner vil kommunerne have stor fordel i af at trække på erfaringer fra offentlige styrelser og råd. De har i flere år arbejdet systematisk med metoder til måling af offentlige kampagner. På Google kan du ved at søge på links om offentlige kampagner finde inspiration til måling af større offentlige kommunikationsindsatser. KL vil løbende formidle nye eksempler på målinger af fx branding-projekter. Hold øje med: 18

19 Eksempel 7: Odense Kommune fik i 2006 lavet en image- og borgerundersøgelse i samarbejde med analysebureauet Wilke. Formålet med undersøgelsen var at undersøge effekten af indsatsen på kommunikationsområdet. Målsætningen var, at Odense Kommune ønsker at blive opfattet som en åben og moderne virksomhed, der aktivt søger dialog med såvel ansatte som omverdenen. Med undersøgelserne ønskede Odense at teste kommunikationen over for tre forskellige interessentgrupper; 1) borgere i kommunen, 2) borgere i andre kommuner og 3) pressen. I undersøgelsen sammenligner Odense sig med andre byer; fx København, Kolding, Ålborg og Århus. Borgerundersøgelsens resultater viste, at den overordnede kommunikation mellem borgerne og kommunen fungerede godt. Specielt kommunikation med bibliotekerne blev vurderet positivt, mens der er en tendens til, at den telefoniske kontakt med Odense Kommune blev vurderet mindre positivt. Med undersøgelsen fik Odense et godt fundament for at vide, hvor der kommunikationsmæssigt bedst kan sættes ind fremover, og Odense fik lavet en nulpunktsmåling for senere målinger. Undersøgelsen er tilgængelig på Dele af undersøgelsen vil blive gentaget i løbet af det næste år. Eksempel 8: Faxe Kommune er netop nu (ved hjælp af et borgerpanel bestående af 600 deltagere) i gang med at undersøge borgernes holdning til kommunens forskellige kommunikationskanaler, omfang og indhold, fx hjemmeside, annoncering i lokale ugeaviser, produktioner til husstandsomdeling. Også borgernes oplevelse af mulighed for dialog med de lokale politikere bliver undersøgt. Resultater fra undersøgelsen afventes i skrivende stund. Det er konsulentfirmaet Catinét Research, der gennemfører undersøgelsen og står for sammensætningen af borgerpanelet. Læs mere om borgerpanelet på - hvor også undersøgelsens resultater bliver tilgængelige. 19

20 7. Her kan du få mere inspiration Udbuddet af litteratur om målinger og evaluering er voksende. Steder hvor der er mere at hente: Litteratur Den kommunikerende kommune af Finn Frandsen et al, Børsens Forlag (2005) En undersøgelse viser Om kvantitative undersøgelser uden at snyde sig selv eller andre af Preben Sepstrup, Systime Academic (2002) Guide til den gode kommunale evalueringspolitik, (2008) Håndbog i evaluering Metoder til at dokumentere og vurdere proces og effekt af offentlige indsatser af Olf Riper, AKF forlaget (2004) Kommunaldirektøren og kommunikationsstrategien af Anker Brink Lund og Mia Nyegaard, Kommunernes Jubilæumsfond (2008) Markedsanalyse teknikker i praksis af Flemming Hansen m.fl, Børsen Bøger (1992) Strategisk kommunikation - kvalitetsstyring og måling af Helle Petersen, Samfundslitteratur (2002) Tema af Kommunikatøren: Måling af kommunikation, Dansk Kommunikationsforening (2007) The balanced Scorecard, Den oprindelige lancering af præstationsmålingsredskabet balanced scorecard, Kaplan, Robert og Robort Norton (1996) Tilrettelæggelse af information, Preben Sepstrup, Academica, 3. udgave (2007) Hjemmesider Tak for inspiration til Henriette Wiese fra Århus Kommune, Lone Aagaard Knudsen fra Odense Kommune og Kim Barren fra Svendborg! Spørgsmål eller kommentarer til temaguiden kan du rette til kommunikationskonsulent Ane Eggert anj@kl.dk ( ) 20