INDLEDNING OG MOTIVATION...

Transkript

1

2 Indholdsfortegnelse INDLEDNING OG MOTIVATION... 3 PROBLEMFELT... 3 PROBLEMFORMULERING... 4 ARBEJDSSPØRGSMÅL... 4 INFORMATIONSKAMPAGNER OG ADFÆRDSÆNDRING... 5 BEGREBSAFKLARING... 7 METODE... 9 PROJEKTETS OPBYGNING... 9 LITTERATURREVIEW AKTINDSIGT: UDVÆLGELSE AF KAMPAGNER OG AFGRÆNSNING MAPPING AF KAMPAGNER DET SEMISTRUKTUREREDE INTERVIEW Interviewguide VIDENSKABSTEORI LITTERATURREVIEW DEN LOGISKE MODEL FORMÅL OG MÅLSÆTNINGER INPUT AKTIVITETER OUTPUT OUTCOME OG IMPACT EVALUERINGSFORMÅL EVALUERINGSDESIGN: PRÆTEST-POSTTEST (PPC) KAB-MODELLEN (KNOWLEDGE, ATTITUDE & BEHAVIOR) ANALYSE KAMPAGNERNES FORMÅL, MÅLSÆTNINGER OG SUCCESKRITERIER Relationen mellem formål og målsætninger Målsætninger og succeskriterier EVALUERINGERNES POSTMÅLING Evalueringernes måling af output Evalueringernes måling af outcome Måling af outcome i kvantitative og kvalitative interviews Måling af adfærdsændring KAMPAGNEPRISER DELKONKLUSION DISKUSSION STYRELSERNES METODISKE FREMGANGSMÅDE MÅLSÆTNING OG SUCCESKRITERIER (SMART-MÅL) SPØRGESKEMAERNES FORMULERING MÅLINGER PÅ DE DIGITALE PLATFORME KAMPAGNENS INPUT TIL FORBEDRING AF EVALUERINGERNE FORMÅLET MED EVALUERINGER DE 5 RÅD METODEKRITISK REFLEKSION KONKLUSION PERSPEKTIVERING EN METAUNDERSØGELSE AF NUVÆRENDE TEORI OM EVALUERING

3 De syv hukommelsessynder Selvrapportering af højere kognitive processer Ukorrekt selvrapportering AFRUNDING LITTERATURLISTE BILAGSLISTE

4 Indledning og motivation De seneste fem år er der blevet brugt over 37 millioner kroner på 12 af de dyreste kommunikationskampagner foretaget af offentlige styrelser rettet mod forskellige målgrupper i samfundet (Bilag 2). Dog er der mange mindre kampagner, der ikke er medregnet i beløbet. Når der bruges så mange millioner om året på disse kampagner, er det relevant at stille spørgsmålstegn ved, om kampagnerne skaber den ønskede effekt, som styrelserne sigter efter, og om kampagnerne dermed er pengene værd. Svarene ligger umiddelbart i de evalueringsrapporter, som styrelserne får udarbejdet i forbindelse med kampagnerne. Her kan man læse sig til, hvilken målgruppe kampagnerne var henvendt til, hvor meget kampagnerne har kostet, og hvilke tiltag der er blevet implementeret i afviklingen af kampagnerne. Flere af evalueringsrapporterne er dog mangelfulde i deres udførelse både i de indledende faser i udarbejdelsen af kampagnerne og i selve udførelsen af evalueringernes målinger og vurderingen af disse resultater. Undersøges evalueringerne nærmere ses der i flere af rapporterne uoverensstemmelser mellem kampagnens overordnede formål og de aspekter ved kampagnen, som evalueringen rent faktisk belyser. Vores forundersøgelser i forbindelse med de offentlige kampagners evaluering gav derfor anledning til en undren om, hvorvidt evalueringerne sagligt formår at begrunde kausalitetsforholdet mellem kampagnerne og deres effekt. En problematik ved at bevise dette kausalitetsforhold fremgik hurtigt af disse indledende undersøgelser, hvor der i ingen af kampagnerne var et dokumenteret forhold mellem kampagnerne og effekten. Denne undren over validiteten i evalueringsarbejdet, nysgerrighed om hvordan evalueringsprocesserne egentlig forløber og idéen om muligheden i at forbinde en kampagneindsats med en adfærdsændring har udmøntet sig i følgende problemfelt. Problemfelt I dette projekt vil vi beskæftige os med 12 af de dyreste offentlige kampagner foretaget af offentlige styrelser i de seneste fem år samt de evalueringsrapporter styrelserne har udført i forbindelse med kampagnerne. Vi vil undersøge, hvilke problematikker der knytter sig til kampagneevaluering, og om nyere forskningen kan anvendes til at forbedre evalueringsprocessen hos de offentlige styrelser. 3

5 Undersøgelsen skal tage udgangspunkt i et mapping-skema, som kan belyse, hvorvidt der er nogle tendenser på tværs af kampagneevalueringerne. Formålet med at fremhæve eventuelle tendenser er, at det giver mulighed for at belyse kausalitetsforholdet mellem kampagnerne og deres effekt som vurderet i evalueringerne. Her inddrages den undersøgte litteratur for at give en forståelse af, hvordan denne sammenhæng kan forstås. Mere præcist ønsker vi at undersøge, hvorvidt kampagnernes overordnede formål stemmer overens med deres målsætninger. Vi ønsker afslutningsvis at diskutere, hvorvidt man kan optimere evalueringsprocessen ud fra de valgte kampagner og på baggrund af denne diskussion komme med 5 råd til styrelsernes fremtidige evalueringsarbejde. Problemformulering Hvordan evaluerer, dokumenterer og effektmåler de danske offentlige styrelser brugerrettede informations- og kommunikationskampagner, der har til hensigt at medføre en adfærdsændring, og hvordan er det muligt at optimere evalueringsprocessen? Arbejdsspørgsmål 1. Hvordan ser den nyeste forskning på kampagner og evaluering af disse, og hvilke begreber er nødvendige at definere i denne sammenhæng? 2. Hvordan er generel praksis for evaluering af offentlige kampagner i styrelserne, og hvad er formålet med evalueringerne? 3. Hvordan griber man på baggrund af analysens resultater en evaluering bedst an? 4

6 Informationskampagner og adfærdsændring I Danmark indgår borgerne en aftale om, at de anerkender statens ret til at sætte nogle begrænsninger og forme vores adfærd inden for nogle områder, hvor det er til vores eget bedste. En sådan samfundsstruktur kaldes for paternalisme, hvilket er et begreb, der defineres på følgende måde: Paternalism is the interference of a state or an individual with another person, against their will, and defended or motivated by a claim that the person interfered with will be better off or protected from harm. (Stanford Encyclopedia of Philosophy: ). Måden hvorpå denne paternalistiske struktur traditionelt set virkeliggøres er gennem vores lovgivning og beskatningssystem. Et system der er lavet ud fra forudsætningen, at mennesker handler rationelt og i overensstemmelse med deres egen interesse. Dette er dog et problem, da nyere forskning finder flere og flere beviser for, at mennesker oftest handler irrationelt (Korobkin & Ulen 2000: ). Udover at det nogle gange er ineffektivt, så er forbud og incitamentsstyring samtidig et indgreb, i form af en begrænsning, i borgernes rettigheder ligesom, at det er relativt omkostningstungt for staten at håndhæve den givne lovgivning. Man kan derfor med fordel kigge på andre alternative tilgange til adfærdsændring såsom kommunikationskampagner. Et eksempel på en situation hvor traditionel adfærdsændrende metoder, såsom lovgivning og incitamentsstyring, ville have været uhensigtsmæssigt, men hvor en kommunikativ kampagne lavet i slutningen af 90 erne havde stor succes var i forhold til spædbørns soveposition og risikoen for vuggedød. Problemet var, at forskning viste, at måden hvorpå et spædbarn blev positioneret, havde stor indflydelse på, hvor stor risikoen for vuggedød var. Dette blev Sundhedsstyrelsen i 1991 gjort opmærksom på, hvorefter de igangsatte en større informationskampagne. Kampagnen bestod i, at praktiserende læger og sundhedspersonale, såsom jordemødre, sygeplejersker, etc., blev instrueret i at informere nybagte forældre om tre simple råd, der havde indflydelse på risikoen for vuggedød. Disse tre råd var, at spædbørn ikke må sove på maven, ingen rygning under graviditeten samt at undgå at barnet overopheder, når det sover (Sundhedsstyrelsen: ). Kampagnen var en succes og frem til 1997 var tallene faldet fra 1.8 ud af 1000 til 0.3 ud af

7 Figur 1: SIDS-hyppigheden i Danmark, (Dansk Sygeplejeråd: ) Dette må siges at være et signifikant fald og fremstår som et eksempel på, at det er lykkedes informationskampagner at gøre en markant forskel uden brug af de traditionelle reguleringsformer. Vores begrundelse for at lave denne undersøgelse af evalueringerne af styrelsernes informationskampagner er derfor på det grundlag, at sådanne kampagner er en hensigtsmæssig og omkostningseffektiv måde at ændre samfundsproblematisk adfærd på. 6

8 Begrebsafklaring Kampagne For på bedste vis at kunne anmode om aktindsigt finder vi det essentielt at definere, hvad vi kategoriserer som en kampagne. Dette skal både strømline anmodningerne om aktindsigt hos de forskellige styrelser og sikre projektets udgangspunkt. Hertil har vi valgt at tage udgangspunkt i Preben Sepstrups definition: Kampagner fastlægges traditionelt som - planlagt kommunikation til - en afgrænset modtagergruppe - i en bestemt periode - med en helhed - af kommunikationsprodukter og - med et bestemt formål. (Sepstrup 2007: 20). For at præcisere afgrænsningen yderligere vælger vi at beskæftige os med offentlige brugerrettede kampagner, der har til hensigt at skabe adfærdsændringer. Med denne definition kan vi gennem projektet klart redegøre for, hvad vi anser som en kampagne, og hvad der menes, når vi bruger dette begreb. Evaluering Når vi i dette projekt beskæftiger os med begrebet evaluering bruges det i forståelsen: systematisk, faglig vurdering af fx en institutions formåen el. kvaliteten af et forløb (Sproget.dk: ). Vi er klar over, at vi gennem projektet bruger begrebet evaluering om situationer, hvor vi ikke selv mener, det lever op til vores definition, men for at skabe en ensartet beskrivelse af kampagnerne bruger vi evaluering, som begreb om de handlinger styrelserne foretager efter en kampagne er afsluttet. Input Inputs er både interne og eksterne faktorer, der spiller ind i forhold til at kunne gennemføre en kampagne. Aktiviteter Aktiviteter dækker over de interne handlinger i processen såsom at udvikle materiale til kampagnen og afholde møder. Output Output er de direkte resultater af en kampagnes inputs og aktiviteter såsom kommunikationsprodukter, indsatser og målgruppens deltagelse. Outcome Outcome er en forandring i viden, holdning og/eller adfærd hos det enkelte individ i den intenderede målgruppe. 7

9 Impact Impact er den længerevarende effekt af kampagnen. KAB-modellen (Knowledge, Attitude & Behavior) KAB-modellen er en metodisk tilgang til ændring af menneskelig adfærd baseret på forudsætningen, at information har en direkte adfærdsmæssig effekt. Måden, hvorpå dette sker, er igennem de tre faser: Viden, holdning og adfærd 1. Princippet bygger på, at et individ udsættes for ny viden om et emne, hvilket leder til en ændring i individets holdning om emnet, der i sidste ende resulterer i en adfærdsændring. 1 Vi vil gennem vores projekt bruge den danske oversættelse: viden, holdning og adfærd når vi bruger begreberne: Knowledge, attitude and behaviour 8

10 Metode I det følgende kapitel vil vi præsentere projektets metodiske tilgange. Kapitlet vil starte med en gennemgang af projektets opbygning. Derefter vil vi gennemgå, hvordan vi griber projektets litteraturreview an. Herefter vil vi redegøre for projektets metodiske udvælgelse af kampagnerne. Først hvordan vi vil sætte rammerne for anmodningen om aktindsigt samt bearbejdelsen af denne data. Herefter vil der følge en metodisk gennemgang af interviewet, og til sidst vil vi redegøre for projektets videnskabsteori. Projektets opbygning Ovenstående problemfelt og problemformulering har ført os til følgende projektdesign. I første del af projektet vil vi danne grundlaget for vores empiri. Vi vil lave et minilitteraturreview, der skal afdække dele af den forskning, der eksisterer inden for offentlige kampagner og evalueringsteori. Litteraturreviewet skal belyse de vigtigste teorier, begreber og problematikker indenfor feltet. Desuden vil vi foretage et semistruktureret interview med en ekspert indenfor kampagneprocesser i en af de danske styrelser, som kan bidrage med en dybere indsigt i kampagne- og evalueringsarbejdet. Til slut vil vi søge aktindsigt i alle styrelsernes kampagnemateriale, hvilket skal anvendes til mappingen i forbindelse med analysen. I anden del af projektet arbejder vi med at mappe alle de udvalgte kampagner ud fra en række parametre, der skal kortlægge, hvordan de forskellige kampagner er blevet evalueret. Mappingen skal anvendes til at danne overblik over tendenser i disse kampagneevalueringer til analytisk brug. Derfor efterfølges mappingen af en analyse der, på baggrund af såvel mappingen som interviewet, inddrager perspektiver fra litteraturreviewet til at belyse de problematikker, der opstår i forbindelse med kampagneevalueringerne. Tredje del af projektet tager udgangspunkt i analysens fremhævede problematikker, hvilket føres videre i en diskussion af, hvordan man bedst muligt kan gribe evalueringsarbejdet an ved at udarbejde 5 råd, som offentlige styrelser i fremtiden kan anvende i deres kampagne- og evalueringsarbejde. 9

11 Litteraturreview Et litteraturreview er en oversigt over den nyeste og vigtigste litteratur, der er blevet udgivet omkring et specifikt emne eller problemstilling. Formålet med at udføre et litteraturreview er at introducere læseren for den viden og de idéer, som er etableret indenfor det pågældende felt (Gould: ) I dette projekt vil vi derfor udføre et mini-litteraturreview, hvilket skal skabe et teoretisk fundament for projektets analyse. Selve litteratursøgningen guides af projektets problemformulering og problemfelt. Ud fra den samlede mængde af litteratur der behandler projektets problemfelt, vil vi udvælge en række tekster, der har størst relevans for projektets problemfelt, og bedst belyser dets problemformulering. Litteraturreviewet vil indeholde en redegørelse for de centrale pointer i de udvalgte artikler. Det vil løbende blive diskuteret, hvordan eksterne forholder sig forskelligt til de udvalgte teorier og begreber. Dette skal give et nuanceret billede af, hvordan litteraturen griber feltet omkring evaluering an (Gould: ). For en mere udførlig gennemgang af processen i vores litteraturreview se da Bilag 16. Aktindsigt: Udvælgelse af kampagner og afgrænsning Forud for anmodning om aktindsigt er det vigtigt at opsætte en række parametre for på denne måde at kunne skabe en ensartet indsamling af empiri, der bedst muligt kan bidrage med data til besvarelsen af vores problemformulering. Vi vælger i den forbindelse at beskæftige os med brugerrettede kampagner, det foregår på det individuelle niveau, hvor der sigtes mod ændringer af adfærd hos den enkelte. På dette grundlag afgrænser vi os derfor fra at beskæftige os med kampagner, der er målrettet kommuner eller andre offentlige institutioner samt private virksomheder. Vi søger dermed kampagner, der har til formål at ramme en større eller mindre del af den offentlige danske befolkning. For at afgrænse os selv yderligere har vi valgt at fokusere på kampagner udarbejdet for eller af danske styrelser, hvilket ligger i forlængelse af vores problemformulering. På baggrund af ovenstående afgrænsning, vil vi søge aktindsigt i alle styrelserne (Bilag 15). I første omgang søger vi aktindsigt i, hvilke kampagner der har været i perioden , og hvor meget de enkelte kampagner har kostet. Dette gør vi, da vi arbejder ud fra tesen om at jo 10

12 større et budget, jo større en kampagne og dermed et større budget til evalueringen. Når vi har modtaget listen med kampagnerne, der opfylder disse krav, vil vi ud fra det økonomiske aspekt udvælge de 12 største kampagner, hvorefter vi vil søge aktindsigt i evalueringerne vedrørende disse kampagner (Bilag 14). Vi har valgt at søge aktindsigt i evalueringen af 12 kampagner, da vi vurderede dette antal til at være tilstrækkelig i forhold til at kunne få et overblik over mulige tendenser og ikke så mange, at vi ikke vil kunne nå at komme nok i dybden med kampagnerne. Vi har i dette antal også taget højde for muligt frafald i det søgte materiale. Grundet projektets tidsbegrænsning har vi fundet det nødvendigt at fastsætte en deadline i forhold til styrelsernes svar på vores første aktindsigt angående budgetstørrelse. Dette skyldes, at vi efterfølgende skulle søge aktindsigt i de 12 udvalgte kampagner og evalueringsarbejdet af disse. Tidsbegrænsningen har medført et frafald i potentielle kampagner, der passer til vores projekt. Foruden dette har vi gennem vores aktindsigt erhvervet os en del kampagner, der endnu ikke er afsluttet. Disse kampagner har vi ligeledes valgt fra, da projektets omdrejningspunkt er evalueringerne af kampagnerne, der derfor kræver et afsluttet forløb. Hvis en kampagne gør brug af strukturelle ændringer, besværliggøres bevisførelsen af at fastsætte kausaliteten mellem årsag-virkningsforholdet, og sådanne kampagner er derfor også fravalgt (Rieper, 2004: 58). Her kan nævnes Digitaliseringsstyrelsens kampagne Digital Post , og hvordan de er gået over til Borger.dk som den eneste mulighed for kontakt med kommunen. Mapping af kampagner For at få et overblik over de indsamlede kampagners evalueringer vil vi udarbejde et mapping-skema, der skal kortlægge forskellige aspekter i kampagnernes evalueringer. Dette gør vi for at skabe et fundament for sammenligning og tydeliggøre eventuelle tendenser og abnormaliteter indenfor de forskellige kampagners evalueringer. Ved at opsætte en række målbare parametre kan vi skabe et komparativt fundament for bedre at kunne sammenligne den store mængde af data. I udarbejdelsen af disse parametre er det derfor vigtigt at skabe klare begrebsafklaringer for at undgå usikkerhed i vores definitioner på de anvendte begreber, og hvordan de er relevante i projektet. 11

13 Vi har opdelt parametrene i mappingen som følger: Generel information Kampagne Styrelse Evalueringsfirma Kampagneperiode Årstal Primær målgruppe og sekundær målgruppe Formål/succeskriterier Hovedmål/ønskede outcome Målsætninger Succeskriterier skrevet i forhold til KAB Succeskriterier specificeret Pris/budget Kampagnens pris Evalueringens pris/budget Procentdel af evalueringspris af samlet kampagnepris Evalueringsdesign Brug af præmåling og/eller postmåling Metode Respondenter Præmåling Samlet spørgsmål eksklusiv spørgsmål om demografi Andel om viden Andel om holdning Andel om adfærd Post og effektmåling Samlet spørgsmål (eksklusiv spørgsmål om demografi) Output spørgsmål 12

14 Outcome spørgsmål fordelt i KAB Procentdel af spørgsmål om adfærd Overblikket over kampagnernes generelle information såsom målgruppe og kommunikationsprodukter bruger vi for at kunne opnå et hurtigt overblik over kampagnerne. Pris og budget bruger vi som parametre for at kunne sammenholde kampagne- og evalueringsomkostningerne og se, hvilken procentdel af en kampagnes omkostning evalueringen udgør. Parametrene omkring kampagnens formål og succeskriterier bruger vi til at fastlægge, om en kampagne er til for at skabe en ændring i målgruppens viden, holdning eller adfærd. I parametrene under evalueringsdesign søger vi et overblik over hvilke metoder, der bliver brugt i præ- og postmåling for at tydeliggøre, om der er en hertil eksisterende praksis i de anvendte metoder. I forhold til målingerne ser vi på de udførte spørgeskemaer og interviews for at fastlægge, hvorvidt de stillede spørgsmål kan kategoriseres som værende videns-, holdnings- eller adfærdsbestemte ud fra vores definition af de tre begreber. I post- og effektmåling ser vi også på, hvor stor en del af spørgsmålene, der udgør et output- samt outcomeniveau fordelt i forhold til KAB (jf. KAB-modellen). Dette vil vise hvor stor en procentdel af de samlede spørgsmål, der har med adfærd at gøre. Hensigten med dette er for at kunne sammenholde udtrykte formål i evalueringen med det, som der bliver målt på for at se, hvorvidt der er sammenhæng. Det semistrukturerede interview For at underbygge denne empiri og for at få et dybere indblik i praksis omkring udarbejdelsen og evalueringen af kampagner, foretager vi et interview med Stine Flod Storgaard fra Sundhedsstyrelsen. Da interviewet skal fungere som et komparativt element i vores senere analyse og diskussion af de udvalgte kampagner, begrænser vi os til at interviewe en person, der har indblik i den arbejdsproces og praksis, der vedrører disse kampagner. Udvælgelsen af få interviews skaber en øget mulighed for at gennemanalysere den producerede data (Brinkmann & Tanggaard 2015: 32). Da vi kun interviewer én person, er det vigtigt, at vi i behandlingen af interviewet er bevidste om, at hendes udsagn ikke kan generaliseres på tværs af alle styrelser. Ved at vælge et interview giver det os muligheden for at have en løsere ramme for interviewet. Ved at udføre et semistruktureret interview kan vi udarbejde en spørgeramme for interviewet, der kan hjælpe os med at få indsamlet, den ønskede mængde data. Vi vil dog samtidig kunne forme interviewet, så vi kan tilpasse det til situationen og derved opnå de bedste resultater (Brinkmann & Tanggaard 2015: 37). Forinden interviewet har vi skabt os et over- 13

15 blik over den indsamlede empiri, vi har fra den styrelse, hvorfra vores informant stammer. Ved at skabe os dette overblik kan vi bedre danne grundlag for den vidensindsamling vi foretager i interviewsituationen (Brinkmann & Tanggaard 2015: 37-38). Måden vi vil strukturere vores interview, er ved at udforme en interviewguide, der vil tage udgangspunkt i vores forskningsspørgsmål (jf. Problemfelt). En af de største udfordringer i interviewet knytter sig til Stine Flod Storgaards position som ekspert. Som ekspert inden for sit felt vil Stine have en meget stor viden om sit område, men hun er samtidig nødt til at varetage sin egne og Sundhedsstyrelsens interesser, hvilket kan påvirke interviewet. Derfor er det vigtigt, at vi er ekstra forberedte til interviewet. Det er vigtigt at forstå, at ingen forskningsinterview er neutrale, men bestemmes en af de to parters dagsorden. Med det i baghovedet har vi dog prøvet at forholde os åbne (Brinkmann & Tanggaard 2015: 37). Interviewguide Interviewet vil starte med en række indledende spørgsmål. Dette har til formål at åbne op for informantens livsverden, der kan være med til at skabe et bedre indblik i vedkommendes arbejde (Brinkmann & Tanggaard 2015: 41). Derefter anvendes mere strukturerede spørgsmål. Dette skyldes, at vi, i vores tilgang til dataindsamling og i forbindelse med vores allerede indsamlede empiri, ønsker at skabe et fundament for sammenligning, hvorfor vi ønsker en mere struktureret tilgang til interviewet. Vi vil igennem interviewet dog være opmærksomme på situationer, hvor det kan være relevant at komme med opklarende spørgsmål. På denne måde kan vi allerede i interviewsituationen påbegynde bearbejdelsen af interviewet (Brinkmann & Tanggaard 2015: 42). Videnskabsteori Vi vil i dette afsnit redegøre for, hvilken videnskabsteori denne metodiske tilgang er forankret i. Hvor det at tilskrive sig en bestemt metode giver forskeren en række velbegrundede retningslinjer for, hvordan man bør gå til sin undersøgelse, så er den bagvedliggende videnskabsteori en række af argumenter for, at ens resultater siger noget meningsfuldt om det, de søger at forklare. I vores projekt søger vi efter en række faktorer, som skal gøre det muligt at vurdere, hvordan styrelserne dokumenterer deres evaluering, og hvordan de forsøger at lave bevisførelse for, at kampagnerne har haft effekt. Dette gør vi ved at indsamle og forholde os til det empiriske 14

16 materiale, som vi kortlægger i vores mapping. Vores fremgangsmåde er forankret i positivismen, hvor induktion og empiri er nøgleord (Fuglsang & Olsen 2009: 57). Induktion er den proces, hvor der generaliseres på baggrund af de observationer, man erfarer: Induktion er den slutningsregel, der tillader videnskabsmændene at opstille love for fænomenernes adfærd, idet induktion forstås som en generalisering fra singulære observationer og eksperimenter til generelle sammenhænge. (Fuglsang & Olsen 2009: 57). Formålet med mappingen er at sammenholde en stor mængde data i form af enkeltstående kampagner for at kunne udlede nogle generelle tendenser i deres evalueringsarbejde, som efterfølgende gøres til analysens omdrejningspunkt. Projektet lægger sig op ad den logiske positivisme, der udviklede sig i 1900-tallet, hvor der er lægges vægt på empiri som det centrale genstandsfelt for at bedrive videnskab. Det er dog med den forskel, at matematik og logik, der på trods af at de ikke er empirisk forankrede, er nødvendige værktøjer for at systematisere empirien (Fuglsang & Olsen 2009: 58-59). Udviklingen af den logiske positivisme markerede også samfundsvidenskabens inkludering i det ellers naturvidenskabelige dominerende paradigme: Samfundsvidenskaben bygger ikke på en særegen forståelse. Den er ligesom naturvidenskaben opbygget af udsagn om empiriske ting og deres forandringer. Ligesom naturvidenskaben skal samfundsvidenskaben altså søge at forklare lovmæssigheder, og dens metode er observation af menneskelig adfærd enkeltvis og i grupper. (Fuglsang & Olsen 2009: 64). Dette har betydning i forhold til vores projekt, da vores metode læner sig op af de samfundsvidenskabelige empiriske metoder for opnåelse af viden. Det er dog ikke entydigt, at vi i vores projekt tilskriver os den logiske positivismes meget stringente kriterier for, hvad der kvalificerer sig som videnskab. Nogle af vores udsagn vil ikke nødvendigvis være empirisk forankrede, men vil have en mere tolkende karakter. Der hvor vi tilskriver os den logiske positivisme er hovedsageligt i forhold til de krav, som vi søger at formulere, når det kommer til, hvorledes de offentlige styrelser bør måle på effektiviteten af deres kampagner. Vi har en kritisk tilgang til den data, som styrelserne på nuværende tidspunkt laver, som effektmåling såvel som de forslag vi udvikler til, hvordan denne kan gøres mere videnskabelig og kvalificeret gennem kvantificerbare metoder. 15

17 Litteraturreview I litteraturreviewet vil vi præsentere de begreber, emner og diskussioner, som er relevante i forbindelse med projektet. Som beskrevet i projektets metode har vi udvalgt en række forskningsartikler, som implementerer teorier og begreber, som vi kan operationalisere i forbindelse med analyserne. Vi vil beskæftige os med relationen mellem de forskellige stadier i en kampagneproces og deres betydning for hinanden. Der anvendes mange forskellige begreber og termer i litteraturen omkring evaluering, hvilket kan skabe forvirring. Derfor er et af formålene at tydeliggøre, hvad de forskellige begreber dækker over, og hvordan de skal anvendes inden for evaluering. Den logiske model Den logiske model (Se Figur 2) har til formål at afspejle sammenhængen mellem de forskellige stadier i processen i en kampagne og deres relationer. Den kan således bidrage til at forstå forholdet mellem de ressourcer, man har til rådighed, de aktiviteter man foretager sig og de resultater man ønsker at opnå (Little 2014: 121) Den er traditionelt set opdelt i følgende fem stadier: 1. Input: de medarbejder, organisatoriske, samfundsmæssige og økonomiske ressourcer som er tilgængelige i kampagnens implementering, samt under hvilke forhold at kampagnen udfoldes. 2. Aktiviteter: de aktiviteter som kampagnen afvikler og de kommunikationsprodukter som kampagnen udvikler. Der hvor processen sættes i gang. 3. Outputs: inkluderer antallet, typen og frekvensen af kampagnens aktiviteter og målgruppens deltagelsesrate. 4. Outcomes: Den specifikke eftertragtede ændring i målgruppens viden, holdning og adfærd. 5. Impact: Den længerevarende effekt af kampagnen. 16

18 Figur 2: Den logiske model Formål og målsætninger Inden man påbegynder stadierne i den logiske model, skal man først have defineret formålet med kampagnen. Man skal tidligt i planlægningen af en kampagne specificere, hvorvidt man ønsker ændring i viden, holdning eller adfærd. Det er derfor vigtigt, at dem der står for evalueringen af kampagnen arbejder tæt sammen med planlæggerne af kampagnen i de indledende faser for at sikre, at der udarbejdes målbare mål, der definerer, de ønskede outcomes indenfor hver fase: viden, holdning, adfærd. Dette gør det muligt for dem der evaluerer at udarbejde en plan for, hvordan de skal vurdere kampagnens outcome (Randolph et. al 2012: 352). Priya Bahri taler om SMART-mål i forbindelse med kommunikation af information (Bahri 2010: 1068). Selvom modellen ikke decideret tager udgangspunkt i kommunikationskampagner, kan den alligevel anvendes til at klargøre, hvad man i udviklingen af en kampagne bør have for øje i forbindelse med målsætninger. Der er fem trin i SMART-modellen: 1. Specifikt - Det er vigtigt at målet er specifikt, og at det er meget tydeligt defineret, hvad man ønsker at opnå med målet, og hvordan man vil opnå det. 2. Målbart - Det skal være let at konkludere, hvornår du har nået dit mål, derfor skal der opsættes nogle målbare succeskriterier fra start. 17

19 3. Attraktivt - Målet skal være attraktivt, så man er motiveret til at nå det. 4. Realistisk - Man skal tro på, at målet er opnåeligt. Herunder skal man også overveje om man har de nødvendige ressourcer til at nå målet. 5. Tidsbestemt - Der skal være en specifik og realistisk dato for at have nået sit mål. Det er samtidig også vigtigt med tidsbestemte deadlines løbende blandt andet for, hvornår man skal følge op på og justere sine mål. Input Der findes variationer i definitionen af inputs, men de fleste anvender dog en betegnelse for inputs i en eller anden forstand som led i en planlægnings- og evalueringsproces. En social værdikæde består af flere forskellige led, som giver muligheden for at evaluere performance på forskellige stadier samt effectiveness på det sidste stadie. Det første stadie omfatter inputs i form af: funds, equipment, time, expertise (Liket et al. 2014: 175). Det første skridt i denne model er at afgøre, hvilke faktorer der gør sig gældende, og hvilke ressourcer man har til rådighed. Eksempler på disse tyder på, at Little opfatter første skridt mere eller mindre som omfattende de samme elementer, som Liket et al. henviser til i første del af den sociale værdikæde. Faktorer og ressourcer omfatter følgende: the human, organizational, community, and financial resources available ( ) as well as the conditions under which a program operates (Little 2014: 121). Altså er der en mere eller mindre gensidig definition af inputs (hos Little benævnt faktorer og ressourcer). Little uddyber dog inputs til også at omfatte barrierer, hvilket synes relevant, da det påvirker i hvor høj en grad, der er mulighed for at implementere en kampagne. Her er det også vigtigt at tage hensyn til omstændigheder i samfundet, og hvilket behov der er for kampagnen blandt målgruppen (Little 2014: ). For bedre at forstå hvordan inputs i praksis registreres, tilbyder de Vlaming et al. en forståelse heraf som værende knyttet til den enkelte medarbejder, og derfor skal disse registrere (...) time investment, allocated resources, costs, organizational issues, and contact administration., som er betydningsfulde for at udvikle kampagnens efterfølgende aktiviteter (de Vlaming et al. 2010: 6). De har altså mindre fokus på eksterne faktorer og ressourcer og vender blikket mere indad i deres definition af væsentlige inputs til et evalueringsdesign. Som det fremgår er der ikke de store forskelle i defineringen af inputs. Dette pointeres af Jim Macna- 18

20 mara som mener, at der generelt ikke eksisterer en diskussion af forskellige led i PR evalueringsmodeller udover i videnskabelig litteratur (Macnamara 2014: 21). Inputs er dermed interne og eksterne faktorer, der spiller ind i forhold til at kunne gennemføre en kampagne. Internt i en organisation kan det eksempelvis være, hvorvidt man har de fornødne ressourcer såsom økonomi og medarbejdere til at gennemføre kampagnen. Eksternt kan det være, hvorvidt der er faktorer og barrierer hos målgruppen eller i samfundet, der har betydning i forhold til at nå den intenderede målgruppe. Aktiviteter Det efterfølgende led i Littles logiske model omfatter de aktiviteter, der udføres i forbindelse med kampagnens: (...) interventions and services (...) (Little 2014: 121). Mere uddybet kan disse aktiviteter opdeles i følgende kategorier: produkter, ydelser og infrastruktur - omfattende alt fra produceret materiale, til udbudte aktiviteter, som målgruppen kan deltage i til intern kvalitetssikring (Little 2014: 122). Det er væsentligt at disse aktiviteter implementeres korrekt i kampagnen således, at de lever op til, de ønskede outcomes. Her pointerer Little, at det er vigtigt at have fokus på omstændighederne i samfundet, den specifikke målgruppes behov samt mulige ressourcer, altså inputs, for at sikre en sådan implementering (Little 2014: 124). Hun skaber dermed en tydelig forståelse af afhængighedsforholdet mellem det første led (inputs) og det andet led (aktiviteter). De Vlaming et al. retter fokus mod sammenhængen mellem interventionsaktiviteter og målgrupper. De opdeler målgrupper i undergrupper, hvor aktiviteter rettes imod henholdsvis den primære og den sekundære gruppe (de Vlaming et al. 2010: 2). De Vlaming et al. anvender som Little en logisk model til at guide evalueringsprocessen. Her fremgår det, at der er en kausal sammenhæng mellem aktiviteter og outcomes, når man arbejder med den primære målgruppe og de opstillede mål for denne (de Vlaming et al. 2010: 4). Yderligere pointeres vigtigheden i, at de planlagte aktiviteter registreres af deltagerne i planlægningen af kampagnen, efterhånden som de udføres således, at man får mulighed for at erfare, hvilke af aktiviteterne der reelt er udført. Det kan eksempelvis være, hvor mange artikler der er trykt, hvor mange møder der er afholdt og lignende (de Vlaming et al. 2010: 6). Dette aspekt hører sammen med næste afsnit om outputs. Udover at registrere selve aktiviteten undersøges også nogle forhold omkring disse, eksempelvis hvilken målgruppe aktiviteten var rettet imod, den primære eller den sekundære, og hvad formålet med aktiviteten var (de Vla- 19

21 ming et al. 2010: 6). Aktiviteter dækker dermed over de interne handlinger i processen såsom at udvikle materiale til kampagnen. Output I Littles artikel defineres outputs som de direkte resultater af kampagnens input og aktiviteter. Outputs kan inkludere antallet, typen og frekvensen af kommunikationsindsatser, og hvor mange der har set og oplevet kampagnen. Eksempelvis kan en aktivitet bestående af en Facebook-side skabe outputs i form af statusopdateringer. Når de ønskede outcomes er blevet defineret, kan de kampagneansvarlige fastlægge hvilke ressourcer, aktiviteter og outputs, der skal lede mod kampagnens ønskede outcomes (Little 2014: 124). I artiklen fra Liket et al. fremhæves det, at en kampagnes output kan besvare både reporterende og lærende spørgsmål, der har en henholdsvis opsummerende og dannende karakter. I Liket et. al.s optik er det dermed muligt at stille en række interessante og lærerige evalueringsspørgsmål til en kampagnes output, som kan forbedre fremtidige kampagneinitiativer. Det handler dermed om at stille de rigtige spørgsmål (Liket et al. 2014: 175). Som nævnt hos de Vlaming et al. er registreringen af en kampagnes aktiviteter vigtig i forhold til evalueringsprocessen, men denne del af evalueringen kan tjene flere forskellige formål. Hos Little handler dokumenteringen af en kampagnes output primært om, at de kampagneansvarlige skal være i stand til at beskrive og forklare, hvad resultaterne af deres input og gennemførte aktiviteter har medført (Little 2014: ). At monitorere en kampagnes aktiviteter kan ydermere hjælpe med at forstå om den tilsigtede målgruppe nås med kampagnen, og dermed kommer i kontakt med kampagnens budskab (Little 2014: ). Littles fokus på dokumentering af kampagnens output skyldes, at der gennemgående i artiklen lægges vægt på de kampagneansvarliges forpligtigelse overfor dem, som har udstedt kampagnens overordnede formål. Helt basalt er Liket et al. og Little enige om, hvordan outputs defineres, og hvordan de indgår i kampagneprocessen. De vægter dog forskelligt, hvilken rolle disse outputs spiller i evalueringen af kampagnen. Output er dermed de direkte resultater af en kampagnens inputs og aktiviteter såsom kommunikationsprodukter, indsatser og målgruppens deltagelse. 20

22 Outcome og impact Som beskrevet i kapitlets indledning kan de problemer, der knytter sig til evalueringsarbejdet detekteres helt ned til begrebsniveau. Hos Liket et al. beskrives det, hvordan der hersker forvirring omkring konceptualiseringen og distinktionen mellem begreberne outcome og effect/impact: What some funders refer to as outcomes, others call impact. Where some understand impact to refer to achieving the immediate goals of projects, programs, or the organization, others regard impact from a societal perspective and focus on community or societal level changes (Liket et al. 2014: ). Little beskriver outcomes som en forandring i viden, holdning eller adfærd på individniveau hos kampagnens intenderede målgruppe. Outcome er dermed forbundet med kampagnens formål, og skal i teorien bekræfte om kampagnen har haft nogen effekt hos sin målgruppe. Ifølge Seth M. Noar er bevisførelsen for årsagssammenhængen mellem, at en person bliver eksponeret for en kampagne og ændrer sin holdning, som resultatet af dette, et af målingernes helt store udfordringer (Noar 2009: 9). Derfor bør man ifølge Little i sin kampagneplanlægning starte med slutningen. Det vil sige, at selvom den logiske model præsenterer processen som en lineær fremadskridende proces, der bevæger sig fra input til impact, så må kampagnen nødvendigvis begynde med at organisationen adresserer spørgsmålet om hvilke outcomes og impacts, de ønsker at skabe (jf. Formål og målsætninger). Selvom McNamara arbejder i et Public Relations perspektiv i forhold til måling og evaluering, er nogle af hans betragtninger stadig gyldige for vores projekt. Det, som figurerer som outcome i McNamaras artikel, kan med fordel oversættes til det stadie i den logiske model, der kaldes impact. Ifølge McNamara kræver dét at kunne identificere de kognitive, emotionelle og kulturelle faktorer, som forbindes til outcomes som eksempelvis ændringer i holdning og adfærd, som sædvanligvis opstår over længere tid og som et resultat af flere indflydelser, kræver avancerede kvalitative metoder som længerevarende interviewbaserede studier og etnografi (McNamara 2014: 24). McNamara fremhæver her de problematikker, som knytter sig til vanskeligheden ved at måle og evaluere den længerevarende effekt hos den intenderede målgruppe. Hos de Vlaming et al. opdeles outcome-stadiet i short-term, mid-term og longterm outcomes (de Vlaming et al. 2010: 9) Oftest vil evalueringen fokusere på short-term outcomes, da evalueringen primært foretages kort tid efter kampagnens afslutning. 21

23 Outcome er dermed en forandring i viden, holdning eller adfærd hos det enkelte individ i den intenderede målgruppe. Impact er den længerevarende effekt af kampagnen. Evalueringsformål Som skrevet i afsnittet om formål og målsætninger, udarbejdes en kampagne på baggrund af et overordnet formål, som kampagnen skal arbejde mod, og som dermed er med til at styre hele arbejdsprocessen fra start til slut. En kampagnes evaluering skal ligeledes styres af et formål, da dette giver evalueringen retning og bidrager til evalueringens anvendelighed og nytteværdi (Liket et al. 2014: 175). Samarbejdet mellem offentlige organisationer og deres interessenter er ligeledes væsentlig, når man designer og gennemfører evalueringer, da der skal herske enighed om, hvilket udbytte som evalueringen skal udføres på baggrund af. Der er dog en række hindringer for en effektiv kommunikation i denne samarbejdsproces. Nogle af de væsentligste problemer er konceptuelle forvirringer, parternes forskellige overbevisninger om, hvor stor en mængde data der skal indsamles og mangel på klarhed omkring valg af evalueringsmetoder. Liket et al. siger, at der ikke findes nogle praktiske rammer eller værktøjer, der definerer tydeligt og forklarer sammenhængen mellem målene for evaluering og dataindsamling, som kunne hjælpe offentlige organisationer og deres interessenter i deres samarbejde om evalueringsdesign og implementeringsproces (Liket et al. 2014: 172). Grunden til at mange offentlige organisationer ikke har gennemført evalueringer, der er nyttige for deres strategiske beslutningstagning, skyldes i høj grad deres mangel på deltagelse i evalueringsprocessen (Liket et al. 2014: 184). Formålet med at evaluere kan som sagt differentiere afhængigt af hvilke af kampagnens interessenter, du spørger (Liket et al. 2014: 175). Ofte foretager offentlige organisationer evalueringer, fordi de står til ansvar over for finansieringskilderne eller offentligheden. Disse interessenter har ofte hver deres mening om, hvad effekten af gennemførelse af en evaluering er og hvilke evalueringsmetoder, der skal bruges. Det kan komplicere processen, når de offentlige organisationer skal forhandle med deres interessenter omkring formål og udformning af evalueringen (Liket et al. 2014: 184). 22

24 Evalueringsdesign: Prætest-posttest (PPC) Ifølge Noar findes der mange forskellige designs til evaluering af kommunikationskampagner. Det afhænger af det valgte evalueringsdesign i hvor høj grad, man kan føre bevis for kausaliteten mellem kampagnen og outcomes (Noar 2009: 5). Det er oftest prætest-posttest-designet 2 også kendt som et PPC-design (pretest-posttestcontrol), som forekommer meget intuitiv i sin udformning, der bliver anvendt i evalueringen af det, som de Vlaming kalder komplekse interventioners overordnede effekt (de Vlaming et al. 2010: 4). De kampagner som behandles i dette projekt, vil kunne kategoriseres som komplekse interventioner. Anvendes dette evalueringsdesign i forbindelse med en kampagne, påbegyndes processen ved, at prætesten vurderer niveauet af viden, holdning og adfærd hos den intenderede målgruppe. Derefter afvikles kampagnen, og til sidst foretages der en række posttests, der kan sammenholdes med prætestens resultater. Sådan et design består primært i at udvælge sig to grupper, som testes henholdsvis inden og efter interventionsforløbet. Scott B. Morris kalder disse to grupper for henholdsvis behandlingsgruppen og kontrolgruppen (Morris 2008: 365). PPC-designet giver mulighed for at kontrollere forskelle mellem de to grupper, inden fasen med selve interventionen påbegyndes så problemet, der ellers kan knytte sig hertil, mindskes. Det vil sige, at man bedre kan vurdere effekten af interventionen. Hvis man eksempelvis anvender et udelukkende posttest-design, risikerer man at overse disse forskelle, som kan påvirke resultatet således, at der ikke eksisterer den samme sikkerhed omkring interventionens effekt (Morris 2008: 365). Nogle anvender en anden type PPC-design, hvor der ikke udvælges en kontrolgruppe, men udføres præ- og posttest af behandlingsgruppen (SGPP - Singel Group Pre Post). At måle et outcome på baggrund af et sådant design giver ikke i samme grad sikkerhed for, at de resultater man får kan tilskrives interventionen. Derimod kan andre faktorer have ledt til den ændring, der erfares at være (Morris et al. 2008: 365). Derfor argumenterer Morris for, at PPC-designet sikrer den største metodiske validitet, da det muliggør kontrol af allerede eksisterende forskelle i grupperne samt udelukker påvirkning af resultatet fra andre faktorer (Morris 2008: 365). Noars artikel underbygger argumentet for at inkludere en kontrolgruppe yderligere ved at påpege den fejlslutning, der kan ske, hvis der ikke findes en for- 2 Vi bruger i resten af opgaven begreberne præ- og postmåling, om det vi i dette afsnit definerer som præ- og posttest 23

25 andring fra før og efter kampagnens afvikling. Så vil den umiddelbare konklusionen være, at kampagnen ingen effekt havde. Uanset om kampagnen vurderes til at have skabt ingen eller nogen effekt, så kan der måske findes en alternativ forklaring. Eksempelvis en kampagne som har ændret ved en målgruppes adfærd, ved at mindske det faldende forbrug af kondomer til en flad kurve, ville på mange måder være en succes, men i konteksten af præ- og posttestdesignet vil kampagnen næsten med sikkerhed blive (fejlagtigt) bedømt som mislykket. Dette skyldes, at det ikke er muligt at vide om den trend ville have foresat, og at anvendelsen af kondomer ville aftage yderligere. Noars overordnede pointe er her, at antagelsen om at adfærd er stabil i fraværet af den pågældende kampagne, der evalueres ofte er en ugyldig antagelse. Tilknytningen til en ekstern kontrolgruppe kan dermed være med til at kvalificere evalueringen af kampagnen (Noar 2009: 6-7). KAB-modellen (Knowledge, Attitude & Behavior) I den videnskabelige artikel Are Current Health Behavioral Change Models Helpful in Guiding Prevention of Weight Gain Efforts? beskriver Tom Baranowski et al., hvilken rolle information har i forhold til adfærd beskrevet ud fra en analyse af reducering af fedme i samfundet. Fra denne artikel lægger vi særligt vægt på KAB-modellen, der er en metodisk tilgang til ændring af menneskelig adfærd baseret på forudsætningen, at information har en direkte adfærdsmæssig effekt (Baranowski et al 2003: 25s). Måden hvorpå dette sker er igennem de tre faser: Viden, holdning og adfærd. Figur 3: KAB-modellen Den ovenstående figur illustrerer modellen på en simpel og overskuelig måde. Princippet bygger på, at et individ udsættes for ny viden om et emne, hvilket leder til en ændring i individets holdning om emnet, der i sidste ende resulterer i en adfærdsændring (Baranowski et al 2003: 25s). 24

26 I artiklen beskrives det, hvordan KAB-modellen bliver benyttet inden for området omkring ernæring og fedme, men at modellens videnskabelige fundament er meget ringe. Problematikken ligger i, at information som begreb ikke er klart nok defineret. Ydermere viser forskning at selv om individer, får en større viden om et felt, medfører det ikke nødvendigvis en adfærdsændring: Thus, knowledge may be integrated into larger conceptual frameworks to help provide some understanding of the process or mechanism of change, but increasing knowledge by itself does not seem to be useful in promoting behavioral change. (Baranowski et al 2003: 26s). Afslutningsvis beskrives der i denne artikel, hvordan målinger af adfærd er noget, der skal prioriteres, hvis det skal være muligt at finde frem til måder, hvorpå dette gøres mere effektivt (i modsætning til KAB-modellen) (Baranowski et al 2003: 38s). Hvor den ovenstående artikel forholder sig kritisk til KAB-modellen, finder man en mindre negativ holdning til denne i artiklen The Knowledge, Attitudes, & Behaviors Approach How to Evaluate Performance and Learning in Complex Environments af de amerikanske professorer P.G. Schrader og Kimberly A. Lawless. Artiklen beskriver, hvordan målinger af henholdsvis viden, holdning og adfærd foregår rent praktisk og nogle af de problematikker, som man skal tage forbehold for i målinger af disse. Et eksempel finder man i deres gennemgang af, hvilken praksis der findes inden for måling af viden. Her nævner de, at selvrapportering ofte bliver benyttet grundet, at det er relativt nemt at udføre, og at det er omkostningseffektivt (Schrader & Lawless 2004: 9). Denne tilgang medfører dog en masse problemer, når det kommer til folks evner til at give et præcist udtryk for deres vidensniveau. Dette er en generel regel, ifølge artiklen, i alle former for målinger af vidensniveau, da viden er af en særdeles uhåndgribelig karakter (Schrader & Lawless 2004: 9-10). Der skal knyttes den bemærkning, at Schrader og Lawless beskriver KAB-modellen ud fra et uddannelsesperspektiv. Dette mener vi, dog stadig har betydning i forhold til styrelsernes kampagner, da de ofte har den funktion at uddanne den intenderede målgruppe. På det grundlag er viden, ifølge Schrader og Lawless, ofte også den eneste faktor, der kan måles på men med et kritisk forbehold: If we cannot be assured that we are measuring what we purport to measure and do so consistently across and within subjects, then we can make no claims about the effectiveness of our interventions. (Schrader og Lawless 2004: 10). 25

27 Holdning er ligeledes en problematisk størrelse at måle på. Konklusioner om kausaliteten mellem holdning og adfærd problematiseres grundet, at holdning ofte er bundet op på individet såvel som det miljø, personen bevæger sig i. Dette kan gøre det svært at finde en faktor at måle på, og mange forskere kæmper med at overkomme denne kendsgerning: Issues with evaluating attitudes are both compelling and frustrating. (Schrader og Lawless 2004: 11). Adfærd måles som udgangspunkt på baggrund af observationer, hvilket er typisk inden for det psykologiske felt, men hvor dette ikke altid er muligt, benyttes der andre metoder. Selvrapportering er, ifølge artiklen, den metode der oftest benyttes som alternativ til observation (Schrader og Lawless 2004: 11). Det er bemærkelsesværdigt, at Schrader og Lawless ikke lægger særlig vægt på farerne for fejlberegninger i målingen af adfærd, men dette skyldes muligvis, at deres primære fokus i artiklen ligger på vidensdelen af KAB-modellen. I udførelsen af en KAB-analyse er det vigtigt at holde for øje, at forskning har vist, at bevægelsen fra viden til adfærd ikke blot går en retning, men at viden, holdning og adfærd påvirker hinanden i hver deres retning. Eksempelvis kan en holdning have indflydelse på, hvordan stor opmærksomhed et individ tillægger et emne og derved påvirke, hvor meget ny viden individet opnår (Schrader og Lawless 2004: 11-12). På trods af den kompleksitet, der er forbundet med målinger af viden, holdning og adfærd, giver Schrader og Lawless udtryk for de fordele, som det ville bidrage med i forhold til uddannelse, at der forskes mere inden for målbarheden i KAB-modellen: The KAB approach summarized in this article is one promising method for examining such changes and isolating the outcomes that will lead to instructional improvement in any arena of human performance. (Schrader og Lawless 2004: 13). 26

28 Analyse Følgende kapitel i projektet er en analyse af, hvordan de offentlige styrelser dokumenterer og udfører evaluering af deres kampagner og de problematikker, som knytter sig dertil. Analysen hviler på den information, som er blevet tilgængelig på baggrund af interviewet og mappingen, som vi har foretaget af kampagnerne. Analysens afsnit er bygget op omkring de forskellige elementer i den logiske model i henhold til deres betydning for evalueringen af kampagnerne. Projektets analyse er inddelt i to dele. Første del af analysen omhandler det indledende arbejde, som ligger forud for evalueringen, men som danner fundamentet for både en vellykket kampagne og efterfølgende evaluering. Analysen vil derfor omhandle kampagnernes udarbejdelse af formål, målsætninger og succeskriterier. I anden del af analysen vil vi analysere evalueringen af kampagnernes postmålinger i forhold til output og outcome. Afslutningvis kigger vi nærmere på kampagnerne fra et økonomisk perspektiv. Her er vi særligt interesseret i hvor mange ressourcer, der tildeles evalueringsarbejdet i forhold til kampagnens totalpris, og om dette har nogen signifikant betydning for evalueringerne. Kampagnernes formål, målsætninger og succeskriterier I første del af analysen vil vi belyse, hvilke generelle tendenser og problematikker der knytter sig til formål, målsætninger og succeskriterier i de udvalgte kampagner og deres evalueringer. Formuleringen af de overordnede formål er med til at sætte retningen for kampagnen og klargøre, om der ønskes en effekt på henholdsvis videns-, holdnings eller adfærdsniveau. At sætte målsætninger for ens kampagne gør det tydeligt for de involverede parter, hvad der decideret ønskes at opnås med kampagnen. Målsætningerne bør derudover udarbejdes efter de fem SMART-mål. Et andet vigtigt led i SMART-modellen er opsætningen af succeskriterier, der gør det muligt at konkludere, om ens kampagne har været en succes (jf. Formål og målsætninger). Vi finder det relevant at belyse disse aspekter ved kampagnerne, da litteraturreviewet fremhævede vigtigheden af, at kampagner i deres opstartsfase opsætter klare målsætninger og succeskriterier, da disse danner fundamentet for evalueringsarbejdet. Den følgende analyse vil derfor med udgangspunkt i vores interview og mapping omhandle hvordan formål, målsæt- 27