Dokumentation af de kommunale forebyggelsesopgaver. en pragmatisk tilgang

Dokumentation af de kommunale forebyggelsesopgaver en pragmatisk tilgang

Dokumentation af de kommunale forebyggelsesopgaver en pragmatisk tilgang

en pragmatisk tilgang Kommuneinformation A/S 2008 KL 1. udgave, 1. oplag 2008 Pjecen er udarbejdet af KL Forlagsredaktion: Lone Kjær Knudsen Design: Kontrapunkt Sats: Kommuneinformation A/S Tryk: Frederiksberg Bogtrykkeri A/S Forsidefoto: Ole Jensen, www.photos4you.dk Prod.nr. 816533 Prod.nr. 816533-pdf ISBN 978-87-92002-55-6 ISBN 978-87-92002-56-3-pdf KL Weidekampsgade 10 2300 København S Tlf. 33 70 33 70 www.kl.dk Mekanisk, fotografisk eller anden gengivelse eller mangfoldiggørelse af denne bog eller dele heraf er uden KL s skriftlige samtykke ikke tilladt ifølge gældende dansk lov om ophavsret. Undtaget herfra er korte uddrag til brug i anmeldelser.

Indhold 5 1. Indledning 9 2. Særlige dokumentationsudfordringer på forebyggelsesområdet 12 3. Dokumentationsmetoder 17 4. Effektevaluering 26 5. Cost-benefit-analyser 29 6. Antal målepunkter og måletidspunkter 33 7. Særlige evalueringsmetoder med fokus på læring 37 8. IT-understøttelse 38 9. Hvor findes der mere viden om evalueringsmetoder 3

1. Indledning Det er vigtigt, at kommunerne dokumenterer og evaluerer de indsatser, som sættes i gang på forebyggelsesområdet først og fremmest fordi, dokumentation er en forudsætning for en kvalificeret løbende kvalitetsudvikling af de kommunale tilbud. Dokumentation er også vigtig i forhold til den vidensudvikling, som der er behov for på forebyggelsesområdet. Der er generelt for lidt viden om, hvordan man får folk til at ændre adfærd i en mere sund retning. Der er derfor behov for at generere viden, der viser, hvordan man i en kommunal kontekst får lavet de bedste tilbud. Hvordan udnyttes fx bedst det potentiale, kommunerne har for at forankre sundhed bredt i forskellige forvaltninger og institutioner? Formålet med denne publikation er at inspirere kommunerne til, hvordan de kan arbejde med dokumentation af de kommunale forebyggelsesopgaver. Publikationen gennemgår de mange forskellige måder at dokumentere og evaluere på men ud fra en pragmatisk tilgang. Det betyder, at arbejdet med dokumentation skal være relevant og overkommeligt set ud fra en kommunal synsvinkel. Målgruppen for publikationen er primært ledere og medarbejdere på forebyggelsesområdet, men vil også være relevant for fx centrale analyseenheder i kommunen. Denne publikation har i en tidligere version været tilgængelig på www.kl.dk. Publikationen er blevet revideret i forbindelse med denne udgivelse. 1.1. Definitioner og anbefalinger Evalueringslitteraturen er stor og mangfoldig. Forskellige metoders relevans vil afhænge af, hvad målsætningen og ambitionsniveauet er i forhold til en konkret evaluering. Denne publikation skitserer de særlige dokumentationsudfordringer, der er i forhold til forebyggelse og sundhedsfremme, og 5

gennemgår en række metodiske problemstillinger, der er relevante at tage stilling til i forhold til dokumentation og evaluering af en kommunes indsats på sundhedsområdet. Definition af dokumentation og evaluering Dokumentation er at fastslå ved hjælp af (især skriftlige) beviser. Evaluering er at foretage en vurdering. Kilde: Gyldendals Fremmedordbog I daglig tale omfatter dokumentation ofte enhver form for faktuelt materiale: statistik, rapporter og redegørelser, forskning og cases (på skrift, i lyd eller i billeder). I publikationen benyttes begrebet dokumentation som en samlet betegnelse for alle de relevante metoder, som kan anvendes til at synliggøre den kommunale forebyggelsesindsats. Evaluering er naturligvis en helt central metode i denne sammenhæng, fordi formålet her er at vurdere en given forebyggelsesindsats, og derved skabe viden og læring. Der vil blive lagt særlig på, hvordan effekten af sundhedsindsatser kan dokumenteres. Her vil der blive givet nogle konkrete anbefalinger til, hvordan der hensigtsmæssigt kan arbejdes med dokumentation. Endeligt er der et særskilt afsnit, der skitserer, hvorledes dokumentation kan bruges med henblik på læring dvs. som en del af det lokale kvalitetsarbejde. I publikationen indgår eksempler på, hvordan en række kommuner har arbejdet med dokumentation. Eksemplerne er ikke et udtryk for den rigtige måde at dokumentere på, men giver et indtryk af, hvordan netop disse kommuner har taget udfordringerne op. De vigtigste anbefalinger i dokumentet er sammenfattet i følgende tekstboks: 6

KL s 10 dokumentationsanbefalinger i forhold til de kommunale forebyggelsesopgaver 1. Kommunens behov bør være i centrum for dokumentationsindsatsen 2. Dokumentationsindsatsen skal være omkostningseffektiv værdien skal stå mål med de ressourcer, som anvendes 3. Der bør som minimum ske en monitorering af indsatsen på sundhedsområdet i form af løbende registrering af nøgletal 4. Feedback på en monitorering til udførerledet fremmer en løbende læringsproces 5. Der bør så vidt muligt indtænkes effektmålinger i dokumentationsarbejdet effektmålinger kræver, at der er sket en før-måling/ baseline-måling, og dokumentation skal derfor indtænkes allerede i planlægningsfasen 6. Som udgangspunkt anbefales egentlige RCT-studier kun gennemført i begrænset omfang i kommunerne 7. Der er behov for udvikling af standarder hvis kommunerne anvender de samme typer af målinger, er sammenligninger mulige 8. I det omfang kommunerne vil bidrage til forskning på området, anbefales det, at det sker i samspil med forskere 9. Kommunerne kan med fordel danne netværk omkring konkrete indsatser, hvor der opnås enighed om, hvordan en indsats skal registreres. Debat vil da kunne foregå med udgangspunkt i sammenlignelige nøgletal 10. Der skal findes en IT-platform for registrering af data programmer som Excell, SPSS eller SAS kan være tilstrækkelige i begyndelsen Udgangspunktet for de anbefalinger, der gives i publikationen er en pragmatisk tilgang til evaluering og dokumentation. En pragmatisk tilgang lægger for det første ikke op til, at kommunerne skal leve op til høje forskningsmæssige standarder. I det omfang, kommunerne skal medvirke til forskning på området anbefales det, at det sker i et samarbejde med forskere. Læs mere herom i publikationen Brug af evidens i det kommunale forebyggelsesarbejde og på www.kl.dk/sundhedsdokumentation. 7

En pragmatisk tilgang indebærer for det andet, at dokumentationsindsatsen skal være omkostningseffektiv dvs. at dokumentationsværdien står mål med de ressourcer, som anvendes på den. Det bør vurderes, hvor stor en del af såvel tid som penge, det er relevant at bruge på dokumentationsopgaver frem for andre typer opgaver. Helt konkret er det fx væsentligt at forholde sig til antallet af målepunkter, se afsnit 6. Endelig indebærer den pragmatiske tilgang, at det er kommunens behov, der er i centrum for dokumentationsindsatsen. Det vil sige den dokumentation, der skal til, for at kommunen på en fornuftig måde kan styre og kvalitetsudvikle sine tilbud på sundhedsområdet. Fokus på kvalitetsudvikling betyder fx, at det bør indtænkes i dokumentationsindsatsen, hvordan den kan bidrage til læring, se afsnit 7. Andre aktører f.eks. staten og forskere kan også have ønsker til kommunernes dokumentationsindsats på området. Staten stiller på nuværende tidspunkt kun begrænsede krav til dokumentation af de kommunale sundhedsopgaver. Der er dog krav til registrering af aktiviteten i hjemmesygeplejen, børnetandplejen og sundhedsplejen, samt på genoptræningsområdet. Herudover er der er særlige dokumentationskrav for de kommuner, der modtager forskellige puljemidler. Endelig vil en lokal dokumentationsindsats skulle tilpasses den politiske efterspørgsel i kommunen. Når mange kommuner f.eks. gennemfører sundhedsprofilundersøgelser er det dels for at have et grundlag for planlægning og prioritering af forskellige opgaver men også fordi der har vist sig en politisk efterspørgsel efter præcist at kunne redegøre for kommunens sundhedsproblemer. 8

2. Særlige dokumentationsudfordringer på forebyggelsesområdet 2.1. Hvad er forebyggelse og sundhedsfremme? Kommunerne har med kommunalreformen fået ansvaret for forebyggelse og sundhedsfremme. Forebyggelse og sundhedsfremme er begreber, der dækker et bredt spektrum af indsatser lige fra rygestopkurser, motionstilbud og cykelstier til patientskoler og skolesundhedstjenesten. Nedenfor ses en definition af de to begreber. Definitioner Sundhedsfremme: En sundhedsrelateret aktivitet, der søger at fremme den enkeltes sundhed, og dermed folkesundheden, ved at mobilisere borgerens herunder patienters ressourcer og handlekompetencer. Forebyggelse: Sundhedsrelaterede aktiviteter, der søger at forhindre udviklingen af sygdomme, psykosociale problemer eller ulykker og dermed fremmer den enkeltes sundhed og folkesundheden. Borgerrettet forebyggelse er sundhedsfremme- og forebyggelsesindsatser rettet mod alle borgere, hvorimod den patientrettede forebyggelse er rettet mod personer med en lægediagnosticeret sygdom. Kilde: Terminologi forebyggelse, sundhedsfremme og folkesundhed, Sundhedsstyrelsen 2005. 2.2. Særlige dokumentationsudfordringer i forhold til forebyggelse og sundhedsfremme Forebyggelsesområdet har nogle særlige udfordringer i forhold til dokumentation, bl.a. fordi der sjældent kun er én risikofaktor, der er årsag til en sygdom. 9

Forebyggelsesindsatserne foregår i en kompleks virkelighed, hvor mange faktorer har betydning for den indsats, der iværksættes. Selv om man iværksætter en indsats for fx at begrænse andelen af rygere i kommunen, så kan et eventuelt fald i andelen af rygere i en målgruppe skyldes mange andre ting, end den konkrete indsats. Fx nationale kampagner, lovgivning om rygeforbud eller afgifterne størrelse eller en ungdomskulturs opfattelse af, hvad der er smart eller ej. Analysedesign, der indbygger kontrol (se afsnit 4) kan til en vis grad tage højde for andre faktorers betydning. For forebyggelsesområdet gælder endvidere i højere grad end for de forebyggelsesindsatser, der fx foregår på hospitalerne at der er tale om et tværdiciplinært felt. En effektiv forebyggelse kræver ikke blot klinisk medicinsk indsigt i de rette metoder, men også samfundsvidenskabelig indsigt i, hvordan samfundet og dets institutioner fungerer og kan bruges i en forebyggende indsats samt pædagogisk indsigt i, hvordan man kan få mennesker til at ændre adfærd. At der er tale om et tværdisciplinært felt er ikke mindst en udfordring i forhold til, hvordan indsatsen skal dokumenteres. Forebyggelsesområdet lider desuden af mangel på relevant viden om, hvordan man kan få folk til at ændre adfærd. Der er stor viden om konsekvenserne af forskellige risikofaktorer som rygning, inaktivitet, stort alkoholforbrug og dårlige kostvaner. Men der er begrænset viden om, hvordan man ændrer på folks vaner, dvs. viden om, hvilke tilbud på forebyggelsesområdet, der har effekt. Endelig er der mangel på viden om, hvordan man bedst organiserer og implementerer tiltag på forebyggelsesområdet i en dansk kommune. Fx., hvordan man bedst integrerer indsatsen bredt i den kommunale vifte af tilbud og hvordan man sikrer et godt samarbejde mellem kommune og henholdsvis hospitaler og praktiserende læger. Dokumentation af de kommunale sundhedsopgaver er nødvendig for, at denne viden kan blive genereret fremover. Når en forebyggelsesindsats skal sættes i gang bør der naturligvis tages udgangspunkt i den bedste eksisterende viden på området om, hvad der virker også kaldet evidens. Læs også mere om, hvordan kommuner kan arbejde evidensbaseret i KL-publikationen Brug af evidens i det kommunale forebyggelsesarbejde, på www.kl.dk/evidens, samt i publikationen Evidens i forebyggelsen fra Sundhedsstyrelsen. 10

Det er hensigtsmæssigt, at kommunerne så vidt muligt anvender de samme typer af registeringer, når der arbejdes med dokumentation. Der er med andre ord behov for standarder for relevante indikatorer. Standarder muliggør, at kommunerne kan benchmarke sig med hinanden, og kan sikre, at det i højere grad bliver muligt at samle viden om, hvad der virker og ikke virker. KL har på følgende områder udarbejdet anbefalinger til standarder for dokumentationen se www.kl.dk/sundhedsdokumentation: rygning røgfri miljøer, forebyggelse af rygestart, tilbud om rygestop børn sundere rammer for mad og bevægelse og tilbud til overvægtige børn Endvidere vil KL sammen med et antal kommuner i 2008 gennemføre et projekt om fælleskommunal ledelsesinformation på sundhedsområdet. Projektets første fase skal udpege en række indikatorer på det kommunale sundhedsområde, som det er relevant for kommunerne at sammenligne sig på. Projektet skal både skitsere, hvordan eksisterende data kan sammenlignes, og hvilke mulige indikatorer der fremadrettet vil være relevante i forhold til de kommunale sundhedsopgaver. Projektets anden fase indebærer, at der skal udvikles en teknisk platform, således at data nemt kan trækkes af kommunerne. Læs mere om KL s projekt om fælleskommunal ledelsesinformation på www.kl.dk/dokumentation. 11

3. Dokumentationsmetoder I dette afsnit skitseres kort forskellige metoder, der kan overvejes ved dokumentation af en kommunal sundhedsindsats: Monitorering versus evaluering Intern versus ekstern evaluering Formative versus summative evalueringer Procesevalueringer versus effektevalueringer Selvom de forskellige metoder stilles op over for hinanden, vil der sjældent være tale om enten-eller. Det vil f.eks. være nyttigt at lave en løbende monitorering af et tilbud også selv om der er planlagt en større evaluering senere. Det vil være relevant at supplere en evaluering af effekter med en procesevaluering for at finde ud af, hvorfor noget gik godt eller skidt. Og det kan være relevant at supplere en ekstern evaluering med en intern evaluering. 3.1. Forskel på rammeindsatser og konkrete tilbud Når der gennemføres kommunale sundhedsindsatser kan der med fordel skelnes mellem rammeindsatser og konkrete tilbud. Rammeindsatser retter sig mod en bred, uspecificeret målgruppe (fx kostog bevægelse i daginstitutioner og skoler, røgfri miljøer og opsporing af diabetespatienter). Konkrete tilbud rettes mod specifikke målgrupper, der har behov for et særligt tilbud (fx rygestoptilbud, tilbud til overvægtige børn eller patientuddannelsesforløb for diabetespatienter). Der er stor forskel på den dokumentationsudfordring man står over for alt efter om der er tale om en rammeindsats eller et konkret tilbud. I forhold til konkrete tilbud bør målingerne ske på individniveau både når det gælder aktiviteter og effekter. Ved brede rammeindsatser vil individmålinger ofte være for omkostningskrævende. På nogle områder kan der dog anvendes eksisterende register- 12

data, fx højde-vægt-målinger, som foretages af sundhedsplejersker og skolelæger. Et alternativ er at lave stikprøver, at gennemføre målinger på gruppeniveau eller at nøjes med at lave aktivitetsmålinger. I de to dokumenter omtalt i afsnit 2.2., som omhandler indsatser mod rygning samt sundere rammer for mad og bevægelse/tilbud til overvægtige børn, skelnes der i anbefalingerne mellem rammeindsatser og konkrete tilbud, se også www.kl.dk/sundhedsdokumentation. 3.2. Monitorering versus evaluering Kommuner kan have meget forskellige intentioner med at indsamle data. Der kan skelnes mellem på den ene side løbende monitorering og på den anden side en evaluering. Med monitorering forstås en løbende indsamling af data til brug for overvågning, styring og løbende tilpasning af tilbud. Der vil typisk være tale om kvantitative målinger på en række udvalgte nøgletal. Der kan dog også være tale om kvalitative målinger. Afrapportering vil typisk ske i ledelsesinformationssystemer eller i korte statusnotater. I kommunerne bør der kunne findes den nødvendige kompetence til at gennemføre monitoreringer flere steder vil man kunne få assistance fra en central evalueringsenhed og/eller IT-enhed. KL anbefaler, at kommunerne som et minimum foretager en monitorering af indsatsen på sundhedsområdet. Med evaluering forstås en dataindsamling, der foregår på et bestemt tidspunkt (men som naturligvis kan gentages). Der vil typisk være større vægt på vurderinger og fortolkninger. Evalueringerne vil ofte have et bredere datagrundlag, der eventuelt også omfatter kvalitative data. Afrapportering vil typisk ske i mere eller mindre omfattende rapporter. Nogle evalueringer vil også have et forskningsmæssigt sigte. 3.3. Intern versus ekstern evaluering En ekstern evaluering vil sige en evaluering, der foretages af personer eller institutioner, der ikke direkte har været involveret i det daglige sundhedsarbejde, og som ikke umiddelbart har interesser i at tegne et positivt eller et 13

negativt billede af et tiltag. Eksterne evaluatorer kan fx. være forskere eller et konsulentfirma. En intern evaluering foretages typisk af de personer og institutioner, der direkte har været involveret i sundhedsarbejdet. Fordelen ved at anvende interne evaluering er, at de involverede personer ofte har et bedre kendskab til, hvad der er årsagen til, at noget er gået godt eller dårligt. Fordelen er endvidere, at den læring, som sker i forbindelse med evalueringsarbejdet forbliver i kommunen og kan indgå i en løbende kvalitetsudvikling af et sundhedstilbud. Det er dog ikke altid, at der lokalt er den nødvendige kompetence til at gennemføre en dybdegående evaluering. På forebyggelsesområdet har der traditionelt været mange projekter finansieret af puljemidler. Her er der ofte særlige evalueringskrav samt tilknyttet en fast, ekstern evaluator. I sådanne tilfælde vil det være relevant at overveje, om en ekstern evaluering skal suppleres af en intern evaluering. 3.4. Formative versus summative evalueringer Den formative evaluering karakteriseres ved, at evalueringen foregår samtidig med udviklingen i et projekt og for dem, der er direkte involveret i projektet. Selve evalueringen er således med til at forme og udvikle den indsats, der evalueres. Evalueringen kan dels bidrage til læring blandt sundhedspersonalet i form af en løbende feedback på arbejdet, og kan dels være en integreret del af selve indsatsen, der skal forbedre sundheden i en given målgruppe. I afsnit 7 sættes der særligt fokus på evalueringer på sundhedsområdet med fokus på læring. Summative evalueringer bliver foretaget efter afslutningen på et projekt og ofte af eksterne evaluatorer. Den summative evaluering giver primært viden til eksterne opdragsgivere. Det kan f.eks. være staten, der skal vide, hvad der kommer ud af puljemidler, eller det kan være en kommunal topledelse (politisk eller administrativ), der skal tage stilling til, om en given indsats skal fortsætte. Endelig kan den summative evaluering været knyttet til et forskningsprojekt. 14

Eksempel: Videreførelse af Sundhedscenter Nordborg summativ evaluering i Sønderborg Kommune Sundhedscenter Nordborg i Sønderborg Kommune fik i marts 2007 foretaget en evaluering af centrets aktiviteter. Centret havde på det tidspunkt fungeret i et år med en ekstern bevilling, som stod for at skulle udløbe. Evalueringen blev primært udarbejdet af Sønderborg Kommunes Sundhedsforvaltning i samarbejde med sundhedscentrets leder, og fokuserede på effekten af centrets sygdomsspecifikke patientuddannelser. På baggrund af evalueringen skulle der derefter tages politisk beslutning om, hvorvidt Sundhedscenter Nordborg skulle fortsætte med en kommunal bevilling, og i hvilken form 1. 3.5. Effektevaluering versus procesevaluering En effektevaluering skal finde effekten af en indsats. Det handler om at finde relevante målepunkter i forhold til de målsætninger, kommunen har og det handler om, at sandsynliggøre, at en fundet ændring kan tilskrives den konkrete intervention. I afsnit 4 diskuteres det, hvordan man kan anlægge et pragmatisk perspektiv, når der skal laves en effektevaluering på det kommunale sundhedsområde. En procesevaluering sætter fokus på at forklare, hvorfor en indsats er blevet en succes eller fiasko. Den sætter således fokus på, hvilke forhold, der er henholdsvis hæmmende og fremmende for processen. I en procesevaluering vil det være nødvendigt at følge en institution/et tiltag i en bestemt afgrænset periode. Typisk vil procesevalueringen støtte sig til kvalitative data fremfor kvantitative. En række kvantitative data, der måler aktiviteter og processer kan dog også indgå centralt i en procesevaluering. Ofte vil effekt- og procesevalueringer understøtte hinanden. Procesevalueringen skal svare på, hvorfor resultatet af en effektmåling er blevet som den er. 1 Evaluering af Sundhedscenter Nordborg, Fagcenter Sundhed, Sønderborg Kommune, 2007 15

KL anbefaler generelt i forhold til det kommunale forebyggelsesarbejde, at der så vidt muligt bør indtænkes effektmålinger. Det er nødvendigt at vide, om rygestopkurset betyder, at folk holder op med at ryge, om det lykkedes de overvægtige børn at få et vægttab (eller et højere aktivitetsniveau eller et højere selvværd) eller om folk i et alkoholtilbud nedsætter deres forbrug eller holder helt op med at drikke. Er der tale om brede rammeindsatser kan det dog være tilstrækkeligt at nøjes med aktivitetsmålinger, jf. også afsnit 6.2.4. 16

4. Effektevaluering I dette afsnit gennemgås forskellige metoder til at udarbejde effektevalueringer. Først gennemgås det randomiserede kontrollerede eksperiment (RCT), som er et stærkt design, når årsagssammenhænge skal identificeres. Endvidere gennemgås en række andre design, hvor der er knap så strenge krav, som i RCT-metoden. De mere pragmatiske design for effektdokumentation er ofte nemmere at håndtere for en kommune. Hertil kommer, at forebyggelsesområdets kompleksitet i sig selv betyder, at andre design end RCT ofte er mere velegnede til at påvise effekt. 4.1 Det randomiserede kontrollerede eksperiment (RCT) Forebyggelsesområdet er på godt og ondt præget af de medicinske videnskabsidealer. Her er der en almindelig opfattelse af, at den mest sikre viden om effekter (den højeste evidens) skabes ved at gennemføre randomiserede kontrollerede eksperimenter (RCT, se definition i tekstboks). RCT randomiserede kontrollerede studier RCT står for Randomised Controlled Trials (på dansk: randomiserede kontrollerede studier eller lodtrækningsforsøg). Det betyder, at man opdeler deltagerne i et studie i to tilfældigt sammensatte grupper, hvor den ene er interventionsgruppe og den anden kontrolgruppe. Ved at randomisere antages det, at de to grupper er sammenlignelige på nær den intervention, som man udsætter interventionsgruppen for. Hermed er det muligt at isolere og vurdere effekten af interventionen. 17

Der er såvel fordele som ulemper ved brug af randomiserede kontrollerede eksperimenter. Fordelen ved et RCT-studie er, at det i vidt omfang er muligt at sandsynliggøre, at en observeret effekt rent faktisk skyldes interventionen og ikke andre ting. Det sker ved, at det gennem forsøget er muligt at kontrollere for effekten af andre faktorer, herunder: Andre begivenheder i samfundet, da både interventionsgruppe som kontrolgruppe udsættes for sådanne begivenheder Naturlig udvikling i gruppen børn vokser, ældre svækkes med alderen dette sker både i interventionsgruppen og kontrolgruppen Målemetoden de to grupper måles med samme metode Selektion (dvs. hvem er med) randomisering sikrer, at der er tilfældigt, hvem der er med Blinding mest relevant i medicinske forsøg, hvor det er muligt at holde det hemmeligt for en person, om vedkommende er med i et studie eller ej. Der er imidlertid også en række ulemper ved RCT-studier: Det er dyrt det kræver ressourcer at indsamle data fra både interventionsgruppe og kontrolgruppe samt udarbejde en kompetent dataanalyse Det er kompliceret med mindre der i kommunen er særlige kompetencer vil det være nødvendigt at gennemføre analysen i samarbejde med f.eks. forskere eller konsulenter Der kan være etiske problemer ved kun at tilbyde en intervention til en del af den målgruppe, der har et behov (omvendt kan det indvendes, at det ikke er uetisk at undlade at tilbyde en intervention, når det ikke vides om interventionen overhovedet har en effekt eller ej) Ligeledes kan det være svært at gennemføre et RCT-studie, hvis målgruppen er relativt lille. Så kan det være svært at opnå statistisk signifikante resultater Black-box-problemer. Hvis det ikke samtidig kortlægges hvilke elementer, der har været vigtigst for at få en effekt, så kan man risikere, at man ved en gentagelse ikke bevarer de rigtige elementer i aktiviteten. Det taler for at supplere RCT-studier med kvalitative studier. Nogle interventioner kan ikke standardiseres. Det, som f.eks. er den rette indsats for ét overvægtigt barn, er det måske ikke for et andet. Når indsatsen skal tilpasses individuelt kan det være svært at lave et RCT-studie. Forsinkede effekter. De centrale effekter af forebyggelsesindsatser i form af fx mindre sygelighed og færre indlæggelser indtræder ofte først lang 18

tid efter interventionen. Det kræver således omhyggelighed i valg af relevante effektmål Effekter underestimes. RCT har en tendens til at underestimere effekten af indsatser, fordi den ikke tager højde for social diffusion (hvis fx 10 holder op med at ryge efter et rygestopkursus vil de videre påvirke deres netværk til at gøre det samme) Der kan være praktiske problemer med kun at give en del af en målgruppe en intervention. Hvis alle i en kommune tilbydes en bestemt aktivitet, så kan der ikke fra samme totalpopulation udvælges personer til kontrolgruppen, da der ikke er nogen, der ikke er blevet udsat for indsatsen. En kontrolgruppe kan dog findes i en anden kommune. Effekten af de enkelte forebyggelsesindsatser kan være svær at isolere, fordi forebyggelsestiltagene ofte består af flere forskellige samtidige indsatser. Konsekvensen af de mange vanskeligheder ved RCT design betyder for det første, at det bedste design, når der skal dokumenteres effekt i praksis ofte er et andet end RCT. For det andet betyder vanskelighederne ved RCT-studier, at det kun er undtagelsesvist, at de bør gennemføres af kommuner. Som udgangspunkt er det KL s anbefaling, at egentlige RCT-studier kun gennemføres i begrænset omfang i kommunerne gerne i samarbejde med andre kommuner, regioner og med forskere. Alle kommuner vil dog kunne drage nyttig inspiration i tankegangen bag RCT-studier, men vil kunne arbejde med dokumentation på et mere pragmatisk og mindre ambitiøst niveau. I næste afsnit gennemgås metoder hertil. 4.2. Anvendelse af kontrolgrupper og sammenligningsgrupper 4.2.1. Kontrolgrupper Det kan være hensigtsmæssigt at lære af RCT-metoden, men at løse lidt op for de stramme forudsætninger. En tilgang kan være at vælge et design, som pragmatisk RCT. Dette design tillader, at en intervention består af pakker af tiltag og at randomisering 19

foregår på gruppeniveau 2. Nedenfor ses et eksempel fra Odense kommune, hvor der randomiseres på gruppeniveau. En anden tilgang er at opretholde at arbejde med kontrolgrupper, men uden randomisering. I stedet kan man forsøge kvalitativt eller kvantitativt at vurdere, om de to målgrupper ligner hinanden i forhold til forskellige relevante socioøkonomiske karakteristika. Kontrolgruppen dvs. den gruppe, der ikke modtager et tilbud kan f.eks. være: Lignende målgrupper i kommunen, som ikke modtager et tilbud Andre institutioner i kommunen, som ikke modtager et tilbud Andre kommuner, som ikke har et tilbud Eksempel: Håndhygiejne i daginstitutioner randomisering på gruppeniveau i Odense Kommune I Odense Kommune ønskede man at undersøge effekten af en intervention vedrørende håndhygiejne i daginstitutioner målt på børnenes sygefravær. På baggrund af et spørgeskema til institutionslederne om institutionernes fysiske rammer, beliggenhed, antal kvadratmeter per barn og hygiejniske rutiner blev de otte institutioner, ved lodtrækning, fordelt i en interventionsgruppe og en kontrolgruppe. I en observationsperiode blev børnenes sygefravær registreret. Herefter fulgte en interventionsperiode, hvor såvel personale, børn og forældre blev undervist i håndhygiejne på forskellig vis. Sygefraværet blev fortsat målt i såvel interventionsgruppe som kontrolgruppe. Til sidst fulgte en effektperiode, hvor sygefraværet stadig blev målt. Resultaterne viste et fald i den forventede sygelighed på 34% i interventionsgruppen. Kontrolgruppens institutioner fik efterfølgende det samme tilbud som interventionsgruppens institutioner 3. 2 M. Roland og DJ. Torgerson, Understanding controlled trials: What are pragmatic trials?, British Medical Journal, 1998, 24;316(7127):285 3 Håndhygiejne og småbørnssygelighed i daginstitutioner, Ladegaard, M.B. & Stage, V. Ugeskrift for Læger, Særtryk, 1999 20

Det er dog ressourcekrævende at skulle indsamle data i kontrolgrupper, der ikke modtager et tilbud bl.a. fordi der er tale om personer, som man i tilbuddet ikke har kontakt med. Der kan også være andre vanskeligheder ved at arbejde med kontrolgrupper fx etiske overvejelser og overvejelser om, hvordan kontrolgruppen kan motiveres til at deltage, jf. nedenstående eksempel fra Odense Kommune. Eksempel: Overvejelser om interventionsgruppe og kontrolgruppe i Odense Kommune I Vollsmose Sundhedscenter har man i samarbejde med bl.a. Syddansk Universitet overvejelser om at gennemføre et randomiseret, kontrolleret forsøg af ydelsen medicingennemgang. I den forbindelse har sundhedscentret gjort sig overvejelser om, hvordan en kontrolgruppe kan etableres. Dels har det etiske aspekt at man derved vil tilbyde en indsats til én gruppe borgere og ikke til de øvrige borgere, som har samme behov været drøftet. Og dels det forhold, at det kan være svært at motivere borgere til at være kontrolgruppe, når de ikke tilbydes en indsats, men blot skal være kontrolgruppe. Den løsning man er nået frem til indebærer, at kontrolgruppen tilbydes medicingennemgang efter interventionen. Derved får både interventionsgruppe og kontrolgruppeet tilbud 4. 4.2.2. Sammenligningsgrupper fx nøgletalsklubber Det kan overvejes at sammenligne sig med en anden kommune, der har et lignende tilbud eller med et lignende tilbud et andet sted i kommunen. Gruppen, der sammenlignes med kan her kaldes en sammenligningsgruppe. I praksis kan dette kan fx ske ved at oprette et netværk eller en nøgletalsklub hvor der er enighed om, hvordan data registreres. Fx kan en kommune sammenligne sit tilbud til overvægtige børn med et lignende tilbud i en anden kommune. 4 Projektbeskrivelse: Evaluering af medicingennemgang givet til ikke-etnisk danske patienter i Vollsmose, Sundhedscenter Vollsmose, Odense Kommune 2007. 21

Fokus i et netværk vil kunne være på såvel læring som generering af ny viden. Der vil kunne sammenlignes forskellige nøgletal for aktiviteter og effekter, og der kan etableres en debat om, hvorfor nogle tilbud giver bedre resultater end andre. Se også afsnit 7 om læring. 4.2.3. Sammenligning med kendte landstal, regionstal og kommunetal På enkelte områder findes der kendte landstal, som det kan være relevant at sammenligne sig med: Laves der en spørgeskemabaseret sundhedsprofil er det relevant at sammenligne sig med de nationale og regionale tal fra SUSY-undersøgelsen, som gennemføres af Statens Institut for Folkesundhed (www.si-folkesundhed.dk). Laves rygestopkurser er det relevant at sammenligne sig med kendte tal for, hvilke succesrater man kan forvente af rygestopkurser. Det er der mulighed for, når man anvender den nationale rygestopbase til dokumentation se www.rygestopbasen.dk. På sigt bliver udfordringen at skabe databaser, der mere bredt samler dokumentationen af kommunernes opgavevaretagelse på sundhedsområdet. 4.3. Ingen kontrol, men blot før- og eftermålinger Hvis der ikke anvendes kontrolgrupper, men alene før- og eftermålinger i interventionsgruppen, bør man forholde sig kritisk til, om en effekt eller en udebleven effekt rent faktisk skyldes interventionen. En effekt kan f.eks. skyldes andre begivenheder i samfundet eller, at der kan forventes en særlig udvikling for en gruppe uanset interventionen, jf. også afsnit 6.2 om måletidspunkter. Eksempel: Før- og eftermåling i patientuddannelse for borgere med diabetes type 2 Horsens Kommune Horsens Kommune tilbyder patientuddannelse til borgere med diabetes type 2. I forbindelse med et 8-ugers forløb er der indlagt en række af før- og efter målinger. Målingerne fokuserer på effekt af uddannelsen i form af forbedret kondition, forbedret livskvalitet, normalt blodsukker, vægttab og rygestop. Ved kursusstarten afdækkes delta- 22

gernes forventninger og der opstilles individuelle mål, som der følges op på ved efterfølgende samtaler. Herudover foretages der en række fysiske tests: kondition, samt vægt/fedtprocent/muskelmasse, mv. og taljemål og blodtryk., som der ligeledes følges op på. Der er følgende måletidspunkter/metoder: Fire individuelle samtaler en samtale før kursusstart og umiddelbart efter kursets afslutning, samt 3 og 12 måneder efter kursets afslutning. To telefoniske samtaler henholdsvis 1 og 6 måneder efter kursets afslutning. Registrering af laboratorieværdier for langtidsblodsukker og kolesterol ved første samtale og ved 3-måneders- og 12-måneders samtalen 5. 4.4. Statistisk kontrol En måde at takle udfordringerne i forhold til forskel på indsatsgruppe (gruppe 1) og sammenligningsgruppe (gruppe 2) er ved at anvende statistisk kontrol. Ved hjælp af statistisk kontrol er det muligt at korrigere for forskelle i forhold til forskellige baggrundsvariable fx køn, alder, uddannelse og indkomst. Den statistiske kontrol kan ske ved, at grupperne kun sammenlignes inden for f.eks. bestemte aldersgrupper eller bestemte uddannelsesgrupper fx at lavtuddannede i gruppe 1 sammenlignes med lavtuddannede i gruppe 2, og højtuddannede i gruppe 1 sammenlignes med højtuddannede i gruppe 2. Omfatter undersøgelsen tilstrækkeligt mange personer vil der kunne laves yderligere opdelinger i sammenligningerne fx af højtuddannede kvinder i gruppe 1 og 2. Endvidere kan statistisk kontrol ske ved, at resultaterne fra den ene gruppe standardiseres i forhold til fx køn- og aldersfordelingen i den anden gruppe. 5 Målbeskrivelse for patientuddannelse rettet mod diabetes type 2, Sundhedsteamet, Horsens Kommune 2007. 23

Tallene i gruppe 1 er således et udtryk for, hvordan resultatet ville have set ud, hvis gruppe 1 havde samme køn- og aldersfordeling som gruppe 2. Herefter kan resultaterne i de to grupper sammenlignes. Statistiske programpakker som SPSS eller SAS kan lave en sådan standardisering. For at kunne gennemføre en statistisk kontrol er det nødvendigt, at der sker en registrering af relevante baggrundsdata for de personer, der modtager en given indsats. 4.5. Beregninger af signifikans Uanset om der gennemføres RCT-studier eller blot før- og eftermålinger skal det vurderes, om udviklingen på de relevante effektmål er signifikant, eller om de er så små, at det blot kan skyldes tilfældige variationer. Den relevante metode til signifikansberegninger afhænger bl.a. af, hvor mange personer, der indgår i indsatsen, og af hvad det er for nogle grupper, der skal sammenlignes med hinanden. Der henvises her til almindelige lærebøger i statistik. Generelt gælder det, at jo større antal deltagere, jo lettere er det at få signifikante resultater. Ved mange deltagere kan der således observeres små forskelle som er signifikante uden at de nødvendigvis er interessante. Omvendt kan der ved et meget lille antal deltagere observeres interessante forskelle, som bare ikke er signifikante. Strategien bør her være at få indsamlet flere observationer. Eksempel: Beregning af signifikans Sønderborg Kommune I evalueringen af Sundhedscenter Nordborg foretog man en række fysiske test (gangtest, vægt og taljemål) ved patientuddannelsens begyndelse, ved afslutningen samt 3 og 6 måneder efter forløbet. Der blev udført en såkaldt t-test på resultaterne, som kan vise om ændringerne er signifikante dvs. ikke blot skyldes tilfældigheder. T-testene viste en signifikant udvikling fra målingerne foretaget ved begyndelsen til målingerne foretaget ved afslutningen på uddannelsen. Der var derimod ikke nogen signifikant udvikling fra afslutningen 24

på uddannelsen og så til situationen efter henholdsvis 3 og 6 måneder. Det hang delvist sammen med, at det kun var et meget lille antal deltagere, som ved evalueringen havde deltaget i målingerne 3- og 6-måneder efter uddannelsens afslutning 6. 6 Evaluering af Sundhedscenter Nordborg, Fagcenter Sundhed, Sønderborg Kommune 2007 25

5. Cost-benefit-analyser Ofte er det ikke tilstrækkeligt at vide, om et tiltag har en sundhedsmæssig effekt. Der ønskes også viden om, hvorvidt pengene er givet godt ud dvs. om indsatsen/effekten står mål med de ressourcer, der bruges. Man taler her ofte om cost-benefit-analyser eller analyser af omkostningseffektivitet. Der kan her anlægges såvel et samfundsøkonomisk perspektiv som et kommunaløkonomisk perspektiv. 5.1. Samfundsøkonomisk effekt af forebyggelse Et samfundsmæssigt perspektiv vurderer udgifterne til et initiativ i forhold til de samfundsøkonomiske effekter f.eks. hospitalsindlæggelser, skadestuebesøg, ambulante besøg, kontakt til alment praktiserende læge, sygefravær, førtidspensioner, sundhedsvæsenets omkostninger, samfundsøkonomiske produktionstabsomkostninger og fremtidigt konsum. Når der laves medicinske teknologivurderinger (MTV) på sundhedsområdet, indgår der altid en vurdering af de samfundsøkonomiske effekter. Statens Institut for Folkesundhed har i 2006 lavet en publikation, der beregner den samfundsøkonomiske effekt af følgende typer af risikoadfærd: rygning, alkohol, stofmisbrug, fysisk inaktivitet, overvægt, usund kost, usikker sex, forhøjet blodtryk, arbejdsulykker, arbejdsbetingede lidelser, psykisk arbejdsbelastning, passiv rygning, hjemme- og fritidsulykker, trafikulykker, svage sociale relationer og uddannelse. Rapporten findes på: www.si-folkesundhed.dk/upload/risikofaktorer_def.pdf 5.2. Kommunaløkonomisk effekt af forebyggelse For kommunen er det dog ikke mindst relevant at se på et tiltag ud fra et kommunaløkonomisk perspektiv. Her skal konsekvenserne af et sundhedstiltag vurderes i forhold til kommunens samlede økonomi. Indførelsen af 26

kommunal medfinansiering af de regionale sundhedsopgaver er med til at fremme denne tankegang i kommunerne. Laves en kommunaløkonomisk vurdering af et tiltag, vil det altså for det første være relevant at vurdere, om en kommunal indsats giver anledning til sparede udgifter til kommunal medfinansiering af de regionale sundhedsudgifter fx færre besøg hos praktiserende læge, færre indlæggelser, mv. Ved vurdering af eventuelt sparede midler til medfinansiering skal man være bevidst om, at der formentlig generelt kan forventes en aktivitetsstigning i det regionale sundhedsvæsen. Det betyder, at kommunale aktiviteter, som har til hensigt at begrænse fx indlæggelser for konkrete målgrupper, ikke nødvendigvis betyder sparede udgifter til medfinansiering. For det andet skal alle andre faktorer, der kan have relevans for den kommunale økonomi medregnes. Det kan fx være sparede udgifter til sygedagpenge, førtidspension, hjemmepleje og hjemmesygepleje. Eksempel: Forebyggelsesindsats rettet mod muskel-skeletlidelser hos ansatte Fredensborg Kommune Fredensborg Kommune har igangsat et træningstilbud for ansatte indenfor ældreområdet. Målet er at udvikle en indsats, som kan forebygge og afhjælpe arbejdsrelaterede smerter i bevægeapparatet gennem en målrettet træningsintervention og kostvejledning. Man ved, at muskel-skeletlidelser er årsag til en stor del af de langvarige sygedagpengesager. Blandt succeskriterierne er bl.a. en reduktion af sygemeldinger efter 6 måneder. Herudover er succeskriterierne en bedring af specifikke mål i form af forbedret kondition (målt ved gangtest), bedret selvvurderet helbred, øget fysisk aktivitetsniveau og øget medarbejdertrivsel (målt ved spørgeskema). Konditionstest gennemføres ved træningstilbuddets start og afslutning, og spørgeskema udfyldes ved træningstilbuddets start og afslutning samt 3 og 6 måneder efter tilbuddets afslutning 7. 7 Oplæg til indsats for personalet på Ældreområdet, Fredensborg Kommune 2007 27

For den enkelte kommune kan udsigten til senere besparelser i den kommunale kasse betyde, at man vælger et højere serviceniveau end man ellers ville have gjort fordi det kan betale sig. Der advares dog imod at lave for optimistiske skøn over besparelserne. 5.3. Kortsigtede og langsigtede gevinster I forhold til den borgerrettede forebyggelse vil der ofte være en stor tidsforskydning fra et tiltag igangsættes til en økonomisk effekt viser sig. Der kan således gå lang tid fra en indsats for sund mad og bevægelse viser sig i form af mindre overvægt og færre diabetestilfælde. Hvor langsigtet effekten er, vil variere fra område til område men det er sjældent, at den kan indhøstes inden for hverken det enkelte budgetår eller den enkelte valgperiode. Indsatsen i forhold til kost og bevægelse har formodentlig relativt langsigtede konsekvenser, mens effekten af en indsats mod fald og ulykker kan have en kortere tidshorisont. I forhold til den patientrettede forebyggelse vil tidshorisonten også være relativt kort. Et godt rehabiliteringsforløb i forhold til KOL- diabetes og hjertepatienter kan forebygge mange genindlæggelser og betyde, at borgerne bliver mindre plejekrævende i forhold til hjemmepleje og hjemmesygepleje. Generelt er det dog en meget vanskelig opgave forbundet med mange hypoteser og forudsætninger at foretage beregninger af de forventede sparede kommunale midler ved en forebyggelsesindsats. Det bliver en udfordring i de kommende år at kunne lave disse beregninger på mere kvalificeret vis. 28

6. Antal målepunkter og måletidspunkter Der skal i et analysedesign tages stilling til, hvilke målepunkter, der skal være, og på hvilke tidspunkter, der skal måles. 6.1. Mængden af målepunkter Der er vigtigt, at dokumentationsudfordringen for kommunerne ikke bliver uoverkommelig, og at den tid, der bruges på dokumentation, står mål med resultatet. Der er derfor grund til at begrænse antallet af målepunkter. Ambitionen bør være at opstille relativt få, enkle og sammenhængende målepunkter, der er sammenlignelige over tid og på tværs af kommuner. Det sidste kræver, at der udvikles standarder på området, jf. afsnit 2.2. Omvendt bør målepunkterne dække så bredt, at det er muligt meningsfuldt at evaluere aktiviteterne. Vælger en kommune en mere dybdegående evaluering vil det også kunne være nødvendigt med flere målepunkter, herunder at supplere de kvantitative målepunkter med en række kvalitative. Endvidere kan medvirken i et forskningsforsøg give anledning til, at der sker en mere detaljeret registrering. 6.2. Måletidspunkter 6.2.1. Før-måling/baseline For at kunne se, om et tiltag har haft en effekt er det nødvendigt at kende udgangssituationen. Det er derfor en god ide at lave en før-måling eller en baseline i forbindelse med sin dokumentation. 29

Før-målingen vil typisk gælde effektmålepunkterne fx Hvad vejede en person ved indsatsens begyndelse? eller hvad var en persons kondital ved indsatsens begyndelse. En før-måling kan dog også knytte sig til aktivitetsmålinger af sundhedsindsatsen før et givent initiativ fx hvor mange idrætstimer blev der tilbudt før kommunens nye indsats, eller hvor meget genoptræning har der hidtil været tilbudt i amtsligt regi. Behovet for før-målinger betyder, at det er nødvendigt at indtænke dokumentation allerede i et projekts eller en indsats planlægningsfase. 6.2.2. Eftermåling For at måle effekten af en indsats, er det nødvendigt at gentage målingerne ved et indsatsens afslutning. Effekten fås ved at sammenligne før- og eftermålinger. Ved fortolkningen skal man huske på, at en observeret effekt kan skyldes mange andre ting end interventionen, jf. diskussion heraf i afsnit 2.2. og afsnit 4. Se endvidere afsnit 4.5. om beregning af signifikans. Eksempel: Før- og eftermåling i træningstilbud for kontanthjælpsmodtagere Fredensborg Kommune Fredensborg Kommune har iværksat et 7 ugers træningstilbud som en del af aktiveringen for mandlige kontanthjælpsmodtagere. Der er tale om 10 lektioner styrke- og konditionstræning og herudover naturoplevelser. Ved første træningsgang konditionstestes deltagerne, og testningen gentages ved sidste træningsgang som et led i evalueringen af tilbuddet. Deltagerne besvarer også et spørgeskema om helbredsforhold og fysisk aktivitet ved træningens start og slutning 8. 8 Beskrivelse af Træning og naturoplevelser intervention for mandlige kontanthjælpsmodtagere, Fredensborg Kommune 2007 30

6.2.3. Opfølgende målinger Det vil ofte være hensigtsmæssigt at lave en eller flere opfølgende målinger på personer, der har modtaget et tilbud for at sikre, at en umiddelbar effekt også varer ved altså om der er en varig effekt. Ved indsatser for overvægtige ses fx ofte en flot effekt i form af bl.a. vægttab, mens personen deltager i tilbuddet. Det typiske billede er imidlertid, at en meget stor del af deltagerne tager på igen bagefter. Ved hjælp af opfølgende målinger er det muligt at følge den langsigtede effekt. Er der en klar tendens til tilbagefald, kan man i et tilbud overveje at sætte ind med særlige aktiviteter, der kan bidrage til at fastholde en effekt. Muligheder kan her være, at kommunen tilbyder opfølgende aktiviteter eller at der samarbejdes med f.eks. patientforeninger og andre frivillige foreninger om at bistå med opfølgende aktiviteter forankret i borgerens hverdag. Det kan opleves som et stort arbejde at skulle indhente data til de opfølgende målinger fordi der skal tages kontakt til en række personer, som ikke længere er fysisk tilstede i tilbuddet. I forbindelse med rygestopbasen kan de enkelte projekter vælge at købe sig til denne ydelse. En opfølgende måling kan f.eks. ske efter V år, 1 og/eller 1V år. De opfølgende data kan indhentes via brevudsendelser med svarkuvert, via telefonen eller via en internetbaseret besvarelse. Ved opfølgning på fysiske test vil der naturligvis være behov for at indkalde de testede personer igen. Generelt er det vigtigt at overveje, hvor mange opfølgende målinger, der reelt er behov for at udføre. Ressourcerne skal stå mål med de resultater, der opnås. 6.2.4. Før- og eftermålinger ved konkrete tilbud og rammeindsatser Gennemføres konkrete tilbud til en udvalgt målgruppe, bør der som et minimum indsamles data, der gør det muligt at sammenligne effektmål før og efter at indsatsen er sat i gang, og så vidt muligt også opfølgende målinger. Gennemføres rammeindsatser fx kost- og bevægelsesindsatser i daginstitutioner kan det være sværere og dyrere at lave før- og eftermålinger på individniveau. Der er her andre muligheder for at lave effektmålinger: 31

Eksisterende registerdata kan anvendes Der kan laves stikprøver i gruppen Der kan anvendes data på gruppeniveau f.eks. spørgeskemaer til institutionsledere/lokale projektledere Det vil bl.a. være et økonomisk spørgsmål om der i forhold til rammeindsatser skal laves både før- og eftermålinger eller måske kun en eftermåling. Alternativt kan man nøjes med aktivitetsmålinger, f.eks. målinger af, om der er gennemført sundhedspolitikker på institutioner og af, hvilke konkrete aktiviteter, der er sat i gang. I mange kommuner er der gennemført en sundhedsprofilundersøgelse, som en baseline for kommunens sundhedsindsats. Mange af kommunerne har planer om at gentage undersøgelsen, f.eks. hvert 4. år, således at de overordnede effekter af kommunens sundhedstiltag (i kombination med andre tiltag og begivenheder, der påvirker sundhedstilstanden) kan måles. 32

7. Særlige evalueringsmetoder med fokus på læring Der er udviklet en række særlige evalueringsmetoder med fokus på læring. Metoderne indebærer alle, at de personer, som er genstand for evalueringen, inddrages tæt i evalueringsforløbet. Dokumentationsindsatsen kan for det første bidrage med løbende læring for de medarbejdere, som skal levere indsatsen så indsatsen løbende kan kvalitetsudvikles. Nedenfor gennemgås monitorering med feedback og auditmetoden, som er metoder, hvor der er fokus på læring blandt medarbejderne. For det andet kan dokumentationsindsatsen bidrage til at formidle særlige sundhedsbudskaber, og dokumentation kan tydeliggøre det over for deltagere i et sundhedstilbud hvorfor det er vigtigt, at de deltager. Sidst i dette afsnit gives eksempler på, hvordan dokumentation således aktivt kan integreres i forebyggelsesindsatser. 7.1. Monitorering med feedback En løbende monitorering af aktiviteter og effekt af et tilbud bør aktivt bruges i en læringsproces i det enkelte tilbud. Det kræver dog, at der sker en formidling af oplysninger tilbage de udførende medarbejdere. Data skal altså ikke kun tilgå ledelsesniveauer eller nationale databaser der bør være en feedback til udførerledet, hvis data skal bruges i en læreproces. Når der er feedback på en monitorering kan der også forventes en højere kvalitet af data, fordi dem, som skal registrere data kan se meningen med galskaben. En af styrkerne ved rygestopbasen er, at den kan generere rapporter tilbage til det enkelte tilbud (se www.rygestopbasen.dk). Selve indsamlingen af deltageroplysningerne til rygestopbasen kan også med det samme give ry- 33

gestoprådgiveren et billede af deltagerne (fx spørgsmål om nikotinafhængighed), hvilket kan være en hjælp for rådgiveren i forhold til at målrette sin undervisning. 7.2. Auditmetoden Det engelske ord audit betyder direkte oversat revision eller høring. Audit tager udgangspunkt i konkrete forløb og hændelser og en vurdering af disse i et fagligt panel. Fagfolk sætter sig sammen med hinanden og evt. eksterne fagfolk og vurderer den konkrete praksis. Audit kendes fra forskellige sammenhænge og er meget udbredt i sygehusvæsnet. Audit vil også med fordel kunne bruges i kvalitetsudviklingen i forhold til de kommunale sundhedsopgaver. Relevante data og dokumentation indgår i arbejdet, og målet er at vurdere, om kvaliteten i den konkrete indsats og forløb har været god med udgangspunkt i, om de lever op til de faglige mål, rammer eller principper, der er på området. Dokumentation kan dels bestå af kvantitative data og dels bestå af casehistorier, der enten kan være skriftlige eller mundtlige. Belyses flere cases samtidigt vil det være hensigtsmæssigt at blive enige om at dokumentere på den samme måde. Fokus kan både være de gode forløb og de forløb, der har været mindre tilfredsstillende. Der kan skelnes mellem: en intern audit, hvor metoden anvendes i en intern læringsproces mellem kollegaer og ledelse. Det kan f.eks. ske på en faglig dag en interkollegial audit, hvor kvalitetsvurderingen foretages af faglige kollegaer på kryds og tværs af et fagligt fællesskab, fx i form af et netværk med andre kommuner en ekstern audit, hvor audit foretages af uafhængige udefrakommende fagfolk, f.eks. ved at en forsker eller faglig stærk kollega fra en anden kommune inviteres til kritisk at se på kommunens indsats 34