Metoder til dokumentation og evaluering af de kommunale sundhedsopgaver en pragmatisk tilgang

Transkript

1 DOKUMENT Metoder til dokumentation og evaluering af de kommunale sundhedsopgaver en pragmatisk tilgang Metoder til dokumentation og evaluering af de kommunale sundhedsopgaver en pragmatisk tilgang Indledning En pragmatisk tilgang til dokumentation Typer af mål på sundhedsområdet Behov for standarder Forskel på rammeindsatser og konkrete tilbud IT-understøttelse Særlige dokumentationsudfordringer på forebyggelsesområdet Hvad er forebyggelse og sundhedsfremme? Særlige dokumentationsudfordringer i forhold til forebyggelse og sundhedsfremme Evalueringsmetoder Monitorering versus evaluering Intern versus ekstern evaluering Formative versus summative evalueringer Effektevaluering versus procesevaluering Effektevaluering Det randomiserede kontrollerede eksperiment (RCT) Fordele og ulemper ved RCT Anvendelse af kontrolgrupper og sammenligningsgrupper Kontrolgrupper Sammenligningsgrupper/nøgletalsklubber Sammenligning med kendte landstal, regionstal og kommunetal Ingen kontrol, men blot før- og eftermålinger Statistisk kontrol Cost-benefit-analyser...16 Den 29. januar 2007 Jnr P05 Sagsid Ref DBU dbu@kl.dk Dir Weidekampsgade 10 Postboks København S Tlf Fax /25

2 5.1. Samfundsøkonomisk effekt af forebyggelse Kommunal kasse -økonomisk effekt af forebyggelse kortsigtede og langsigtede gevinster Antal målepunkter og måletidspunkter Mængden af målepunkter Måletidspunkter Før-måling/baseline Eftermåling Opfølgende målinger Før- og eftermålinger ved konkrete tilbud og rammeindsatser Særlige evalueringsmetoder med fokus på læring Monitorering med feedback Auditmetoden Gennembrudsmetoden Benchlearning Dokumentation et direkte middel til ændret adfærd Hvor findes der mere viden om evalueringsmetoder

3 1. Indledning Det er vigtigt, at kommunerne dokumenterer og evaluerer de indsatser, som nu sættes i gang på forebyggelsesområdet. For det første, fordi dokumentation er en forudsætning for en kvalificeret løbende kvalitetsudvikling af tilbuddene. For det andet er dokumentation vigtig i forhold til den vidensudvikling, som der er behov for på området. Der er generelt meget lidt viden om, hvordan man får folk til at ændre adfærd i en mere sund retning. Med nye opgaver er der behov for at generere viden, der viser, hvordan man i en kommunal kontekst får lavet de bedste tilbud. Hvordan udnyttes f.eks. bedst det potentiale, kommunerne har for at forankre sundhed bredt i forskellige forvaltninger og institutioner? Evalueringslitteraturen er stor og mangfoldig. Der findes mange forskellige skoler, og forskellige metoders relevans vil afhænge af, hvad målsætningen og ambitionsniveauet er i forhold til en konkret evaluering. Ambitionen i dette dokument er at skitsere de særlige dokumentationsudfordringer, der er i forhold til forebyggelse og sundhedsfremme samt at gennemgå en række metodiske problemstillinger, der er relevante at tage stilling til, når der skal laves et design for dokumentation og evaluering af en kommunes indsats på sundhedsområdet. Dokumentet forsøger endvidere i indledningen at binde de forskellige dokumenter på siden sammen. Det ligger uden for ambitionen at være en dybdegående lærebog i evaluering. I stedet berøres de forskellige problemstillinger kort kombineret med henvisninger til, hvor der kan findes mere viden. Der vil blive lagt særlig på, hvordan effekten af sundhedsindsatsen kan dokumenteres. Her vil der blive givet nogle konkrete anbefalinger til, hvordan der hensigtsmæssigt kan arbejdes med dokumentation. Endeligt er der et særskilt afsnit, der skitserer, hvorledes dokumentation kan bruges med henblik på læring dvs. som en del af det lokale kvalitetsarbejde. De vigtigste anbefalingerne i dokumentet er sammenfattet i følgende boks: 3

4 KL s Dokumentationsanbefalinger i forhold til de kommunale sundhedsopgaver 1. Kommunens behov bør være i centrum for dokumentationsindsatsen 2. Dokumentationsindsatsen skal være omkostningseffektiv værdien skal stå mål med de ressourcer, som anvendes 3. I det omfang, at kommunerne vil bidrage til forskning på området anbefales det, at det sker i samspil med forskere 4. Der er behov for udvikling af standarder hvis kommunerne anvender de samme typer af målinger er sammenligninger mulige 5. Der er relevante oplysninger om borgerne, der allerede er tilgængelige i kommunernes registre 6. Der skal findes en IT-platform for registrering af data programmer som Excell, SPSS eller SAS kan være tilstrækkelige i begyndelsen 7. Der bør som minimum ske en monitorering af indsatsen på sundhedsområdet i form af løbende registrering af nøgletal 8. Sundhedsindsatser, som evalueres eksternt fx i forbindelse med en pulje kan med fordel suppleres med en intern evaluering 9. Den relevante dokumentation afhænger af, om der er tale om rammeindsatser eller konkrete tilbud 10. Der bør så vidt muligt indtænkes effektmålinger i dokumentationsarbejdet. Laves konkrete tilbud bør der altid være effektmålinger på individniveau. Ved rammeindsatser bør effektmålinger gennemføres under hensyntagen til økonomien 11. Effektmålinger kræver, at der er sket en før-måling/baseline-måling. Det er derfor nødvendigt at indtænke dokumentation allerede i planlægningsfasen af en indsats 12. Som udgangspunkt anbefales egentlige RCT-studier kun gennemført i begrænset omfang i kommunerne gerne i samarbejde med andre kommuner, regioner og med forskere. 13. Kommunerne kan med fordel danne netværk omkring konkrete indsatser, hvor der opnås enighed om, hvordan en indsats skal registreres. Debat vil da kunne ske med udgangspunkt i sammenlignelige nøgletal 14. Feedback på en monitorering til udførerledet fremmer en løbende læringsproces 1.1. En pragmatisk tilgang til dokumentation Udgangspunktet for de anbefalinger, der gives i dokumentet er en pragmatisk tilgang til evaluering og dokumentation. En pragmatisk tilgang lægger for det første ikke op til, at kommunerne skal leve op til høje forskningsmæssige standarder. I det omfang, at kommunerne skal medvirke til forskning på området anbefales det, at det sker i et samarbejde med 4

5 forskere. Læs mere herom i dokumentet Brug af evidens i det kommunale sundhedsarbejde på En pragmatisk løsning indebærer for det andet, at dokumentationsindsatsen skal være omkostningseffektiv dvs. at dokumentationsværdien står mål med de ressourcer, som anvendes på den. Det bør vurderes, hvor stor en del af såvel tid som penge, som det er relevant at bruge på dokumentationsopgaver frem for andre typer opgaver. Endelig indebærer den pragmatiske tilgang, at det er kommunens behov, der er i centrum for dokumentationsindsatsen. Dvs: hvad er det for en dokumentation, som skal til, for at kommunerne på en fornuftig måde kan styre og kvalitetsudvikle deres tilbud på sundhedsområdet? Fokus på kvalitetsudvikling betyder bl.a., at det bør indtænkes i dokumentationsindsatsen, hvordan den kan bidrage til læring, se afsnit 7. Andre aktører f.eks. staten og forskere - kan også have ønsker til kommunernes dokumentationsindsats på området. Staten stiller på nuværende tidspunkt kun begrænsede krav til dokumentation af de kommunale sundhedsopgaver. Der er dog krav til registrering af aktiviteten på genoptræningsområdet, og der er særlige dokumentationskrav for de kommuner, der modtager puljemidler på området bl.a. i forbindelse med Indenrigs- og Sundhedsministeriets og Socialministeriets puljer til sundhedscentre og Sundhedsstyrelsen pulje til en indsats over for overvægtige børn. Endelig vil en lokal dokumentationsindsats skulle tilpasses den politiske efterspørgsel i kommunen. Når mange kommuner f.eks. igangsætter sundhedsprofiler er det dels for at have et grundlag for planlægning og prioritering af forskellige opgaver men også fordi der har vist sig en politisk efterspørgsel efter præcist at kunne redegøre for kommunens sundhedsproblemer. Der kan læses mere om sundhedsprofiler på Typer af mål på sundhedsområdet Alt efter hvilket dokumentations- eller evalueringsdesign, der vælges vil der være forskellige typer af målinger, der er relevante. Generelt bør der dog indsamles information om såvel ressourceforbrug, processer, aktiviteter og effekter. 5

6 I dokumentet Forskellige typer af målepunkter på sundhedsområdet - se gennemgås, hvad der skal forstås ved henholdsvis ressourcemålinger, procesmålinger, aktivitetsmålinger og effektmålinger i forhold til at dokumentere de kommunale sundhedsindsatser. Når der tales om effektmålinger kan der f.eks. skelnes mellem kliniske målinger, kliniske observationer og selvvurderet helbred. Endvidere kan effekten forstås enten snævert som knyttet til f.eks. motionsomfang, vægt, kost eller alkoholforbrug eller den kan forstås som livskvalitet i bredere forstand f.eks. målt ved selvværd, sociale netværk mv Behov for standarder Det er endvidere hensigtsmæssigt, at kommunerne så vidt muligt anvender de samme typer af målinger, der gør det muligt for kommunerne at benchmarke sig med hinanden, og som kan sikre, at det i højere grad bliver muligt at samle viden om, hvad der virker, og hvad der ikke virker. KL har indledt et arbejde med at tilvejebringe kommunerne anbefalinger til hensigtsmæssige målinger i forhold til konkrete indsatsområder for den kommunale sundhedsindsats. I første omgang er der sat fokus på: Børn - sundere rammer for mad og bevægelse og tilbud til overvægtige børn Rygning røgfri miljøer, forebyggelse af rygestart og tilbud om rygestop På findes de to dokumenter, der kommer med anbefalinger til, hvordan dokumentationsopgaven kan gribes an på disse områder. Anbefalingerne er blevet til i en dialog med forskere, kommunale praktikere og embedsmænd fra Sundhedsstyrelsen. KL håber at kunne udarbejde lignende dokumenter om øvrige indsatsområder i løbet af de næste år. Disse vil da kunne findes på samme internetside. Det bemærkes, at der i dokumentet ikke er tale om egentlige standarder, men blot anbefalinger og inspiration til, hvordan dokumentationsopgaven kan gribes an. På længere sigt anbefales, at KL og kommunerne i fællesskab udvikler standarder samt fælles databaser, hvor dokumentationen kan forankres Forskel på rammeindsatser og konkrete tilbud Når der gennemføres kommunale tiltag på sundhedsområdet kan der med fordel skelnes mellem rammeindsatser og konkrete tilbud. Rammeindsatser retter sig mod en bred, uspecificeret målgruppe (fx kostog bevægelse i daginstitutioner og skoler, røgfri miljøer og opsporing af 6

7 diabetespatienter). Konkrete tilbud rettes mod specifikke målgrupper, der har behov for et særligt tilbud (fx rygestoptilbud, tilbud til overvægtige børn og rehabiliteringsforløb for diabetespatienter). Der er stor forskel på den dokumentationsudfordring man står over for - alt efter om der er tale om en rammeindsats eller et konkret tilbud. I forhold til konkrete tilbud bør målingerne ske på individniveau både når det gælder aktiviteter og effekter. Laves brede rammeindsatser kan individmålinger være omkostningskrævende. På nogle områder kan der dog anvendes eksisterende registerdata, f.eks. højde-vægt-målinger, som foretages af sundhedsplejersker og skolelæger. Et alternativ er at lave stikprøver, at gennemføre målinger på gruppeniveau eller at nøjes med at lave aktivitetsmålinger. I de to dokumenter omtalt i afsnit sundere rammer for mad og bevægelse/tilbud til overvægtige børn samt indsatser mod rygning skelnes der i anbefalingerne mellem rammeindsatser og konkrete tilbud IT-understøttelse Der er to relevante tilgange, der bør tænkes igennem i forhold til IT på det kommunale sundhedsområde. For det første, hvilke relevante informationer om de enkelte borgere, der allerede er tilgængelige i kommunernes registre og vil kunne drages i nyttig anvendelse i forhold til den kommunale sundhedsindsats. Og for det andet, i hvilke systemer skal de oplysninger registreres, som skal bruges til dokumentation af kommunens indsats nogle kan nøjes med Excell, andre vil kunne drage fordel af statistikpakker som SAS eller SPSS. Endvidere kan der være muligheder for at forankre registreringen i kommunernes eksisterende systemer. Disse spørgsmål er i fokus i dokumentet Dokumentation og ITmuligheder i forhold til de kommunale sundhedsopgaver, der findes på 7

8 2. Særlige dokumentationsudfordringer på forebyggelsesområdet 2.1. Hvad er forebyggelse og sundhedsfremme? Kommunerne har med kommunalreformen fået ansvaret for forebyggelse og sundhedsfremme. Forebyggelse og sundhedsfremme er begreber, der dækker et bredt spektrum af indsatser lige fra rygestopkurser, motionstilbud og cykelstier til patientskoler og skolesundhedstjenesten. Nedenfor ses en definition af de to begreber. Definitioner Sundhedsfremme: En sundhedsrelateret aktivitet, der søger at fremme den enkeltes sundhed, og dermed folkesundheden, ved at mobilisere borgerens herunder patienters ressourcer og handlekompetencer. Forebyggelse: Sundhedsrelaterede aktiviteter, der søger at forhindre udviklingen af sygdomme, psykosociale problemer eller ulykker og dermed fremmer den enkeltes sundhed og folkesundheden. Borgerrettet forebyggelse er sundhedsfremme- og forebyggelsesindsatser rettet mod alle borgere, hvorimod den patientrettede forebyggelse er rettet mod personer med en lægediagnosticeret sygdom. Kilde: Terminologi forebyggelse, sundhedsfremme og folkesundhed Særlige dokumentationsudfordringer i forhold til forebyggelse og sundhedsfremme Forebyggelsesområdet har nogle særlige udfordringer i forhold til dokumentation, bl.a. fordi der sjældent kun er én risikofaktor, der er årsag til en sygdom. Forebyggelsesindsatserne foregår i en kompleks virkelighed, hvor mange faktorer har betydning for den indsats, der laves. Selv om man laver en indsats for f.eks. at begrænse andelen af rygere i kommunen, så kan et evt. fald i andelen af rygere i en målgruppe skyldes mange andre ting, end den konkrete indsats, fx, nationale kampagner, lovgivning om rygeforbud eller afgifterne størrelse eller den lokale kulturs opfattelse af, hvad der er smart 8

9 eller ej. Analysedesign, der indbygger kontrol (se afsnit 4) kan til en vis grad tage højde for andre faktorers betydning. For forebyggelsesområdet gælder endvidere i højere grad end i forhold til de sundhedsindsatser, der er forankret på hospitalerne at der er tale om et tværdiciplinært felt. En effektiv forebyggelse kræver ikke blot klinisk medicinsk indsigt i de rette metoder, men også samfundsvidenskablig indsigt i, hvordan samfundet og dets institutioner fungerer og kan bruges i en forebyggende indsats samt pædagogisk indsigt i, hvordan man kan få mennesker til at ændre adfærd. At der er tale om et tværdisciplinært felt er ikke mindst en udfordring i forhold til, hvordan indsatsen skal dokumenteres. Forebyggelsesområdet lider endvidere af mangel på relevant viden om, hvordan man kan få folk til at ændre adfærd. Der er stor viden om konsekvenserne af forskellige risikofaktorer som rygning, inaktivitet, stort alkoholforbrug og dårlige kostvaner. Men der er lille viden om, hvordan man ændrer på folks vaner. Ikke mindst er der mangel på viden om, hvordan man bedst gør dette i en dansk kommune, herunder hvordan man bedst integrerer indsatsen bredt i den kommunale vifte af tilbud. Dokumentation af indsatsen på sundhedsområdet i kommunerne er nødvendig for, at denne viden kan blive genereret fremover. Når en forebyggelsesindsats skal sættes i gang bør der naturligvis tages udgangspunkt i den eksisterende viden på området om, hvad der virker også kaldet evidens. At der ikke eksisterer tilstrækkelig viden bør dog ikke betyde, at der ikke kan sættes indsatser i gang. Dette kan bl.a. ske med udgangspunkt i egen faglighed og gode eksempler. Se f.eks. KL s idekatalog om borgerrettet forebyggelse på Læs mere om, hvordan kommuner kan arbejde evidensbaseret i dokumentet Brug af evidens i det kommunale sundhedsarbejde på 3. Evalueringsmetoder I dette afsnit skitseres kort forskellige metoder, der kan overvejes ved dokumentation af en kommunal sundhedsindsats: Monitorering versus evaluering Intern versus ekstern evaluering Formative versus summative evalueringer Procesevalueringer versus effektevalueringer 9

10 Selvom de forskellige metoder stilles op over for hinanden vil der sjældent være tale om enten-eller. Det vil f.eks. være nyttigt at lave en løbende monitorering af et tilbud også selv om der er planlagt et større evaluering senere. Det vil være relevant at supplere en evaluering af effekter med en procesevaluering for at finde ud af, hvorfor noget gik godt eller skidt. Og det kan være relevant at supplere en ekstern evaluering med en intern evaluering. 3.1 Monitorering versus evaluering Kommuner kan have meget forskellige intentioner med at indsamle data. Der kan skelnes mellem på den ene side løbende monitorering og på den anden side en evaluering. Med monitorering forstås en løbende indsamling af data til brug for overvågning, styring og løbende tilpasning af tilbud. Der vil typisk være tale om kvantitative målinger på en række udvalgte nøgletal. Der kan dog også være tale om kvalitative målinger. Afrapportering vil typisk ske i ledelsesinformationssystemer eller i korte statusnotater. KL anbefaler, at kommunerne som et minimum foretager en monitorering af indsatsen på sundhedsområdet. Med evaluering forstås en dataindsamling, der foregår på et bestemt tidspunkt (men som naturligvis kan gentages). Der vil typisk være større vægt på vurderinger og fortolkninger. Evalueringerne vil ofte have et bredere datagrundlag, hvor der evt. også omfattes kvalitative data. Afrapportering vil typisk ske i mere eller mindre omfattende rapporter. Nogle evalueringer vil også have et forskningsmæssigt sigte. 3.2 Intern versus ekstern evaluering En ekstern evaluering vil sige en evaluering, der foretages af personer eller institutioner, der ikke direkte har været involveret i det daglige sundhedsarbejde, og som ikke umiddelbart har interesser i at tegne et positivt eller et negativt billede af et tiltag. Eksterne evaluatorer kan f.eks. være forskere eller et konsulentfirma. En intern evaluering foretages typisk af de personer og institutioner, der direkte har været involveret i sundhedsarbejdet. Fordelen ved at anvende interne evaluering er, at de involverede personer ofte har et bedre kendskab til, hvad der er årsagen til, at noget er gået godt eller dårligt. Fordelen er endvidere, at den læring, som sker i forbindelse med evalueringsarbejdet forbliver i kommunen og kan indgå i en løbende kvalitetsudvikling af et sundhedstilbud. Det er dog ikke altid, at der lokalt er den nødvendige 10

11 kompetence til at gennemføre en dybdegående evaluering. Er der i stedet tale om en løbende monitorering bør der i kommunerne kunne findes den nødvendige kompetence flere steder vil man kunne få assistance fra en central evalueringsenhed og/eller IT-enhed. På forebyggelsesområdet har der traditionelt været mange projekter finansieret af puljemidler. Her er der ofte særlige evalueringskrav samt tilknyttet en fast ekstern evaluator. Det er f.eks. tilfældet for de kommuner, der har fået tilskud til sundhedscentre. I sådanne tilfælde vil det være relevant at overveje, om en ekstern evaluering skal suppleres af en intern evaluering. 3.3 Formative versus summative evalueringer Den formative evaluering karakteriseres ved, at evalueringen foregår samtidig med udviklingen i et projekt og for dem, der er direkte involveret i projektet. Selve evalueringen er således med til at forme og udvikle den indsats, der evalueres. Evalueringen kan dels bidrage til læring blandt sundhedspersonalet i form af en løbende feedback på arbejdet, og kan dels være en integreret del af selve indsatsen, der skal forbedre sundheden i en given målgruppe. I afsnit 7 sættes der særligt fokus på evalueringer på sundhedsområdet med fokus på læring. Summative evalueringer bliver foretaget efter afslutningen på et projekt og ofte af eksterne evaluatorer. Den summative evaluering giver primært viden til eksterne opdragsgivere. Det kan f.eks. være staten, der skal vide, hvad der kommer ud af puljemidler, eller det kan være en kommunal topledelse (politisk eller administrativ), der skal tage stilling til, om en given indsats skal fortsætte Effektevaluering versus procesevaluering En effektevaluering skal finde effekten af en indsats. Det handler om at finde relevante målepunkter i forhold til de målsætninger, vi har og det handler om, at sandsynliggøre, at en fundet ændring kan tilskrives den konkrete intervention. I afsnit 4 diskuteres det, hvordan man kan anlægge et pragmatisk perspektiv, når der skal laves en effektevaluering på det kommunale sundhedsområde. En procesevaluering sætter fokus på at forklare, hvorfor en indsats er blevet en succes eller fiasko. Den sætter således fokus på, hvilke forhold, der er henholdsvis hæmmende og fremmende for processen. I en procesevaluering vil det være nødvendigt at følge en institution/et tiltag i en bestemt 11

12 afgrænset periode. Typisk vil procesevalueringen støtte sig til kvalitative data fremfor kvantitative. En række kvantitative data, der måler aktiviteter og processer kan dog også indgå centralt i en procesevaluering. Ofte vil effekt- og procesevalueringer understøtte hinanden. Procesevalueringen skal svare på, hvorfor resultatet af en effektmåling er blevet som den er. KL anbefaler generelt i forhold til det kommunale forebyggelsesarbejde, at der så vidt muligt bør indtænkes effektmålinger. Det er nødvendigt at vide, om rygestopkurset betyder, at folk holder op med at ryge, om det lykkedes de overvægtige børn at få et vægttab (eller et højere aktivitetsniveau eller et højere selvværd) eller om folk i et alkoholtilbud nedsætter deres forbrug eller holder helt op med at drikke. Er der tale om brede rammeindsatser kan det dog være tilstrækkeligt at nøjes med aktivitetsmålinger, jf. også afsnit Effektevaluering 4.1 Det randomiserede kontrollerede eksperiment (RCT) Forebyggelsesområdet er på godt og ondt præget af de medicinske videnskabsidealer. Her er der en almindelig forståelse af, at den mest sikre viden om effekter (den højeste evidens) skabes ved at gennemføre randomiserede kontrollerede eksperimenter (RCT). RCT står for Randomised Controlled Trials (på dansk: randomiserede kontrollerede studier). Det betyder, at man opdeler deltagerne i et studie i to tilfældigt sammensatte grupper, hvor den ene er interventionsgruppe og den anden kontrolgruppe. Ved at randomisere antages det, at de to grupper er sammenlignelige på nær den intervention, som man udsætter interventionsgruppen for. Hermed er det muligt at isolere og vurdere effekten af interventionen. 12

13 4.2. Fordele og ulemper ved RCT Der er såvel fordele som ulemper ved brug af randomiserede kontrollerede eksperimenter. Som udgangspunkt er det KL s anbefaling, at egentlige RCT-studier kun gennemføres i begrænset omfang i kommunerne gerne i samarbejde med andre kommuner, regioner og med forskere. Øvrige kommuner kan drage nyttig inspiration i tankegangen bag RCT-studier, men vil kunne arbejde med dokumentation på et mere pragmatisk og mindre ambitiøst niveau, se afsnit 4.3. om kontrolgrupper og sammenligningsgrupper. Fordelen ved et RCT-studie er, at det i vidt omfang er muligt at sandsynliggøre, at en observeret effekt rent faktisk skyldes interventionen og ikke andre ting. Det sker ved, at det gennem forsøget er muligt at kontrollere for effekten af andre faktorer: Andre begivenheder i samfundet (såvel interventionsgruppe som kontrolgruppe udsættes for sådanne begivenheder) Naturlig udvikling i gruppen (børn vokser med alderen, ældre svækkes med alderen dette sker både i interventionsgruppen og kontrolgruppen) Målemetoden (de to grupper måles med samme metode) Selektion hvem er med (randomisering sikrer, at der er tilfældigt, hvem der er med) Placeboeffekt (ved blinding har forsøgsdeltagerne ikke viden om, hvorvidt de er med eller ikke er med) Forsøgslederbias (ved dobbeltblinding har forsøgslederen ikke viden om, hvem der er med i forsøget, og hvem der ikke er med) Der er imidlertid også en række ulemper ved RCT-studier, som tilsammen gør, at den slags studier snarere er for de få end for de mange kommuner: Det er dyrt det kræver ressourcer at indsamle data fra både interventionsgruppe og kontrolgruppe samt udarbejde en kompetent dataanalyse Det er kompliceret med mindre der i kommunen er særlige kompetencer vil det være nødvendigt at gennemføre analysen i samarbejde med f.eks. forskere eller konsulenter Blinding og dobbeltblinding er ofte ikke mulig. Ved medicinske forsøg kan der anvendes kalkpiller -ved forebyggelsesindsatser er folk ikke i tvivl om, hvorvidt de er udsat for en intervention eller ej. Der kan være etiske problemer ved kun at tilbyde en intervention til en del af den målgruppe, der har et behov (omvendt kan det anføres, at det er uetisk at undlade at tilbyde en intervention når det ikke vides om interventionen har en effekt eller ej) 13

14 Der kan være praktiske problemer med kun at give en del af en målgruppe en intervention. Hvis alle i en kommune tilbydes en bestemt aktivitet, så kan der ikke fra samme totalpopulation udvælges personer til kontrolgruppen, da der ikke er nogen, der ikke er blevet udsat for indsatsen. En kontrolgruppe kan dog findes i en anden kommune. Ligeledes kan det være svært at gennemføre et RCT-studie, hvis målgruppen er relativt lille. Så kan det være svært at opnå statistisk signifikante resultater Generaliseringsproblemer Et RCT-forsøg kan ikke sige noget om, hvorvidt en metode også kan bruges på helt andre målgrupper eller i helt andre kontekster Black-box-problemer. Hvis det ikke samtidig kortlægges hvilke elementer, der har været vigtigst for at få en effekt, så kan man risikere, at man ved en gentagelse ikke bevarer de rigtige elementer i aktiviteten Nogle interventioner kan ikke standardiseres. Det, som f.eks. er den rette indsats for ét overvægtigt barn, er det måske ikke for et andet. Når indsatsen skal tilpasses individuelt kan det være svært at lave et RCTstudie. 4.3 Anvendelse af kontrolgrupper og sammenligningsgrupper Kontrolgrupper Det kan være hensigtsmæssigt at lære af RCT-metoden, men at løse lidt op for de stramme forudsætninger. Man kan således opretholde at arbejde med kontrolgrupper, men se bort fra kravet om randomisering. I stedet kan man forsøge kvalitativt eller kvantitativt at vurdere, om de to målgrupper ligner hinanden i forhold til forskellige relevante socioøkonomiske karakteristika. Kontrolgruppen dvs. en gruppe, der ikke modtager et tilbud - kan f.eks. være: Lignende målgrupper i kommunen, som ikke modtager et tilbud Andre institutioner i kommunen, som ikke modtager et tilbud Andre kommuner, som ikke har et tilbud Det er dog ressourcekrævende at skulle indsamle data i kontrolgrupper, der ikke modtager et tilbud bl.a. fordi der er tale om personer, som man i tilbuddet ikke har kontakt med. I stedet kan det overvejes, om der i stedet skal sammenlignes med andre grupper, der også modtager et tilbud da der her er et større potentiale for læring. 14

15 Sammenligningsgrupper/nøgletalsklubber Det kan overvejes at sammenligne sig med en anden kommune, der har et lignende tilbud eller med et lignende tilbud et andet sted i kommunen. Dette kan f.eks. ske ved at oprette et netværk, hvor der er enighed om hvordan data registreres. Fokus vil her kunne være på såvel læring som generering af ny viden. Der vil her kunne sammenlignes forskellige nøgletal for aktiviteter og effekter og der kan etableres en debat om, hvorfor nogle tilbud giver bedre resultater end andre. Se også afsnit 7 om læring Sammenligning med kendte landstal, regionstal og kommunetal På enkelte områder findes der kendte landstal, som det kan være relevant at sammenligne sig med: Laves der en spørgeskemabaseret sundhedsprofil er det relevant at sammenligne sig med de nationale og regionale tal fra SUSYundersøgelsen, som gennemføres af Statens Institut for Folkesundhed ( Laves rygestopkurser er det relevant at sammenligne sig med kendte tal for, hvilke succesrater man kan forvente af rygestopkurser. Det sker automatisk, når man anvender rygestopbasen til dokumentation På sigt bliver udfordringen at skabe databaser, der mere bredt samler dokumentationen af kommunernes opgavevaretagelse på sundhedsområdet Ingen kontrol, men blot før- og eftermålinger Hvis der ikke anvendes kontrolgrupper, men alene før- og eftermålinger i interventionsgruppen - bør man forholde sig kritisk til, om en effekt eller en udebleven effekt rent faktisk skyldes interventionen. En effekt kan f.eks. skyldes andre begivenheder i samfundet eller at der kan forventes en særlig udvikling for en gruppe uanset interventionen, jf. også afsnit 6.2 om måletidspunkter. 4.5 Statistisk kontrol En måde at takle udfordringerne i forhold til forskel på indsatsgruppe (gruppe 1) og sammenligningsgruppe (gruppe 2) er ved at anvende statistisk kontrol. Ved hjælp af statistisk kontrol er det muligt at korrigere for forskelle i forhold til forskellige baggrundsvariable f.eks. køn, alder, uddannelse og indkomst. 15

16 Den statistiske kontrol kan ske ved, at grupperne kun sammenlignes inden for f.eks. bestemte aldersgrupper eller bestemte uddannelsesgrupper f.eks. at lavtuddannede i gruppe 1 sammenlignes med lavtuddannede i gruppe 2 og højtuddannede i gruppe 1 sammenlignes med højtuddannede i gruppe 2. Omfatter undersøgelses tilstrækkeligt mange personer vil der kunne laves yderligere opdelinger i sammenligningerne - f.eks. af højtuddannede kvinder i gruppe 1 og 2. Endvidere kan statistisk kontrol ske ved, at resultaterne fra den ene gruppe standardiseres i forhold til f.eks. køn- og aldersfordelingen i den anden gruppe. Tallene i gruppe 1 er således et udtryk for, hvordan resultatet ville have set ud, hvis gruppe 1 havde samme køn- og aldersfordeling som gruppe 2. Herefter kan resultaterne i de to grupper sammenlignes. Statistiske programpakker som SPSS eller SAS kan lave en sådan standardisering. For at kunne lave en statistisk kontrol er det nødvendigt at der sker en registrering af relevante baggrundsdata for de personer, der modtager en given indsats. 5 Cost-benefit-analyser Ofte er det ikke tilstrækkeligt at vide, om et tiltag har en sundhedsmæssig effekt - der ønskes også viden om, hvorvidt pengene er givet godt ud dvs. om indsatsen/effekten står mål med de ressourcer, der bruges. Man taler her ofte om cost-benefit-analyser. Der kan her anlægges såvel et samfundsøkonomisk perspektiv som et kommunaløkonomisk perspektiv Samfundsøkonomisk effekt af forebyggelse Et samfundsmæssigt perspektiv vurderer udgifterne til et initiativ i forhold til de samfundsøkonomiske effekter f.eks. hospitalsindlæggelser, skadestuebesøg, ambulante besøg, kontakt til alment praktiserende læge, sygefravær, førtidspensioner, sundhedsvæsenets omkostninger, samfundsøkonomiske produktionstabsomkostninger og fremtidigt konsum. Når der laves medicinske teknologivurderinger (MTV) på sundhedsområdet indgår der altid en vurdering af de samfundsøkonomiske effekter. Statens Institut for Folkesundhed har i 2006 lavet en publikation, der beregner den samfundsøkonomiske effekt af følgende typer af risikoadfærd: rygning, alkohol, stofmisbrug, fysisk inaktivitet, overvægt, usund kost, usikker sex, forhøjet blodtryk, arbejdsulykker, arbejdsbetingede lidelser, 16

17 psykisk arbejdsbelastning, passiv rygning, hjemme- og fritidsulykker, trafikulykker, svage sociale relationer og uddannelse. Rapporten findes på: Kommunal kasse -økonomisk effekt af forebyggelse For kommunen er det dog ikke mindst relevant at se på et tiltag ud fra et kommunaløkonomisk kasse -perspektiv. Her skal konsekvenserne af et sundhedstiltag vurderes i forhold til kommunens samlede økonomi. Indførelsen af kommunal medfinansiering af de regionale sundhedsopgaver har til hensigt at fremme denne tankegang i kommunerne. Laves en kommunaløkonomisk vurdering af et tiltag vil det altså for det første være relevant at vurdere, om en kommunal indsats giver anledning til sparede udgifter til kommunal medfinansiering af de regionale sundhedsudgifter. KL arbejder for, at det bliver muligt for kommunerne at få individbasede oplysninger om udgifterne til medfinansiering. Dette vil muliggøre, at kommunerne kan analysere, om en forebyggelsesindsats over for en bestemt målgruppe resulterer i færre indlæggelser for denne gruppe. Det er pt. uafklaret, om kommunerne vil få adgang til denne viden. Ved vurdering af sparede midler til medfinansiering skal man være bevidst om, at der formentlig kan forventes en generel aktivitetsstigning i det regionale sundhedsvæsen. Til trods for, at kommunale aktiviteter begrænser genindlæggelserne for konkrete målgrupper vil det altså ikke nødvendigvis kunne ses i det samlede bidrag, som kommunen skal betale til regionen. For det andet skal alle andre faktorer, der kan have relevans for den kommunale økonomi medregnes. Det kan være sparede penge på sygedagpenge, førtidspension og udgifter til hjemmepleje og hjemmesygepleje. For den enkelte kommune kan udsigten til senere besparelser i den kommunale kasse betyde, at man vælger et højere serviceniveau end man ellers ville have gjort fordi det kan betale sig. Der advares dog om at lave for optimistiske skøn over besparelserne kortsigtede og langsigtede gevinster I forhold til den borgerrettede forebyggelse vil der ofte være en stor tidsforskydning fra et tiltag igangsættes til en økonomisk effekt viser sig. Der kan således gå lang tid fra en indsats for sund mad og bevægelse viser sig i form af mindre overvægt og færre diabetestilfælde. Hvor langsigtet effekten er, vil afhænge fra område til område men det er sjældent, at den 17

18 kan indhøstes inden for hverken det enkelte budgetår eller den enkelte valgperiode. Indsatsen i forhold til kost og bevægelse har formodentlig relativt langsigtede konsekvenser, mens effekten af en indsats mod fald og ulykker kan have en kortere tidshorisont. I forhold til den patientrettede forebyggelse vil tidshorisonten også være relativt kort. Et godt rehabiliteringsforløb i forhold til KOL- diabetes og hjertepatienter kan forebygge mange genindlæggelser og betyde, at borgerne bliver mindre plejekrævende i forhold til hjemmepleje og hjemmesygepleje. Ligeledes vil der kunne høstes kortsigtede gevinster i hjemmeplejen og hjemmesygeplejen, hvis en kommunal indsats betyder, at borgerne bliver mindre plejekrævende. Generelt er det dog en meget vanskelig opgave forbundet med mange hypoteser og forudsætninger at foretage beregninger af de forventede sparede kommunale midler ved en forebyggelsesindsats. Det bliver en udfordring i de kommende år at kunne lave disse beregninger på mere kvalificeret vis. 6. Antal målepunkter og måletidspunkter Der skal i et analysedesign tages stilling til, hvilke målepunkter, der skal være, og på hvilke tidspunkter, der skal måles. Se også dokumentet Forskellige typer af målepunkter på sundhedsområdet på Mængden af målepunkter Der er vigtigt, at dokumentationsudfordringen for kommunerne ikke bliver uoverkommelig, og at den tid, der bruges på dokumentation står mål med resultatet. Der er derfor grund til at begrænse antallet af målepunkter. Ambitionen bør være at opstille relativt få, enkle og sammenhængende målepunkter, der er sammenlignelige over tid, og på tværs af kommuner. Det sidste kræver, at der udvikles standarder på området, jf. afsnit 1.3. Omvendt bør målepunkterne dække så bredt, at der er muligt meningsfulgt at evaluere aktiviteterne. Vælger en kommune en mere dybdegående evaluering vil det også kunne være nødvendigt med flere målepunkter, herunder at supplere de 18

19 kvantitative målepunkter med en række kvalitative. Endvidere kan medvirken i et forskningsforsøg give anledning til, at der sker en mere detaljeret registrering Måletidspunkter Før-måling/baseline For at kunne se, om et tiltag har haft en effekt er det nødvendigt at kende udgangssituationen. Det er derfor en god ide at lave en før-måling eller en baseline i forbindelse med sin dokumentation. Før-målingen vil typisk gælde effektmålepunkterne f.eks. Hvad vejede en person ved indsatsens begyndelse? eller hvad var en persons kondital ved indsatsens begyndelse. En før-måling kan dog også knytte sig til aktivitetsmålinger af sundhedsindsatsen før et givent initiativ f.eks. hvor mange idrætstimer blev der tilbudt før kommunens nye indsats, eller hvor meget genoptræning har der hidtil været tilbudt i amtsligt regi. Behovet for før-målinger betyder, at det er nødvendigt at indtænke dokumentation allerede i et projekts eller tiltags planlægningsfase Eftermåling For at måle effekten af et tilbud er det nødvendigt at gentage målingerne ved et tiltags afslutning. Effekten fås ved at sammenligne før- og eftermålinger. Ved fortolkningen skal man huske på, at en observeret effekt kan skyldes mange andre ting end interventionen, jf. diskussion heraf i afsnit 2.2. og afsnit Opfølgende målinger Det vil ofte være hensigtsmæssigt at lave en eller flere opfølgende målinger på personer, der har modtaget et tilbud for at sikre at en umiddelbar effekt også varer ved om der er en varig effekt. Ved behandling af overvægt ses f.eks. ofte en flot effekt i form af bl.a. vægttab mens personen deltager i tilbuddet. Det typiske billede er imidlertid, at en meget stor del af deltagerne tager på igen bagefter. Ved hjælp af opfølgende målinger er det muligt at følge den langsigtede effekt. 19

20 Er der en klar tendens til tilbagefald, kan man i et tilbud overveje at sætte ind med særlige aktiviteter, der kan bidrage til at fastholde en effekt. Muligheder kan her være, at kommunen tilbyder opfølgende aktiviteter eller at der samarbejdes med f.eks. patientforeninger, skoler, socialforvaltning mv. om at bistå med opfølgende aktiviteter forankret i borgerens hverdag. Det kan opleves som et stort arbejde at skulle indhente data til de opfølgende målinger fordi der skal tages kontakt til en række personer, som ikke længere er fysisk tilstede i tilbuddet. I forbindelse med rygestopbasen kan de enkelte projekter vælge at købe sig til denne ydelse af et eksternt firma. En opfølgende måling kan f.eks. ske efter ½ år, 1 og/eller 1½ år. De opfølgende data kan indhentes via brevudsendelser med svarkuvert, via telefonen eller via en netbaseret besvarelse Før- og eftermålinger ved konkrete tilbud og rammeindsatser Gennemføres konkrete tilbud til en udvalgt målgruppe bør der som et minimum indsamles data, der gør det muligt at sammenligne effektmål før og efter et projekt er sat i gang, og så vidt muligt også opfølgende målinger. Gennemføres rammeindsatser f.eks. kost og bevægelsesindsatser i institutioner kan det være sværere og dyrere at lave før- og eftermålinger på individniveau. Der er her andre muligheder for at lave effektmålinger: Eksisterende registerdata kan anvendes Der kan laves stikprøver i gruppen Der kan anvendes data på gruppeniveau f.eks. spørgeskemaer til institutionsledere/lokale projektledere Det vil bl.a. være et økonomisk spørgsmål om der i forhold til rammeindsatser skal laves både før- og eftermålinger eller måske kun en eftermåling. Alternativt kan man nøjes med aktivitetsmålinger, f.eks. målinger af, om der er gennemført sundhedspolitikker på institutioner og af, hvilke konkrete aktiviteter, der er sat i gang. I mange kommuner gennemføres lige nu en sundhedsprofil, som en baseline for kommunens sundhedsindsats. Mange af kommunerne har planer om at gentage undersøgelsen, f.eks. hvert 4. år, således at de overordnede effekter af kommunens sundhedstiltag (i kombination med andre tiltag og begivenheder, der påvirker sundhedstilstanden) kan måles. 20

21 7. Særlige evalueringsmetoder med fokus på læring Der er udviklet en række særlige evalueringsmetoder med fokus på læring. Metoderne indebærer alle, at de personer som er genstand for evalueringen inddrages tæt i evalueringsforløbet. Dokumentationsindsatsen kan for det første bidrage med løbende læring for de medarbejdere, som skal levere indsatsen således at indsatsen løbende kan kvalitetsudvikles. Nedenfor gennemgås monitorering med feedback, auditmetoden, gennembrudsmetoden og benchlearning, som metoder, hvor der er fokus på læring blandt medarbejderne. For det andet kan dokumentationsindsatsen bidrage til at formidle særlige sundhedsbudskaber, og dokumentation kan tydeliggøre det over for deltagere i et sundhedstilbud hvorfor, det er vigtigt, at de deltager. Sidst i dette afsnit gives eksempler på, hvordan dokumentation således aktivt kan integreres i forebyggelsesindsatser Monitorering med feedback En løbende monitorering af aktiviteter og effekt af et tilbud kan bruges i en læringsproces i det enkelte tilbud. Det kræver dog, at der sker en formidling af oplysninger tilbage de udførende medarbejdere. Data skal altså ikke kun tilgå ledelsesniveauer eller nationale databaser - der bør være en feedback til udførerledet, hvis data skal bruges i en læreproces. Når der er feedback på en monitorering kan der også forventes en højere kvalitet af data, fordi dem, som skal registrere data kan se meningen med galskaben. En af styrkerne ved rygestopbasen er, at den løbende generer rapporter tilbage til det enkelte tilbud (se Auditmetoden Det engelske ord audit betyder direkte oversat revision eller høring. Begrebet kendes fra forskellige sammenhænge og er meget udbredt i sundhedsvæsnet. Audit tager udgangspunkt i konkrete forløb og hændelser og en vurdering af disse i et fagligt panel. Fagfolk sætter sig sammen med hinanden og evt. eksterne fagfolk og vurderer den konkrete praksis. 21

22 Relevante data og dokumentation indgår i arbejdet og målet er at vurdere, om kvaliteten i den konkrete indsats og forløb har været god med udgangspunkt i, om de lever op til de faglige mål, rammer eller principper, der er på området. Dokumentation kan dels bestå af kvantitative data og dels bestå af casehistorier, der enten kan være skriftlige eller mundtlige. Det vil da være nødvendigt at blive enige om at dokumentere på den samme måde. Fokus kan både være de gode forløb og de forløb, der har været mindre tilfredsstillende. Der kan skelnes mellem en intern audit, hvor metoden anvendes i en intern læringsproces mellem kollegaer og ledelse, en interkollegial audit, hvor kvalitetsvurderingen foretages af faglige kollegaer på kryds og tværs af et fagligt fællesskab og en ekstern audit, hvor audit foretages af uafhængige udefrakommende fagfolk. Det kan være relevant at blive inspireret af auditmetoderne ved dannelsen af netværk blandt kommunale folk, der arbejder på sundhedsområdet. Auditmetoden vurderes ikke mindst at være relevant i forhold til evaluering og læring ved komplekse patientforløb med mange aktører f.eks. såvel praktiserende læger, sygehuse og kommuner. Der er på forebyggelsesområdet ikke på alle områder enighed om, hvad det gode forløb indebærer, jf. også afsnit 2.2. Det betyder, at et auditforløb kan have et mere eksplorativt forløb at finde frem til de gode forløb/den gode indsats frem for alene at vurdere, om et forløb lever op til allerede definerede mål, rammer og principper. 7.3 Gennembrudsmetoden Gennembrudsmetoden tager udgangspunkt i den forskel, der findes mellem eksisterende viden om best practice og gældende adfærd på et udvalgt område. Kvalitetsudviklingsarbejdet går ud på at tilpasse viden om best practice til lokale forhold gennem en kontinuerlig afprøvning af forandringstiltag og gennem erfaringsudveksling i et netværkssamarbejde. Udveksling af viden og erfaringer mellem individer og organisationer, der arbejder med de samme problemstillinger er således et af kerneelementerne i metoden. Et gennembrudsprojekt kan ikke gennemføres i lille målestok med få deltagere, men fordrer etablering af et større netværkssamarbejde med mange deltagende teams. Endvidere kræver det specialuddannet ekstern 22

23 ekspertise at gennemføre et sådant projekt. Et gennembrudsprojekt er således også meget dyrt og vurderes kun at kunne gennemføres med eksterne midler. Der er i Danmark et landsdækkende videnscenter for metoden, se Metoden har i Danmark primært været anvendt på sundheds- og socialområdet. Der er bl.a. igangsat et projekt på videnscentret om Styr på diabetes 2 med fokus på almen praksis. 7.4 Benchlearning Begrebet BenchLearning (BL) er en sammenskrivning af to teoretiske nøglebegreber: Benchmarking The Learning Organisation (Den Lærende Organisation) Idéen i BL er, at sammenkæde principperne fra Benchmarking og fra Den Lærende Organisation. BL indeholder således både elementer fra teorierne om Benchmarking og fra teorierne om Den Lærende Organisation. Målet har været at videreudvikle principperne fra Benchmarking til en metode, der sikrer en kontinuerlig læreproces i organisationen og udvikling af medarbejderens kompetencer. Benchlearning er bygget op omkring den idé, at udvikling bedst sker ved at sammenligne sig med andre organisationer, sådan at den forskellighed, der er mellem organisationerne, kan bruges som kim og inspiration til at tænke nyt. På den vis kombineres viden og erfaring mellem organisationerne. Inspirationen virker derfor som løftestang for udvikling af organisationen. Sammenligningen kan ske på fx. arbejdsprocesser, økonomi, kompetencer, teknologi, struktur og kvalitet. Organisationer, der vælger at bruge benchlearning som metode, skal udvælge en eller flere organisationer til brug for sammenligningen. I Danmark er benchlearning metoden blandt andet anvendt på biblioteksområdet, se håndbogen hjemmeside/haandbog i benchlearning fra hjemmesiden.pdf Dokumentation et direkte middel til ændret adfærd Der er på forebyggelsesområdet mange eksempler på, at dokumentationen kan indgå som en integreret del af selve indsatsen i forhold til en 23

24 målgruppen. Dokumentationsaktiviteten er altså i sig selv en del af de aktiviteter, der skal betyde en adfærdsændring. Dokumentationsindsatsen kan bidrage til at formidle særlige sundhedsbudskaber, og dokumentation kan tydeliggøre over for deltagere i et sundhedstilbud hvorfor, det er vigtigt, at de deltager. Dokumentationen kan også være motiverende i sig selv folk ændrer adfærd, fordi det bliver målt/der bliver holdt øje med dem. I boksen ses eksempler på sådanne dokumentationsindsatser: Eksempler på dokumentation, som er en integreret del af det tilbud, der skal få folk til at ændre adfærd Opfølgende målinger i rygestopkurser. Når der i forbindelse med rygestopbasen - laves opfølgende målinger 6 mdr. efter at et rygestopkursus er afholdt, tilbydes folk, der fortsat ryger eller er begyndt i igen, et nyt rygestopkursus. Kuliltemålinger for rygere. En kuliltemåler kan være med til at tydeliggøre overfor rygerne, hvad de sundhedsmæssige konsekvenser af røg indebærer. De bruges derfor ofte som motivation i forbindelse med et rygestopkursus. Skridtmålere som dokumentation for aktivitet. En skridttæller kan bruges til at måle et aktivitetsniveau, men den har også vist sig at have en motiverende effekt fordi folk gerne vil kunne fremvise mange skridt. Sundhedsprofiler blandt unge. Når der gennemføres en sundhedsprofil blandt unge, hvor besvarelsen typisk sker i skoletiden, så kan dette med fordel kombineres med et temaforløb om sundhed i skolen. Ringsted-forsøget. Forsøget målte unge menneskers alkoholvaner og viste de unge, at de fleste af deres venner ikke drak så meget som de troede. Forsøget nedsatte forbruget ikke bare på alkohol, men også af cigaretter. Formuleringer af egne mål i familier med overvægtige børn. I behandlingstilbuddet Flik-Flak til overvægtige børn opstiller både børn, forældre og familien deres egne mål. Det kan fx være Vi vil begynde at gå tur i skoven sammen. Målene skrives ned med de pågældendes egne ord, og der foretages dokumentation af, i hvilken grad der leves op til målene. 24

25 8. Hvor findes der mere viden om evalueringsmetoder Nedenfor er en liste over publikationer med lettilgængelige beskrivelser af forskellige evalueringsmetoder. Dette kapitel er bl.a. baseret på disse publikationer. Dahler-Larsen, Peter (red): Tendenser i evaluering, Odense Universitetsforlag, 2001 Finn Kamper-Jørgensen og Gert Almind, Forebyggende sundhedsarbejde, Munksgaaard, 2003 Rhode, Peter, Om audit-metoden i den sociale praksis, Service- og Kvalitetskontoret, Århus Amt, 2001 Rieper, Olaf (red): Håndbog i evaluering, AKF-forlaget, 2004 Riisom; Thomas, Elementær evaluering, Capacent, 2006 Rytter, Lars og Torben Sejr, Tværsektoriel Audit af Patientforløb, Amtssygehuset i Glostrup, 2002 Der henvises endvidere til følgende hjemmesider: Dansk Evalueringsselskab: Sundhedsstyrelsens vejviser til evaluering: er/social_ulighed/lighed_i_sundhed/vejviser_evaluering.aspx?lang=da 25