Vidensdeklaration Socialstyrelsens Vidensdeklaration af sociale indsatser og metoder
Publikationen er udgivet af Socialstyrelsen Edisonsvej 18, 1. 5000 Odense C Tlf: 72 42 37 00 E-mail: socialstyrelsen@socialstyrelsen.dk www.socialstyrelsen.dk Forfatter: Socialstyrelsen Udgivet 17-12-2012 Download rapporten på www.socialstyrelsen.dk. Der kan frit citeres fra rapporten med angivelse af kilde. 2
Socialstyrelsens Vidensdeklaration Vidensdeklarationen er Socialstyrelsens værktøj, som har til formål at vejlede om vidensgrundlaget for indsatser og metoder på det sociale område. Med Vidensdeklarationen kan aktører på det sociale område særligt kommunerne - danne sig overblik over vidensgrundlaget bag en konkret social indsats/metode. Gennem dette overblik skal det blive lettere at træffe beslutning om, hvorvidt en social indsats eller metode skal anvendes og implementeres. Vidensdeklarationen i kontekst Vidensdeklarationen er Socialstyrelsens deklaration af, hvad vi ved og hvad vi endnu ikke ved om konkrete indsatser og metoder på det sociale område. Eller med andre ord: En deklaration af vidensgrundlaget bag sociale indsatser og metoder. Socialområdet er i Serviceloven defineret ved indsatsen for at forebygge eller tilgodese behov hos borgere med enten nedsat funktionsevne eller særlige sociale problemer. Man kan derfor groft opdele socialområdet efter de forskellige målgrupper (typisk aldersopdelte) og sociale problemstillinger, som det sociale arbejde retter sig mod (se Figur 1 herunder). Til hver målgruppe og social problemstilling kan findes sociale indsatser eller metoder (en indsats, der følger en særlig systematik). For at yde den rette indsats kræves et stærkt vidensgrundlag bag den indsats eller metode, som gives. Figur 1 viser, hvordan der for en given målgruppe og social problemstilling fordres et særligt vidensgrundlag om målgruppe, metode, implementering, effekt og økonomi. Vidensgrundlaget uddybes i de følgende afsnit. Figur 1: Vidensdeklarationens retter sig mod en given målgruppe (alder) og social problematik. 3
Vidensgrundlaget i Socialstyrelsens Vidensdeklaration Socialstyrelsens Vidensdeklaration anvendes i forhold til konkrete indsatser/metoder målrettet en bestemt målgruppe (en aldersgruppe med en særlig social problematik). Deklarationen består af fem temaer eller videnstyper. Formålet med de fem videnstyper er at give et overblik over vidensgrundlaget bag de sociale indsatser/metoder, som deklareres. Figur 2: Videnstyperne i Vidensdeklarationen 1. Målgruppe 2. Metode 3. Implementering 4. Effekt 5. Økonomi Grundantagelsen bag Vidensdeklarationen er, at de fem vidensdimensioner alle er nødvendige for at skabe et samlet billede af aktuelt bedste viden om en social indsats/metode med henblik på korrekt anvendelse og implementering af metoden. Enhver social indsats eller metode bør være vidensbaseret, dvs. bygge på viden inden for hver af de fem videnstyper. Figur 3 herunder viser, hvordan der for en bestemt social problematik (hjemløshed) og målgruppe (13-18 år) fordres viden inden for hver af de fem videnstyper. Figur 3: En social indsats/metode bygger på fem typer viden. Her eksemplificeret ved den sociale problemstilling hjemløshed for aldersgruppen 13-18 år. 4
Vidensdeklarationen synliggør, hvilke sociale indsatser og metoder, som bygger på et fyldestgørende vidensgrundlag, og hvilke, som ikke gør. Vidensdeklarationen er derfor også anvendelig til at identificere såkaldte videnshuller i det eksisterende vidensgrundlag om sociale indsatser/metoder. Hvilke indsatser og metoder deklarerer Socialstyrelsen? Begrebet sociale indsatser og metoder dækker over arbejdsformer på det sociale område, som er afgrænsede og følger en særlig faglig praksis: De retter sig mod én eller flere specifikke målgrupper eller problemstillinger De følger en fast systematik eller en kendt faglig praksis De har en selvstændig faglig identitet, dvs. de kan skelnes fra andre indsatser/metoder Socialstyrelsen vidensdeklarerer kun sociale indsatser/metoder med et skriftligt vidensgrundlag. Som en del af dette skriftlige vidensgrundlag skal der foreligge en metodebeskrivelse, der tydeliggør indsatsens/metodens grundkomponenter. Der vil i Socialstyrelsen løbende ske en deklarering og opdatering af deklarationer omkring sociale indsatser og metoder. Dette arbejde vil følge en prioriteret liste, hvor indsatser/metoder målrettet politisk højt prioriterede målgrupper og problemstillinger deklareres først. Det er Socialstyrelsen, som udvælger de indsatser/metoder, der skal deklareres. NB! Følgende indsatser/metoder deklareres ikke: Indsatser/metoder i modstrid med dansk lovgivning Indsatser/metoder, der indebærer væsentlige etiske problemer Indsatser/metoder med en dokumenteret negativ eller skadelig effekt. Hvordan ser Vidensdeklarationen ud? I Vidensdeklarationen vurderes det på en skala fra A til D, hvor stor vores viden inden for de enkelte videnstyper er. Denne vurdering vises i et spindelvæv, jf. figuren herunder (se eksempel på udfyldt vidensdeklaration i bilag 1). Ud over vurderingen i spindelvævet gives et kort resumé af vidensindholdet under hver dimension. Derudover gives en samlet vurdering, hvor relevante opmærksomhedspunkter omkring indsatsen/metoden beskrives. I eksemplet herunder er der stor viden om målgruppe, indsats og til dels om implementeringsforhold, mens der er ringe viden om indsatsens/metodens effekt og økonomi. 5
Figur 4. Vidensdeklaration for Indsats X Målgruppe 4 3 Økonomi 2 1 Beskrevet indsats Effekt Implementering Målgruppe Her gives et kort resumé af vidensgrundlaget for 'målgruppe'. Hvad ved vi om indsatsen/metoden i forhold til den sociale problemstilling, som skal afhjælpes? Vurdering: A Metode Her gives et kort resumé af vidensgrundlaget for 'metode'. Hvad ved vi om den metode, som skal afhjælpe målgruppens socciale problem? Vurdering: A Implementering Her gives et kort resumé af vidensgrundlaget for 'implementering'. Hvad ved vi om, hvordan man sikrer en god implementering af indsatsen? Vurdering: B Effekt Her gives et kort resumé af vidensgrundlaget for 'effekt'. Hvad ved vi om metodens effekt målt på det sociale problem, som skal afjælpes? Vurdering: D Økonomi Her gives et kort resumé af vidensgrundlaget for 'økonomi'. Hvad ved vi om, hvad det koster at implementere metoden? Vurdering: D Samlet vurdering Her gives en vurdering af det samlede vidensgrundlag bag metoden. 6
Hvem udarbejder vidensdeklarationen, og hvordan vurderes de sociale indsatser/metoder? Socialstyrelsen deklarerer kun indsatser og metoder, som har et skriftligt vidensgrundlag. I dette vidensgrundlag indgår en metodebeskrivelse, som definerer indsatsen/metoden. Herudover indgår øvrigt skriftligt materiale (artikler, rapporter, håndbøger mv.), som udgør indsatsens/metodens vidensgrundlag. Det er Socialstyrelsen, som deklarerer den konkrete metode eller indsats. Socialstyrelsen kan ud fra en konkret vurdering vælge at inddrage eksterne eksperter i den indsats/metode, som skal deklareres, i vurderingen. Vurderingen bliver foretaget af en arbejdsgruppe sammensat af: en eller flere personer med faglig ekspertise i den pågældende indsats/metode en person med ekspertise i at vurdere vidensgrundlaget for sociale indsatser/metoder Socialstyrelsen kan således trække på ekspertise fra SFI Det Nationale Forskningscenter for Velfærd eller andre relevante institutioner i situationer, hvor en indsats/metode aspirerer til højeste score på dimensionerne effekt og økonomi. De faglige eksperter i arbejdsgruppen udpeger med udgangspunkt i en søgning foretaget af Socialstyrelsens søgefunktion relevant skriftligt materiale, som lægges til grund for vidensdeklarationen. Vurderingen foretages ud fra en vejledning til vurdering. Denne vejledning sikrer, at vidensdeklarationerne foretages ud fra samme faglige kriterier og på en ensartet og systematisk måde. Det er vigtigt at understrege, at Vidensdeklarationen er baseret på en begrundet faglig vurdering, ikke på objektive kriterier. Begrundelserne for den faglige vurdering anføres i Vidensdeklarationen, jf. Figur 2. Socialstyrelsens deklaration af vidensgrundlaget for en indsats/metode kan og skal ikke betragtes som en videnskabelig bedømmelse. Vidensdeklarationen bygger ej heller på en udtømmende litteratursøgning efter videnskabelige standarder. Der er alene tale om Socialstyrelsens bedste vurdering ud fra kendt og tilgængelig viden. Denne viden ændrer sig til stadighed. Vejledningen til vurderingen fremgår herunder. 7
Vejledning til vurdering I Vidensdeklarationen skal der foretages en vurdering af, hvor stor den foreliggende viden om indsatsen/metoden er på de fem vidensdimensioner i vidensdeklarationen: 1. Målgruppe 2. Metode 3. Implementering 4. Effekt 5. Økonomi Der skal udformes en kort begrundelse for vurderingen, som viser, hvad der er lagt til grund for scoringen. Der skal ligeledes udarbejdes et kort resumé af væsentlig viden på hver af dimensionerne. For hver dimension er der en liste med kriterier i form af spørgsmål, som har til formål at hjælpe med at lave den rette vurdering af styrken af den foreliggende viden på de fem vidensdimensioner. Argumentationen for og opsamlingen på hver vurdering foretages med baggrund i disse spørgsmål. NB. Der forekommer spørgsmål på listen, som ikke er relevante for alle indsatser/metoder! Spørgsmålene fungerer som guide til vurderingen, og det er arbejdsgruppen, der foretager en fagligt forsvarlig samlet vurdering. Spørgsmålene er altså ikke operationaliseret, så man mekanisk kan score en metode fra A til D ud fra svarene på spørgsmålene. Den samlede vurdering er således udtryk for Socialstyrelsens faglige vurdering af vidensgrundlaget bag den pågældende indsats/metode og ikke en rent objektiv vurdering. Kriterierne skal bidrage til konsistente vurderinger på tværs af arbejdsgrupper og tid. 1. Målgruppe Vidensdeklarationen vurderer den foreliggende viden om målgruppen for den indsats/metode, der deklareres. Generel viden om målgrupper, herunder risiko- og beskyttelsesfaktorer, indgår ikke i Vidensdeklarationen, men beskrives andetsteds. Vurdering Stor viden Ingen/begrænset viden a b c d Argument for vurdering: Væsentlig viden om målgruppen, man bør være opmærksom på: 8
1) Er målgruppen for indsatsen/metoden klart beskrevet? a) Er det beskrevet, hvilken målgruppe af borgere indsatsen/metoden er rettet mod (fx socioøkonomisk baggrund, alder, køn og etnicitet, funktionsniveau og sociale problemstillinger)? b) Er der tydelige inklusionskriterier (klare kriterier for, hvornår en borger tilhører målgruppen)? c) Er der tydelige eksklusionskriterier (klare kriterier for hvilke borgere, som vil have større gavn af andre indsatser/metoder)? d) Hvis indsatsen/metoden skelner mellem forskellige delmålgrupper med henblik på en målrettet indsats: Er der tydelige kriterier for, hvilken delmålgruppe borgeren tilhører? 2) Er der relevante støtteredskaber til at identificere målgruppen? a) Er der støtteredskaber til at afgøre, hvorvidt en borger er i målgruppen for metoden (eksempelvis en udredningsmetode eller et screeningsværktøj)? b) Er støtteredskabet(-erne) velegnet til at identificere målgruppen og eventuelle delmålgrupper? 3) Er forhold ved rekruttering, motivation og fastholdelse af borgeren i indsatsen/metoden beskrevet? a) Er det beskrevet, hvordan man sikrer rekruttering eller visitation af målgruppen til indsatsen/metoden? b) Er eventuelle erfaringer med borgerens motivation for at deltage i indsatsen/metoden beskrevet? c) Er eventuelle erfaringer med at fastholde borgeren gennem hele det planlagte forløb beskrevet? 4) Er det klart beskrevet, hvilket behov eller problem hos målgruppen, indsatsen/metoden skal opfylde eller løse? 5) Er det beskrevet, hvordan indsatsen/metoden påvirker andre forhold af borgernes hverdag og livssituation end den problemstilling, som søges løst? a) Er det beskrevet, hvordan indsatsen/metoden påvirker borgerens øvrige hverdag og livssituation (fx eventuelle belastninger for pårørende)? b) Er borgere og/eller pårørendes tilfredshed med indsatsen/metoden beskrevet? 9
2. Metode Metode indeholder såvel indsatsens/metodens teoretiske fundament (herunder antagelser om årsags- og virkningskæder) som en handlingsorienteret beskrivelse af indsatsens/metodens elementer. Vurdering Stor viden Ingen/begrænset viden a b c d Argument for vurdering: Væsentlig viden om indsatsen, man bør være opmærksom på: Metodens/indsatsen teoretiske fundament 1) Er der udarbejdet en forandringsteori for indsatsen/metoden? a) Er der eksplicit beskrevet eller tegnet en forandringsteori for indsatsen? b) Hvis nej til a): Fremgår en forandringsteori implicit af metodebeskrivelsen? c) Bygger forandringsteorien på teoretisk begrundede antagelser (fx empowerment teori, recovery eller anden faglig relevant teori)? d) Bygger forandringsteorien på antagelser, der henviser til erfaringer fra relevant faglig praksis? 2) Hvilken kvalitet har forandringsteorien bag indsatsen/metoden? a) Er den plausibel bedømt ud fra almindelig sund fornuft og øvrig viden? b) Er den logisk sammenhængende? c) Er tidsrækkefølgen i årsags-virkningskæderne entydig? d) Er forandringsteorien den samme på tværs af forskellige beskrivelser eller fremstillinger? e) Indeholder forandringsteorien en identifikation af øvrige samfundsmæssige forhold, som forventes at påvirke indsatsens/metodens resultater? 3) Er det tydeligt beskrevet hvilke effekter eller gevinster, indsatsen/metoden tilstræber? a) Hvis indsatsen/metoden er rettet mod borgeren: Er det tydeligt beskrevet, hvad forventningen er til indsatsens/metodens effekter på borgerniveau? 10
b) Hvis indsatsen/metoden er rettet mod en forbedring af faglig eller organisatorisk kvalitet: Er det tydeligt beskrevet, hvilke gevinster man kan forvente i forhold til faglig kvalitet eller organisatorisk optimering? c) Er målsætningerne for indsatsens/metodens effekt operationaliseret på en klar og faglig relevant måde (er målsætningen fagligt meningsfuld og med en klar faglig fortolkning)? d) Er der opstillet effektindikatorer for metodens/indsatsens effektmålsætninger? 4) Bygger metoden på aktuelt bedste viden? a) Er indsatsen/metoden begrundet i relevant teori og forskning? b) Indgår der delelementer i indsatsen/metoden, som har dokumenteret effekt i andre relevante sammenhænge (fx motiverende interviews, kognitiv adfærdsterapi eller øvrige relevante delelementer)? 5) Er der kendte redskaber og procedurer til at understøtte metodeintegritet i implementeringen? a) Er nødvendige uddannelses- og kompetenceudviklingstilbud beskrevet? b) Er anden relevant implementeringsstøtte (fx certificering og løbende kvalitetskontrol, faglig coaching, supervision eller andet) beskrevet? c) Er der udviklet støtteredskaber til understøttelse af metodefidelitet (fx implementeringsmanualer, procestjeklister mv.)? d) Er det tydeligt hvilken myndighed eller funktion, der har ansvaret for a) c)? e) Er redskaber og procedurer under a) c) anvendelige i en dansk kontekst? 6) Monitoreres indsatsen/metoden løbende og systematisk? a) Indgår der i metoden beskrivelser eller standarder for løbende og systematisk opfølgning på indsatsens/metodens implementering? b) Indgår der i metoden procedurer eller standarder for løbende og systematisk dokumentation af resultatopnåelsen på borgerniveau? Indsatsens konkrete elementer 7) Er metodens/indsatsens forløb beskrevet? a) Er det beskrevet hvilke faser eller sekvenser, indsatsen/metoden består af (den proces eller de faser, borgeren gennemgår som led i indsatsen/metoden)? b) Er det beskrevet, hvilken intensitet forløbet bør have (fx minimumstimetal, mødefrekvens, maximalt caseload mv.)? 11
c) Er det klart beskrevet, hvornår borgerens forløb er planmæssigt afsluttet (fx tidsmæssig afgræsning eller afgrænsning på baggrund af en observeret udvikling)? 8) Er metodens/indsatsens aktiviteter beskrevet? a) Er det tydeligt, hvilke konkrete aktiviteter borgeren planmæssigt skal deltage i som led i indsatsen/metoden (fx møder, samtaler, rådgivning, undervisning mv.) b) Er det tydeligt, hvilke øvrige aktiviteter indsatsen/metoden består af (fx opsporende indsats, koordinationsmøder mellem fagprofessionelle mv.)? c) Er det tydeligt, om der er tale om faste, strukturerede forløb eller individuelt tilrettelagte forløb (fx choice based support, case manager modeller eller lignende)? 9) Er det beskrevet, hvilken faglig baggrund medarbejderne i indsatsen/metoden bør have? a) Er det beskrevet, hvilken faglig uddannelse eller efteruddannelse indsatsens/metodens medarbejdere bør have? b) Er det beskrevet, hvilken medarbejdererfaring eller hvilke faglige/personlige kompetencer medarbejderne bør have? 10) Er indsatsens/metodens organisering af den borgerrettede indsats beskrevet? a) Er det tydeligt, såfremt indsatsen/metoden forudsætter en særlig organisering? b) Er det beskrevet hvilke faglige funktioner, som skal varetages i indsatsen/metoden? c) Er det klart beskrevet, hvem som har ansvaret for indsatsens/metodens kerneaktivitet(-er)? d) Er det klart beskrevet, hvem som har ansvaret for at koordinere indsatsens/metodens aktiviteter? 11) Er det beskrevet hvilke konkrete redskaber (teknologi og værktøjer), som skal anvendes i indsatsen/metoden? a) Er det tydeligt, såfremt indsatsen/metoden forudsætter, at bestemte teknologier eller værktøjer anvendes (fx screeningsredskaber, skabeloner og vejledninger, IT-redskaber, samtaleunderstøttende teknologi mv.) b) Er teknologi og værktøjer, som understøtter indsatsen/metoden, velkendte eller velbeskrevne? 12
12) Er de fysiske rammer for indsatsen/metoden beskrevet? a) Er det beskrevet hvilke fysiske rammer (fx aflukket lokale med kun medarbejder og borger tilstedeværende) eller lokalitet (fx at en aktivitet skal foregå i borgerens lokalmiljø), som understøtter indsatsen/metoden? 13) Er det tydeligt angivet, hvornår medarbejdere har mulighed for at træffe situationsspecifikke valg på baggrund af et fagligt skøn af den konkrete situation? a) Er tydeligt, hvornår faglige medarbejdere som led i metoden har mulighed for eller ligefrem bør træffe situationsspecifikke valg på baggrund af et fagligt skøn? 3. Implementering Implementeringsviden indeholder en vurdering af den eksisterende viden om, hvorvidt og hvordan indsatsen/metoden er implementerbar i en dansk kontekst. Implementering handler om kontekstuelle forhold, som har betydning for metodens effekt. Vurdering Stor viden Ingen/begrænset viden a b c d Argument for vurdering: Væsentlig viden om implementering af indsatsen, man bør være opmærksom på: 1) Hvor moden er indsatsen/metoden i en dansk kontekst? a) Er driftsmæssige implementeringserfaringer i en dansk kontekst dokumenterede og velbeskrevne? b) Er implementeringserfaringer fra udviklingsarbejde i en dansk kontekst dokumenterede og velbeskrevne? c) Er det beskrevet, hvordan metoden/indsatsen er forenelig med kendte danske implementeringsforhold (fx ansvarsfordeling mellem myndigheder, faglige kulturer/værdier, samfundsmæssige værdier etc.)? 13
2) Er det beskrevet, hvilken administrativ organisering, som understøtter indsatsen/metoden? a) Hvis indsatsen/metoden kræver tværfaglige kompetencer (fx socialfagligt og sundhedsfagligt samarbejde): Er det beskrevet, hvordan det tværfaglige samarbejde organiseres med henblik på at understøtte indsatsen/metoden? b) Hvis metoden kræver tværsektorielt samarbejde (fx samarbejde mellem kommune, sygehus, socialpsykiatri eller andre relevante samarbejdsparter): Er det beskrevet, hvordan det tværsektorielle samarbejde organiseres med henblik på at understøtte indsatsen/metoden? 3) Er væsentlige forudsætninger og barrierer for indsatsernes implementering beskrevet? a) Er væsentlige forudsætninger og barrierer for indsatsens/metodens succes beskrevet (fx politisk opbakning og prioritering, samarbejde med væsentlige interessenter, frontmedarbejderes kendskab til og opbakning til indsatsen/metoden mv.)? 4) Er væsentlige kontekstuelle forudsætninger for indsatsens/metodens succes kendte og beskrevet? a) Er det beskrevet, hvorvidt indsatsen er afhængig af parallelle ydelser (fx at borgeren benytter øvrige offentlige tilbud)? b) Er det beskrevet, hvorvidt indsatsen er afhængig af andre aktører (fx at lokalmiljøet integrerer borgerne i aktiviteter)? c) Er det beskrevet, hvorvidt indsatsen/metoden er afhængig af andre hjælpebetingelser? 4. Effekt Effektdimensionen afdækker viden om hvorvidt, i hvilken grad og hvordan indsatsen/ metoden har ført til de ønskede effekter, herunder også om indsatsen eller metoden har haft uforudsete konsekvenser. Forudsætningen for en høj score på effektdimensionen er, at en indsats/metode er tilstrækkelig velbeskrevet til, at den egner sig til udrulning i kommunerne. Her er det nødvendigt, at effektviden ikke er lokal, men er aggregeret på en måde, så effekten (ved høj implementeringsgrad) må forventes at optræde i alle kommuner. 14
Vurdering Stor viden Ingen/begrænset viden a b c d Argument for vurdering: Væsentlig viden om effekten af indsatsen, man bør være opmærksom på: 1) Foreligger der viden, der underbygger, at indsatsen/metoden har en positiv effekt? På borgerniveau kan en indsats have konsekvenser på en række områder: Fx viden, adfærd, holdning og motivation, færdigheder mv. Andre outcome-variable kan måle på gevinster ved indsatsen, fx faglige gevinster (større kvalitet i sagsbehandling, bedre retssikkerhed for borgeren mv.) eller organisatoriske gevinster (fx mere hensigtsmæssig eller systematisk arbejdstilrettelæggelse, ressourcebesparelser mv.) a) Foreligger der viden, der underbygger, at indsatsen/metoden har en positiv effekt (fx forskningsartikler, evalueringsrapporter el. lign.)? b) Er der redegjort for undersøgelses-/forskningsdesignet bag denne viden? c) Er der redegjort for de væsentligste validitetstrusler, der knytter sig til den konkrete viden om effekter (fx at en effektmåling er gennemført eller sponsoreret af programudbyderen selv)? Nedenfor er vist forskellige typer af effektviden, som afspejler forskellige metoder til at opnå viden om effekt. De forskellige typer effektviden udelukker ikke hinanden: Effektstudier kan indeholde flere eller ligefrem alle typer effektviden. En høj score på effektdimensionen forudsætter dog viden på et højt evidensniveau. I tabellen herunder er det beskrevet den maksimale score, som kan opnås med en given type effektviden. Kun effektstudier af høj kvalitet kan berettige den maksimale score for den givne type effektviden. 15
Effektviden Design og metoder Beslutningskontekst* Specialiserede effektstudier (effektstørrelse) Procesorienterede effektstudier (kausale mekanismer) Før- og eftermåling (ikkeeksperimentelle) Ekspertvurdering Eftermålinger Fx metareview, eksperimenter, statistisk analyse (variansorienteret effektforståelse) Fx teoribaseret evaluering, proces tracing, contribution analysis (procesorienteret effektforståelse) Fx før og eftermåling, simpel monitorering af centrale variable i indsatsens forandringsteori (uden kausalanalyse) En eller flere eksperter inden for metoden vurderer, indsatsen har positiv effekt Kvalitativ eller kvantitativ måling af fx brugeres og fagprofessionelles vurdering af effekt 1) Udrulning/ ikke udrulning 2) Anbefaling om, at alle kommuner benytter metoden Kommuner bør vurdere metoden sammenholdt med eksisterende praksis og træffe et metodeansvarligt valg Kommuner bør lære af velbeskrevet praksis fra andre kommuner Kommuner bør lære af velbeskrevet praksis fra andre kommuner Kommuner bør lære af velbeskrevet praksis fra andre kommuner * Beslutningskontekst er nærmere beskrevet i særskilt notat om anvendelse Hvem kan vurdere Socialstyrelsen evt. i samarbejde med relevant forskningsinst. Socialstyrelsen Socialstyrelsen Socialstyrelsen Socialstyrelsen Højest mulige vurdering A B C C C 2) Indgår danske/nordiske studier i vurderingen af effekten? a) Har danske eller nordiske effektmålinger vist en positiv effekt af indsatsen/metoden? 3) Er eventuelle positive og negative sideeffekter af indsatsen/metoden beskrevet og dokumenteret? a) Har effektstudier undersøgt, om der er positive og/eller negative sideeffekter af indsatsen/metoden? b) Er eventuelle sideeffekters karakter, omfang og eventuelle differentierede påvirkning af målgruppen klart beskrevet? 5. Økonomi Viden om økonomien i forbindelse med metoder og indsatser er vigtig beslutningsstøtte for kommuner og leverandører. Det er fx vigtigt at vide, hvad det koster pr. borger at implementere og drive en metode eller indsats. Endvidere kan der gennemføres forskellige økonomiske evalueringer. Det kan fx være analyser, der giver beslutningstagere indblik i, hvor meget effekt pr. kr. der kan 16
opnås med sammenlignelige metoder og indsatser (cost-effectiveness analyse). Der kan også gennemføres analyser der belyser den samlede samfundsmæssige nytte sammenholdt med omkostningerne ved bestemte metoder (cost benefit analyse) - samt en række andre samfundsøkonomiske analyser. Også viden om fordelingen af udgifter og gevinster over tid fordelt på stat, region og kommune er relevant i forskellige beslutningssituationer. Vurdering Stor viden Ingen/begrænset viden a b c d Argument for vurdering: Væsentlig viden om økonomien ved indsatsen, man bør være opmærksom på: 1) Er det beskrevet, hvilke ressourcer indsatsen/metoden kræver? a) Er der redegjort for nødvendige ressourcer i indsatsen/metoden, herunder medarbejdertid, drift af teknologi og værktøjer, uddannelse samt øvrige omkostninger? 2) Er det undersøgt, hvilke faktiske omkostninger, der knytter sig til metoden/indsatsen? a) Er der foretaget opgørelse af marginalomkostninger, gennemsnitsomkostninger eller andet relevant mål for indsatsens/metodens omkostninger? b) Er forudsætningerne for omkostningsberegningen eksplicitte og gennemskuelige? 3) Er der gennemført en økonomisk evaluering af indsatsen? a) Hvilken type økonomisk evaluering er der gennemført, og lever den op til samfundsvidenskabelige standarder for den valgte model? b) Foreligger der en vurdering af indsatsens/metodens omkostninger i forhold til relevante alternativer (alternativomkostninger)? c) Er det klart hvilket perspektiv, der anlægges på den økonomiske analyse: Samfund, kommune, forvaltning eller borger? Herunder om det er samfundsøkonomisk analyse eller en driftsøkonomisk analyse? d) Er der foretaget sensitivitetsanalyser? Herunder hvad ved vi om de parametre, som påvirker det økonomiske resultat/de økonomiske konsekvenser? e) Viser evalueringerne, at indsatsen/metoden kan svare sig økonomisk? 17
4) Er der gennemført en økonomisk evaluering af indsatsen/metoden i en dansk sammenhæng? a) Har danske eller nordiske økonomiske evalueringer vist en positiv effekt af indsatsen/metoden? 18
Bilag 1: Eksempel på vidensdeklaration af PMTO Vidensdeklaration for PMTO Målgruppen er børn i alderen 3-12 år (der er usikkerhed om den nedre aldersgrænse går ved 4 år) med begyndende eller udtalt problemadfærd, såvel diagnosticeret som ikke-diagnosticeret. Ekskluderet fra målgruppen er: - børn, der lider af autisme-spektrumforstyrrelser - børn med alvorligt psyko-patologiske symptomer eller som er alvorligt udviklingshæmmede - børn af forældre i aktivt misbrug - børn i familier med mistanke om seksuelt misbrug Vurdering: A Der er tale om et forældretræningsprogram (behandling og oplæring). Metoden bygger på teoridannelse, hvor forældrenes adfærd og manglende forældrekompetencer anses som årsag til barnets problemadfærd. Indsatsen har en klar forandringsteori, som er beskrevet og begrundet i det teoretiske grundlag for metoden. Forældreprogrammet søger at bryde den negative adfærdsspiral, som anses for årsagen til barnets problemadfærd. Der er opstillet klare mål for både udviklingen i forældreevne og for reduktion af barnets problemadfærd. Der er udarbejdet en håndbog til terapeuten, som klart og stringent beskriver terapeutens rolle og ansvar samt det forløb, som forældrene skal igennem. Der er udviklet implementeringsredskaber, herunder certificering, recertificering samt metode til måling af fidelitet. Vurdering: A PMTO blev iværksat i Danmark i 2004 og har været i praktisk drift siden 2007. Metoden er forenelig med danske implementeringsforhold, herunder lovgivningen. 19
En implementeringsbarriere kan være behandlerkulturen, der både i dansk og international sammenhæng i nogle tilfælde har vist sig at være i modstrid med metodens faste systematik og stringens, herunder krav til uddannelse, forberedelse mv. En anden implementeringsbarriere kan i dansk sammenhæng være den visiterende myndighed, som i visitationen afkræves tydelighed i beskrivelsen af borgerens problemer. PMTO er et robust program i forhold til koordination med øvrige tilbud/tiltag for målgruppen. Det er i metoden beskrevet, i hvilke situationer terapeuten skal forsøge at inddrage bl.a. barnets skole i en koordineret indsats. Vurdering: A Der er gennemført flere amerikanske effektstudier samt to norske effektstudier af forskningsmæssig kvalitet, som påviser en positiv effekt af PMTO målt på forældreevne og reduktion i barnets problemadfærd. Der er tale om en reel reduktion i problemomfanget, dvs. ej blot ubetydelige, positive effekter. Det skal dog noteres, at det varierer mellem effektstudierne, hvilke parametre for forældrevene og problemadfærd, som udviser signifikant, positive tendenser på tværs af målgruppen. Der er målt en positiv effekt på tværs af forskellige målgrupper, bl.a. er metoden i Norge afprøvet inden for to etniske minoritetsgrupper. Der er ikke påvist bieffekter af PMTO. Vurdering: A Ressourcekravene til PMTO er velbeskrevne i en dansk kontekst. Der foreligger tillige data på det faktiske ressourceforbrug i PMTO-forløbene, samt opgørelser af Socialstyrelsens ressourceforbrug på implementeringsstøtte. Disse data er dog ikke samlet afrapporteret eller offentligt tilgængelige. Der er ikke foretaget en økonomisk evaluering af PMTO i en dansk sammenhæng, og efter Socialstyrelsens kendskab ej heller internationalt. Vurdering: C Der foreligger samlet set et stærkt, velbeskrevet og tilgængeligt vidensgrundlag bag PMTO. Det gælder særligt viden om målgruppen, tydelighed om metoden, viden om implementeringsforhold og dokumentation af metodens effekt. Der er dog ikke gennemført en økonomisk evaluering. 20