1 of 6 NOTAT 17. DECEMBER 2014 EVALUERING AF SOCIALSTYRELSENS MODEL FOR REHABILITERING PÅ ÆLDREOMRÅDET SFI Det Nationale Forskningscenter for Velfærd har fået til opgave at evaluere Socialstyrelsens model for rehabilitering på ældreområdet som implementeres og afprøves i hhv. Slagelse Kommune og Syddjurs Kommune. Evalueringen består af tre separate men tæt knyttede delevalueringer, hhv. en evaluering af implementeringen, en effektevaluering samt en økonomisk evaluering, og i nærværende notat vil de centrale elementer fra de tre evalueringer blive skitseret. 1. EVALUERINGSSTRATEGI Evalueringen tager afsæt i et mixed-methods-design, hvor kvantitative og kvalitative data indsamles, således at der sikres et helhedsorienteret perspektiv på Socialstyrelsens model for rehabilitering. Den kvantitative tilgang sikrer repræsentativitet og kvantificering af rehabiliteringsmodellen, hvad angår implementeringsgrad samt gør det muligt at evaluere indsatsens effekter og økonomiske betydning. Den kvalitative tilgang muliggør at belyse, hvordan indsatsen udvikler sig over tid såvel som at sætte fokus på forskellige subjektive perspektiver, der kan illustrere, hvordan deltagere i implementeringen opfatter barrierer, muligheder og årsagssammenhænge. Evalueringen strækker sig over en tilpasnings- og en afprøvningsfase, hvor afprøvningsfasen finder sted fra 1.3.2015-29.2.2016. 1.1 EVALUERING AF IMPLEMENTERINGEN Implementeringsevalueringens formål er at genere viden om: I hvilket omfang Socialstyrelsens model for rehabiliteringsforløb er implementerbar i en dansk kommunal kontekst I hvilken grad modellen er blevet fulgt i de to indsatskommuner i afprøvningsfasen. Evalueringen skal skabe grundlag for at vurdere, hvilke processer, faktorer og mekanismer der gør sig gældende for en vellykket implementering af modellen for
2 of 6 rehabiliteringsforløb. Denne viden skal endvidere anvendes til at undersøge mulige variationer i de resultater den efterfølgende effektevaluering peger på, herunder identificere hvilke væsentlige forudsætninger der har vist sig succesfulde samt eventuelle barrierer i implementeringen af modellen. Med andre ord er det helt centralt at afdække, hvordan modellen for rehabiliteringsforløb er blevet implementeret i praksis, idet implementeringen kan påvirker den effekt, der observeres. Med henblik på at afdække, hvorvidt modellen er implementerbar og fulgt i de to indsatskommuner, vil evalueringen have fokus på implementeringsgrader ved at belyse de processer i udviklingsfasen, der gennemføres i forbindelse med at nå frem til den endelige model for rehabilitering, samt den medarbejderpraksis, som udvikles og implementeres blandt visitatorer, de forløbsansvarlige og øvrige relevante frontmedarbejdere. Desuden vil den kontekst, som indsatsen implementeres i belyses. Data og fremgangsmåden i implementeringsevalueringen Evalueringen af implementeringen vil gennemføres på baggrund af både kvalitative og kvantitative data. Den kvalitative tilgang vil særligt have fokus på, hvordan modellen for rehabiliteringen udvikler sig i de to indsatskommuner, samt hvilke barrierer, der er eller opstår for implementeringen. Desuden anvendes denne tilgang dels til at indsamle viden om modellen og dels til at optimere udformningen af den kvantitative dataindsamling. Den kvantitative tilgang er særdeles velegnet til at indsamle oplysninger omkring medarbejdernes opkvalificering og adfærd, herunder om, og i hvilken grad, modellen rent faktisk omsættes til ny praksis og handlemåder. Denne delevaluering fordrer således et tæt samspil mellem såvel forskellige metoder som datakilder. Den kvalitative implementeringsafdækning gennemføres på baggrund af enkeltpersoninterview med nøglepersoner på ledelsesniveau, der bl.a. har til formål at afdække tidligere praksis på ældreområdet, forankring af modellen og ledelsens forventninger til projektet. Endvidere foretages fokusgruppeinterview med visitatorer, fysio- og ergoterapeuter, sygeplejersker og SOSU-medarbejdere. Fokusgrupperne vil bestå af 4 medarbejdere, hvor fokus bl.a. vil være på forståelse af modellen, medarbejdernes oplevelse af barrierer i projektet, arbejdsmiljø og visitationspraksis. Både enkeltpersoninterviews med ledere og fokusgruppeinterviews med medarbejdere gennemføres som semi-strukturerede interview. Både enkeltpersoninterviewene og fokusgruppeinterviewene vil være præget af en eksplorativ tilgang, idet der åbent bliver spurgt ind til de relevante medarbejdergruppers opfattelser og erfaringer. Dette sker dog inden for rammerne af på forhånd fastlagte temaer, således at sammenlignelighed interviewene imellem sikres. Interviewene bliver gennemført i tilpasningsfasen. Hvorvidt det vil være relevant at gennemføre en opfølgende interviewrunde med medarbejderne samt lederne i afprøvningsfasen vil der først blive taget stilling til efter indsamlingen af data fra spørgeskemarunde 2 (jf. næste afsnit). Hvis der på baggrund af de to spørgeskemarunder kan afdækkes kvantitative ændringer i besvarelserne over tid, vil der blive gennemført opfølgende fokusgruppeinterview, for at afdække hvad der ligger til grund for disse ændringer samt interview med ledere med henblik på at få et ledelsesperspektiv på processens forløb. 2/6
3 of 6 Den kvantitative implementeringsafdækning består af en spørgeskemaundersøgelse blandt medarbejdere (visitatorer, forløbsansvarlige og øvrige relevante medarbejdere), et registreringsskema og logbog om borgerforløb samt indsatskommunernes dokumentation i COPM. Spørgeskemaet udarbejdes dels på baggrund af den endelige modelbeskrivelse fra Socialstyrelsen og dels med afsæt i den kvalitative afdækning og vil bl.a. have fokus på medarbejdernes faglige baggrund og opgavefordeling, medarbejdernes adfærd i forhold til borgerne samt deres oplevelse af ledelsens adfærd ift. bl.a. opbakning, tillid og anerkendelse. Spørgeskemaet sendes elektronisk ud til personalet i slutning af tilpasningsfasen, umiddelbart inden modellen afprøves, samt i sidste halvdel af afprøvningsfasen Registreringsskemaet og logbogen skal anvendes dels til at monitorere rehabiliteringsforløbet samt til indsamling af oplysninger til effektevalueringen. I disse skemaer skal der dokumenteres fra borgerens første kontakt med visitationen og vil således følge den enkelte borger gennem hele forløbet og afsluttes samtidig med rehabiliteringsforløbets ophør. Temaerne i registreringsskemaet og logbogen tager udgangspunkt i temaerne i modellens fem faser og vil endvidere belyse tidsforbruget for de involverede medarbejdere og løbende ændringer i rehabiliteringsforløbet. Dokumentation i COPM vil bruges sammen med registreringsskemaet og logbogen til at belyse og evaluere kvaliteten i implementeringen. Data samlet via COPM anvendes til at vurdere, hvorvidt de opstillede målsætninger for rehabiliteringsforløbet er SMARTe. De kvalitative informationer fra COPM operationaliseres på en meningsfuld måde, således at SFI kan kvantificere, om målene er blevet opfyldt. 1.2 EFFEKTEVALUERINGEN Formålet med evalueringen af modellens effekt er at afdække: Hvilken betydning har den nye måde at administrere og organisere rehabiliteringsforløb på en række opstillede effektmål på individniveau? Socialstyrelsen har opstillet en række effektmål for modellen, hvorfor evalueringen efter endt rehabiliteringsforløb har til formål at afdække: Målgruppens udvikling i funktionsevne Målgruppens oplevelse af ensomhed Målgruppens efterfølgende behov for hjælp og støtte efter Serviceloven Indholdet i effektevalueringen Evalueringen gennemføres som en før- og eftermåling, hvor samtlige borgere, der visiteres til et rehabiliteringsforløb i de to indsatskommuner vil følges før- og efter rehabiliteringsforløbet, ligesom der gennemføres en opfølgning efter 12 måneder til afdækningen af modellens langsigtede effekter. Der vil endvidere blive gennemført kvalitative enkeltpersoninterviews med 20 borgere i hver indsatskommune for at belyse målgruppens oplevede kvalitet med indsatsen samt for at afdække borgernes motivation før og efter deltagelse i rehabiliteringsforløbet. 3/6
4 of 6 Ved at anvende før- og eftermålinger som evalueringsdesign er det muligt at vise, om og hvordan den enkelte borger ændrer sig ift. de listede effektmål over tid, dvs. fra før- til eftermålingen. Ved at anvende et sådan design, er det vigtigt at påpege, at en forskel over tid vil indikere udviklingstendenser, men at der ikke kan konkluderes om der er tale om egentlige effekter, da det ikke er muligt at afgøre om en forskel mellem før- og eftermålingen reelt skyldes rehabiliteringsforløbet eller forhold, som det ikke har været mulig for at tage højde for (kontrollere for) i undersøgelserne. Endvidere vil vi på baggrund af dette design alene kunne udtale os om tendenser, der knytter sig den valgte rehabiliteringsmodel, men ikke om hvorvidt denne model til rehabilitering er bedre end andre modeller. Data og fremgangsmåden i effektevalueringen For at undersøge rehabiliteringsmodellens effekt på målgruppen udarbejdes et elektronisk skema, som vil bestå af en kombination af validerede psykometriske og fysiske redskaber og nye spørgsmål udarbejdet til denne evaluering. Neden for ses en oversigt over de redskaber og datakilder som anvendes med henblik på at evaluere effektmålene. Mål Funktionsevne Social isolation og ensomhed Efterfølgende behov for hjælp og støtte Data/redskab WHODAS 2.0 DEMMI UCLA Loneliness Scale (3-item) Registreringsskema, registerdata samt træk fra EOJ Udover disse redskaber og data vil spørgeskemaet endvidere suppleres med spørgsmål om civilstand, boform og socialt netværk. Spørgeskemaet udfyldes ved, at den forløbsansvarlige stiller borgeren spørgsmålene i forbindelse med den forløbsansvarliges første besøg i borgerens hjem og ved afslutningen på rehabiliteringsforløbet. Som udgangspunkt har hver indsatskommune forpligtet sig på at levere 250 borgerforløb, og på baggrund af en randomisering udvælges hvilke borgere, der skal indgå i målingerne. I analysen skal der tages højde for heterogeniteten i målgruppen, og det skal sikres, at der er tilstrækkelig mange forløb pr. de baggrundsparametre der anses som væsentligste (såsom køn, alder, funktionsevne). SFI har udarbejdet en række styrkeberegninger med forskellige antagelser, der viser hvilke effekter der kan forventes på baggrund af populationsstørrelsen, redskaber mv. Da der er tale om en relativ heterogen målgruppe, er det væsentligt at inddrage information om både individet og forløbet til analysen af effekt. Dette gøres ved at inddrage oplysningerne fra registreringsskemaet, logbogen og COPM, som borgerens tidligere behov for hjælp, type af funktionsevnetab, motivationsniveau etc. 4/6
5 of 6 Opfølgningen 12 måneder efter rehabiliteringsforløbets afslutning har til formål at evaluere de langsigtede effekter i forhold til målgruppens efterfølgende behov for sociale ydelser. Den langsigtede evaluering vil endvidere også undersøge målgruppens efterfølgende behov for sundhedsydelser. Oplysningerne hertil indsamles dels via de kommunale EOJ-systemer samt med udtræk fra diverse registre. 1.3 DEN ØKONOMISKE EVALUERING Formålet med den økonomiske evaluering er at afdække: Hvilken omkostningseffektivitet og hvilke udgifter der er forbundet med af at implementere Socialstyrelsens rehabiliteringsmodel? Den økonomiske evaluering bliver foretaget som en cost-effectiveness analyse med et offentligt perspektiv. Herunder er der en udgiftsanalyse af de offentlige udgifter forbundet med den nye model for rehabilitering. Resultatet af cost-effectiveness analysen bliver en opgørelse af hvad modellen koster det offentlige ift. hvor meget den forbedrer funktionsevnen på borgerniveau målt med WHODAS 2.0. Det vil sige en opgørelse af hvad det koster at hæve funktionsevnen med ét point på WHODAS-skalaen. Resultatet af udgiftsanalysen bliver en opgørelse af hvad modellen koster pr. borger. Derudover vil udgiften blive opgjort per borger indenfor udvalgte borgerkategorier (jf. de retrospektive borgertypologier som bruges i effektevalueringen). De to analyser bygger på det samme data og udgiftsanalysen er således en delmængde af cost-effectiveness analysen, hvor effekterne ikke er regnet med. Det analytiske perspektiv er det offentlige, dvs. det er valgt ikke at inddrage borgere og pårørendes tidsforbrug. Det skyldes, at der i dette projekt primært er interesse for hvordan de offentlige kasser påvirkes af projektet sammenholdt med om borgerne har gavn af det. Der vil i analysen primært være fokus på de kommunale omkostninger, da det er et kommunalt projekt, og der ikke umiddelbart forventes andre offentlige økonomiske konsekvenser af betydning. I den langsigtede opfølgning vil der dog være et bredt offentligt perspektiv idet også de regionale sundhedsudgifter medregnes. I begge analyser opgøres de kommunale omkostninger særskilt. Tidsperspektiv I begge analyser anvendes et korttidsperspektiv. Dette skyldes flere ting. For det første er der ikke i første omgang foretaget målinger på langt sigt og analysen vil derfor basere sig på en meget usikker modellering. For det andet vælges i costeffectiveness analysen at beregne udgifterne i forhold til borgernes funktionsevne. En eventuel forbedret funktionsevne må forventes at have en effekt på de offentlige udgifter på længere sigt, så ved at medtage dem i analysen har man reelt medtaget dem to gange. 5/6
6 of 6 I forlængelse af langsigtsopfølgningen vil der blive lavet en opdatering af udgiftsanalysen, så den inkluderer de eventuelt sparede udgifter på længere sigt i form af sparede social- og sundhedsydelser. Herunder vil det blive belyst om der findes forskelle i udgifterne forbundet med sundhedsydelser. Udgiftsanalysen vil således også belyse, om der er en forskel i udgiftsniveauet til sygehusindlæggelse 12 måneder efter indsatsens afslutning.. Data Omkostningsberegningen foretages ved hjælp af data indhentet i evalueringen af implementeringen. Der skelnes mellem opstartsomkostninger og driftsomkostninger. Opstartsomkostninger er de særlige omkostninger, der er forbundet med at implementere den nye model for rehabilitering. Det kan være fx være omkostninger til opkvalificering af personale og tid og andre ressourcer forbundet med tilpasning af indsatsen til kommunen. Ved udregningen af de løbende udgifter vil der være fokus på anvendt tidsforbrug på indsatsen blandt personalet. Omkostninger, der alene henleder til denne evaluering, dvs. fx tidsforbrug forbundet med at gennemføre før- og eftermålinger, medregnes ikke som omkostninger i analysen. Data vedrørende omkostninger i forbindelse med opstarten af projektet vil blive indsamlet gennem de planlagte enkeltinterviews med centrale nøglepersoner. Hvis der ikke kan gives nogenlunde præcise data i selve interviewsituationen, følges der op med informanten eller en som informanten henviser til, for at få nærmere oplysninger om relevante omkostninger. Data vedrørende de løbende udgifter bliver samlet igennem registreringsskemaer (jf. implementeringsevaluering), som giver indblik i hvert borgerforløb, inklusiv hvilke medarbejdere der har været involveret og til hvilke indsatser samt hvor langt forløbet har været. Data fra registreringsskemaet vil blive suppleret med data fra EOJ og evt. andre kommunale registreringssystemer, som giver information om omkostninger relateret til bestemte indsatser og medarbejderindsatser. 6/6