Effektvurderinger i handleplanen Resultatdokumentation Værktøj til at dokumentere, evaluere og justere indsatsen på det specialiserede børneområde Martin Bilberg Områdeleder Styring, Økonomi og Effekt Socialforvaltningen mhb@aarhus.dk Familier, Børn og Unge KL konference om udsatte børn og unge 10. marts 2015
En socialforvaltnings eksistensberettigelse Familier, Børn og Unge
Familier, Børn og Unge
Familier, Børn og Unge
Nationale socialpolitiske mål - 2020-målene Med de sociale 2020-mål vil regeringen føre socialpolitikken i Danmark ind i en ny tid, hvor vi måles på, at den hjælp, der ydes, gør en forskel og fører til bedre sociale forhold. Familier, Børn og Unge Det afgørende er ikke at afsætte flere penge. Det er ikke det, der er brug for. Der er derimod brug for, at det sociale arbejde gør en forskel og hjælper mennesker og familier videre.
Hvad er resultater på det specialiserede socialområde? s virksomhedsmodel Effekt er virkningen hos brugeren af forvaltningens indsats Vedtaget af Aarhus Byråd 7. februar 2007 Effektstyring er at styre efter, at forvaltningens indsats medfører de bedst mulige effekter for brugerne Familier, Børn og Unge
Kan sociale indsatsers effekter måles? Svaret udvikler sig over tid: I 70 erne sagde man, det kan ikke måles, i 1980 erne, det er ærgerligt, at det ikke kan måles, i 1990 erne, vi bliver nødt til at måle det. Citat fra ansat på døgninstitution gengivet i Mehlby og Rhode (2004) Familier, Børn og Unge
Udgangspunkt i lovgivningen Resultater jf. børnefaglig undersøgelse Familier, Børn og Unge
Vejledning til serviceloven En god handleplan med konkrete mål betyder således, at det bliver Endelig lettere for både betyder barnet mere eller den præcise unge og beskrivelser familien at danne af sig et målene, overblik over at forløbet kommunalbestyrelsen og forstå sammenhængen får bedre mellem de muligheder forskellige tiltag. for Endelig at foretage betyder mere effektvurderinger præcise beskrivelser og af målene, at kommunalbestyrelsen får bedre muligheder for at evalueringer. foretage effektvurderinger og evalueringer. En klar beskrivelse af målene er således den første forudsætning for at kunne vurdere, om en bedre foranstaltning muligheder bidrager til, for at generelt målene bliver at forbedre nået. Dermed sikres indsatsen ikke alene en via bedre mere kvalitet tværgående i den enkelte viden sag, men om også bedre effekterne muligheder for af generelt forskellige at forbedre foranstaltninger. indsatsen via mere tværgående viden om effekterne af forskellige foranstaltninger. Kilde: Vejl. 9007 af 7/1 2014, Kap. 14 Handleplaner Familier, Børn og Unge
Om effektvurderingsredskabet Myndighed og udfører Integreret i handleplanen og udførerplan To varianter af konceptet hhv. udsatte og handicap Fem faktorer m. undertemaer Valg af fokusområder SMARTe mål (0-4 skala) Understøttende materiale Familier, Børn og Unge
Fagligt grundlag for redskabet Egne erfaringer og viden fra praksis Vibeke Lehmann Nielsen Udredningsværktøj Familier, Børn og Unge
Faktorer og undertemaer Familier, Børn og Unge
Kadencen følger handleplansopfølgningen Familier, Børn og Unge Kilde:, Lehmann Nielsen (2012)
Registrering (i CSC Social) Der udvælges fokusområder, som er de faktorer, indsatsen rettes imod og fokuseres. Ved resultatdokumentation vurderes barnets/den unges aktuelle funktionsniveau og kompetencer, og der sættes mål frem til næste opfølgning. Hertil benyttes en 0-4 skala. Der opstilles SMARTE mål, som udførligt beskriver, hvilke kompetencer barnet/den unge konkret skal have tilegnet sig for at have opfyldt målet. Barnet/den unge vurderes ligeledes på en række undertemaer for hver faktor. Dette sikrer, at man kommer omkring alle relevante forhold. Familier, Børn og Unge
Kan det kombineres med andre måleredskaber? Effektvurderinger i handleplaner (Resultatdokumentation) Eksempler på potentielt understøttende måleredskaber: Achenbach System og Emperically Based Assessment (ASEBA) HoNOSCA Resultatskalaer for folkesundheden for børn og unge YLS/CMI Youth Level Service/Case Management Inventory SDQ Strengths and Difficulties Questionnaire FACES IV Family Adaptability and Cohesion Evaluation Scale FIT Feedback Informed Treatment Familier, Børn og Unge Kilde: Metodecentret, 2013
Hvordan omsættes resultater? Fra måling til styring Bernard Marr: Der bruges for megen tid på at måle og for lidt på at tænke strategisk og bruge måleresultater Familier, Børn og Unge Overdrivelse fremmer forståelsen
Formål med anvendelse af effektvurderinger Et fagligt projekt! Effekten af vores indsats Hvor skal vi sætte ind? Hvad kan vi gøre anderledes? Familier, Børn og Unge
Anvendelsesniveauer Interessenter og anvendelsesniveauer Brugerne Pårørende (Skatte)borgerne Øvrige tilbud: private, regionale og øvrige kommuner Statslige aktører Byrådet Socialudvalget Magistratsafdelingen Rådmand Direktør Socialforvaltningen Socialchef Søjlechef Centerchefer Afdelingsledere Medarbejderne Budgetmål Familier, Børn og Unge
Overblik for myndighed Helhedsorienteret Overblik På Enkeltindividniveau Familier, Børn og Unge
HOPE Familier, Børn og Unge NB: De viste data er fiktive
Effektvurderinger Detailoverblik NB: De viste tal er ikke udtryk for retvisende data Familier, Børn og Unge NB: De viste data er fiktive
Faglige anvendelsespotentialer for effektvurderinger Myndighed: Understøtte arbejdet med undersøgelser, handleplaner, opfølgninger og samarbejde ved at: Anlæggelse af helhedssyn, konkrete mål Systematisk og kortfattet overblik over barnets eller den unges situation og behov for støtte Grundlag for faglig udvikling Udfører: Redskab til at omsætte handleplansmål til behandlingsmål i udførerplan Understøtte at mål omsættes til pædagogisk praksis Systematisk opfølgning på det socialfaglige arbejde i forhold til konkrete sager og på tilbudsniveau Målrettet kompetenceudvikling. Familier, Børn og Unge
Afrapportering - aggregeret Budgeteffektmål Politisk og administrativt styringsredskab Familier, Børn og Unge
Afrapportering på tilbudsniveau Sammenligning på tværs af tilbud Skole/beskæftigelse Tilbud 1 21% 16% 53% 2% 8% 3% Tilbud 2 24% 3% 52% 2% 17% 3% Tilbud 3 32% 3% 34% 2% 26% 5% Tilbud 4 30% 4% 30% 7% 25% 7% Tilbud 5 23% 11% 38% 4% 21% 4% 0% 20% 40% 60% 80% 100% Progressionsmål opfyldt Progressionsmål Fastholdelsesmål opfyldt Uproblematisk Ingen progression Negativ progression Familier, Børn og Unge NB: De viste data er fiktive
Hvad er væsentligt? Mening Timing Konsensus om formålet: At hele organisationen skal styre efter at de leverede ydelser giver mest mulig effekt for brugerne. Den løbende information skal være relevant, interessant og troværdig Resultaterne skal være der, når der skal træffes beslutning På aggregeret niveau: Minimum kvartalsvis målopfølgning Stemning Understøttelse af den lærende organisation ikke en målingspoliti-kultur (?) Familier, Børn og Unge
Brug af effektinformation Forskellige muligheder for brug af resultatinformationer Oversat fra van Dooren et al (2010) Familier, Børn og Unge
Spørgsmål Læs mere på: www.aarhus.dk/resultatdokumentation www.virksomhedsplaner.dk Eller kontakt: Områdeleder Martin Bilberg 8940 1339 mhb@aarhus.dk Familier, Børn og Unge
Handleplan og evaluering Et samspil mellem Myndighed Leverandør Borger Tanja Nyborg Jakobsen - sektionsleder John Voigt Jensen leder af ungecentret Familieafdelingen Horsens Kommune
Hvorfor dokumentation af forandringer? Udvikling fra 2010 - nu Præmissen Kontinuerlig proces. Hvordan leder og inddrager vi processerne? Værdi og meningsskabelse i flere arenaer. Organisation og implementering Stabilitet og forandring Udfordringer Understøttelse både fagligt og digitalt Nye tendenser.
Historik
Handleplan og undersøgelse Myndighed Udviklings/behandlingsplan Leverandør Dokumentation af forandringer Sammenfletning af faglig forskellighed med fælles fokus & dialog
Borger Direktion Politik Faglige organisationer Dokumentation Af Forandringer Lov Udfører Myndighed Medarbejdere
Organisation og implementering ICS Forebyggelses- strategi
Ungevejleder: Ditmerflexløsningen er pga. sin lette tilgængelighed og brugervenlighed et fleksibelt værktøj når jeg sammen med den unge skal beskrive samt evaluere vores indsats for at nå de af handleplanen, specificerede mål. Ungevejleder: Responsen, når jeg sammen med den unge evaluerer(følger op) er positiv, da der via scoren kan beskrive en konkret udvikling, hvilket den unge nemt kan forholde sig til samtidig med at det ofte gør det nemmere for den unge at sætte ord på udviklingen/forløbet.
Familiechef: Jeg får et svar på om vores indsatser virker. Både på individuelt og aggregeret niveau og det er vigtigt for at kunne vores politikere tryghed for at vi afsætter og anvender vores ressourcer fornuftigt. Det viser også at vi får omsat vores ressourcer i indsatser overfor borgeren, og at de tildelte ressourcer omsættes til effekt. Rådgiver: Vi kan tydeligere se, og dermed vurdere, om vi har valgt den rette indsats eller om vi skal sadle om. Vi kan også bedre bruge det til en forventningsafstemning mellem os som bestiller, borgeren og udfører får vi det vi beder om ift. udvikling.
Rådgiver: Vi bliver tvunget til at blive mere konkrete i vores bestilling og bliver dermed mere tydelige og præcise ift. at opstille præcise mål for de foranstaltninger vi iværksætter. Rådgiver: I de nye handleplaner skal vi opstille meget mere præcise mål som både borger og udfører kan forholde sigt til. Det kan være rigtig svært, men det giver god mening, fordi det bliver rigtig tydeligt hvad der skal arbejdes med. Før var de opstillede mål det meget overordnede.
Feedback Informed Treatment Tine Vesterby Sørensen & Lisa Romlund Nielsen Familiechef og leder af Familie- og Ungecenter KL på Nyborg Strand 10. marts 2015
FIT som effektmåling Undgå langvarige indsatser uden effekt. God som ledelsesinformation Øget effekt fra 51-70,7% på 3 år, hvor familier har opnået en signifikant forandring. Netværket scorer altid på børnenes udvikling. Opnået forandring målt ift. mål i handleplan. Vi implementerer det på alle tilbud. Pilotprojekt ift. rådgivere of PPR. Pilotprojekt ift. familiepleje.
Det gir mening.. Der er tale om en meta-metode. Effektmåling der giver mening for alle. Nyttig ledelsesinformation. Metoden er fuldt digitaliseret og virker. Borgere oplever sig hørt og involveret. De kan genkende metoden.
Feedback Informed Treatment Jeg har 24 medarbejdere, som har forskellige uddannelsesmæssige baggrunde. Da jeg trådte ind i lederrollen, blev der på landsplan raslet med krav om dokumentation, hvilket også gjaldt i Gladsaxe Kommune. Jeg havde dog min egen drøm i forhold til dokumentation
Hvad er Feedback Informed Treatment (FIT) FIT er en meta-metode, dvs. at den kan bruges uanset hvilken teoretisk tilgang, man i forvejen arbejder med. FIT består af to korte skemaer, som borgeren udfylder hver gang. Børn kan udfylde skemaerne fra de er 5-6 år. Det ene skema hedder ORS (Outcome Rating Scale) og bruges til at måle effekten af et forløb fra gang til gang. Det andet skema hedder SRS (Session Rating Scale) og bruges til at vurdere alliancen mellem borgeren og behandleren/rådgiveren. Det er borgeren der vurderer. Skemaerne sikrer max brugerinddragelse, fordi borgeren, på en struktureret måde bliver spurgt om effekt og alliance ved hver samtale
Hvornår startede vi Vi startede med at implementere FIT på Familie- og Ungecentret i 2011, og bruger nu FIT i alle vores sager og forløb. FIT er først nu ved at være fuldt implementeret, da vi bruger skemaerne i alle samtaler og har skabt flere strukturer, som understøtter vores brug af FIT.
Feedback Informed Treatment ORS - Barn Amalie Hvordan har du det? Hvordan går det i dit liv? Sæt et mærke på linjerne for at vise, hvordan det går. Jo tættere mærket er på det smilende ansigt, jo bedre går det. Jo tættere mærket er på det sure ansigt, jo flere ting er ikke så gode. ORS - Voksen Amalie Når du ser tilbage på den tid, der er gået siden sidste samtale (inklusiv i dag), skal du vurdere, hvordan du har haft det på følgende områder af dit liv. En markering til venstre for midten markerer, at du har haft det dårligt, mens en markering til højre for midten markerer, at du har haft det godt. Mig (Hvordan har jeg det?) Individuelt (personligt velbefindende) Familie (Hvordan går det i min familie?) Nære relationer (familie, nære venner, osv.) Skole (Hvordan går det i skolen?) Socialt (arbejde, skole, bekendte) Feedback Inform ed Treatm ent Livet som helhed (Hvordan går det med livet i det hele taget?) Generelt (generel følelse af velbefindende) Voksen ORS SRS Cut-Off Klinisk Cut-Off Gem Fortryd Barn ORS Gem Fortryd
26- maj- 2014 04- jun- 2014 20- jun- 2014 08- jul- 2014 24- jul- 2014 21- aug- 2014 09- okt- 2014 28- okt- 2014 25- nov- 2014 16- jan- 2015 Dette forløb blev afsluttet 16.01.2015 (Afsluttet efter fælles aftale) udskriv skjul Feedback Informed Kombineret ORS Treatment 40 Olivia Thomas Marianne for Olivia Marianne for Thomas PPR for Thomas Preben for Olivia Preben for Thomas Rådgiver for Thomas Sk ole for Thomas 35 30 25 20 15 10 5 Feedback Inform ed Treatm ent SRS Cut-Off Klinisk Cut-Off vis Olivia vis Thomas vis Marianne for Olivia vis Marianne for Thomas
03- sep- 2014 02- okt- 2014 08- okt- 2014 10- okt- 2014 22- okt- 2014 31- okt- 2014 06- nov- 2014 07- nov- 2014 20- nov- 2014 26- nov- 2014 03- dec- 2014 18- dec- 2014 08- jan- 2015 19- jan- 2015 28- jan- 2015 28- jan- 2015 05- feb- 2015 25- feb- 2015 02- mar- 2015 Ny session Feedback Informed Treatment Kombineret ORS udskriv skjul Aneta Patrycja Aneta for Patrycja Dorte for Patrycja Rådgiver for Patrycja 40 35 30 25 20 15 10 5 Feedback Inform ed Treatm ent SRS Cut-Off Klinisk Cut-Off vis Aneta
Feedback Informed Treatment Laura lyttede ikke altid på mig. Det vi lavede og talte om, var ikke særlig vigtigt for mig. Jeg kunne ikke lide det vi lavede i dag. Jeg ville ønske, vi kunne gøre noget anderledes. SRS - Barn Voksen SRS Gruppe SRS Amalie Hvad synes du om vores tid sammen i dag? Sæt et mærke på linierne for at vise hvad du mener. Lyttede Hvor vigtigt Det vi lavede Generelt Laura lyttede på mig. Det vi lavede og talte om, var vigtigt for mig. Jeg kunne godt lide det vi lavede i dag. Jeg håber, vi gør noget af det samme næste gang, som vi gjorde i dag. Gem Fortryd SRS - Voksen Amalie Du bedes vurdere dagens samtale, ved at sætte et mærke på hver af de fire linier. Du skal placere din vurdering tættest på den beskrivelse, som passer bedst på din oplevelse. Jeg følte mig ikke hørt, forstået og respekteret. Vi arbejdede ikke med eller talte ikke om det jeg gerne ville arbejde med og tale om. Terapeutens måde at arbejde på passer ikke til mig. Relation Mål og emner Tilgang eller metode Feedback Inform ed Treatm ent SRS Cut-Off Klinisk Cut-Off Der manglede noget i dagens session. Generelt Jeg følte mig hørt, forstået og respekteret. Vi arbejdede med og talte om det jeg gerne ville arbejde med og tale om. Terapeutens måde at arbejde på passer til mig. Alt i alt var dagens session passende for mig. Barn SRS Gruppe SRS Gem Fortryd
03- sep- 2014 02- okt- 2014 08- okt- 2014 10- okt- 2014 22- okt- 2014 31- okt- 2014 06- nov- 2014 07- nov- 2014 20- nov- 2014 26- nov- 2014 03- dec- 2014 18- dec- 2014 08- jan- 2015 19- jan- 2015 28- jan- 2015 28- jan- 2015 05- feb- 2015 25- feb- 2015 02- mar- 2015 Feedback Informed Treatment Informed Treatment Patrycja 05/ 03/ 15 10:40 ORS SRS 40 35 30 25 20 15 10 Feedback Inform ed Treatm ent 5 SRS Cut-Off Klinisk Cut-Off
Sådan kom vi i gang Ekstern og intern underviser/undervisning. Uddannelse i Chicago. FIT- konferencer. FIT i supervision. Mentorer. Fokuspunkter i alle teams. Fokus på deliberate practice.
Resultater Vores nuværende tal er, at 71% af borgerne oplever, at de har fået det mærkbart bedre. 73% af netværket rapporterer, at der er sket en mærkbar forbedring. Vores generelle effekt er steget med 20-35%. Vi har haft 100 flere forløb i 2014.
Gode effekter ved brugen af FIT FIT hjælper med hurtigt, at få øje på forløb, hvor der ikke er en effekt og gør, at vi stopper op og justerer behandlingen, skifter konsulenter eller helt stopper forløbet. Det er blevet tydeligt, hvilke tilbud vi skal justere på, og hvilket tilbud der skal ændres helt på baggrund af FIT. Øget vores faglighed. Som leder kan jeg åbent have dialog med medarbejdere omkring deres behandlingseffekt og herigennem yde maximal støtte.