Evaluering og dokumentation

Transkript

1 Evaluering og dokumentation i Den Sociale Udviklingsfond Merværdi gennem udvikling Den Sociale Udviklingsfond

2 2 Evaluering og dokumentation i Den Sociale Udviklingsfond Hvis dokumentationsindsatsen skal være meningsfuld, er det vigtigt, at der bliver skabt en sammenhæng mellem kriterierne i dokumentationen og den faglige kerneopgave. Den enkelte medarbejder er nødt til at opleve, at det, der skal dokumenteres, også er væsentligt i en faglig sammenhæng Peter Dahler-Larsen, professor i evaluering, Syddansk Universitet

3 3 Indledning Siden 2007 har vi arbejdet systematisk med at måle og dokumentere vores indsats. For os er dokumentationen ikke bare en mulighed, men også en nødvendighed. Vi har et ønske om at kunne dokumentere, at vores tilbud gør en forskel for de mennesker, der er indskrevet i Den Sociale Udviklingsfond. Vores ambition er, at dokumentationen styrker relationen til vores eksterne samarbejdspartnere, fordi der er gennemsigtighed i vores arbejde. Samtidig lægger vi vægt på, at evaluerings- og dokumentationsarbejdet kan mere end at kontrollere, om vi når de mål, der er formuleret i den enkeltes handleplan. For Den Sociale Udviklingsfond er dokumentation således et nødvendigt afsæt for, at vi løbende kan udvikle vores tilbud og justere den daglige praksis. Det styrker den enkelte socialkonsulents faglighed, og det styrker vores tilbud som helhed. Dokumentation skal give mening Vi arbejder med dokumentation på flere niveauer. Det handler dels om at udvikle redskaber, som giver mening i det daglige samarbejde mellem socialkonsulenten og den unge indskrevne, og dels om at give hver enkelt afdeling et samlet billede af, om metoder og indsatser stemmer overens med de aftaler, der er indgået med sagsbehandlerne i kommunerne. Og endelig handler det om, at vi kan tegne et mere overordnet billede af, hvilke resultater vi skaber for det enkelte menneske på både kort og lang sigt. Resultater der kan dokumenteres De fælles resultater er samlet i dokumentationsværktøjet suf.sui.dk, som det private konsulentfirma SocialRespons udviklede for Den Sociale Udviklingsfond i Værktøjet giver os fx mulighed for at dokumentere, at vi har succes med at forbedre de unges sociale liv, at vi lykkes med at hjælpe unge ud af kriminalitet, og at næsten halvdelen af alle unge er i beskæftigelse, når de bliver udskrevet fra Den Sociale Udviklingsfond. For os handler det især om troværdighed i forhold til vores eksterne samarbejdspartnere, når vi kan læne os op ad resultater baseret på mange års fokuseret dokumentationsarbejde i stedet for på fornemmelser og enkeltstående eksempler. Få overblik over Den Sociale Udviklingsfonds dokumentationsindsats Folderen giver et indblik i, hvordan vi arbejder med dokumentation både i hverdagen og på den lange bane. Vores ambition er, at en udviklingsorienteret dokumentationsindsats bidrager til at skabe merværdi både for vores socialkonsulenter, for den indskrevne og for vores eksterne samarbejdspartnere. For os er det en investering, der giver rigtig god mening.

4 4 Evaluering og dokumentation i Den Sociale Udviklingsfond Dokumentationens tre ben Vores arbejde med evaluering og dokumentation synliggør den udviklingsproces, den unge gennemgår fra indskrivning til udskrivning. Samtidig skaber dokumentationen intern læring og større gennemsigtighed over for de involverede mennesker. Alle vores 20 afdelinger indgår i et evaluerings- og dokumentationsprojekt, der er baseret på et fælles værdigrundlag. Projektet består af et webbaseret målesystem og en tidsbegrænset kvalitativ evaluering kombineret med afdelingernes egen dokumentationspraksis, der afspejler deres målgruppe og metode. Dokumentation i Den Sociale Udviklingsfond 1 Afdelingernes egne dokumentationsredskaber 2 Et webbaseret dokumentationsredskab (suf.sui.dk) og en kvalitativinterviewundersøgelse. Begge dele varetages af vores eksterne partner SocialRespons 3 Et lærings- og udviklingsforløb, der skaber et fælles udgangspunkt for at arbejde med dokumentation. Målet er, at de enkelte redskaber supplerer og understøtter hinanden, således at vi kan give et fyldestgørende billede af effekten af vores indsats. 1Det første ben: Afdelingernes dokumentationsredskaber Vi arbejder med individuelle løsninger, også når det gælder dokumentation. Afdelingerne målretter deres dokumentationsredskaber, så de understøtter det daglige pædagogiske arbejde og understøtter den enkeltes udfordringer og udviklingspotentiale. For alle afdelinger er målet, at dokumentationsindsatsen skal være meningsfuld og skabe værdi for både den indskrevne, socialkonsulenten og sagsbehandleren. Inddragelse er et omdrejningspunkt i den pædagogiske praksis i afdelingerne, og derfor bruger socialkonsulenterne målrettede dokumentationsredskaber til at skabe dialog om mål, resurser og begrænsninger. Alle afdelinger har udarbejdet en procesbeskrivelse (se eksempel på side 5) over afdelingens dokumentationsredskaber. Beskrivelsen giver overblik over de enkelte redskaber og skaber sammenhængen i den daglige dokumentationsindsats.

5 5 Eksempel på procesbeskrivelse Modellen skaber overblik over og sammenhæng mellem dokumentationsredskaberne. Det giver den enkelte socialkonsulent mulighed for på et fagligt grundlag at vælge, hvilke redskaber der er meningsfulde i samarbejdet med den indskrevne unge. Processen fortsætter, indtil den unge udskrives, herunder en årlig fornyelse af kontrakten. Ved udskrivning skrives en afsluttende rapport til kommunen, og der udfyldes et afsluttende spørgeskema til suf.sui.dk. VISITATIONEN ADL-Spørgeskema Visitationsskema Samarbejdsaftalen præsenteres Indgås, der aftale om indskrivning udfærdiger lederen kontrakt INDSKRIVNING Samarbejdsaftale & handleplan underskrives EFTER 2,5 MÅNED SUF fælles evalueringsskema (elektronisk) ADL-Spørgeskema Skema om fokuspunkter* Skema om selvforståelse (gentages efter behov)* 3-måneders statusrapport - herunder opsætning af mål og delmål for den kommende periode - afdækningen af ADL medsendes status (udfyldt ved visitationen) Diskussion af/sparring omkring rapport på personalemøde Statusmøde med den unge, sagsbehandler, pårørende mv. EFTER 9 MÅNEDER ADL-Spørgeskema Skema om fokuspunkter* SUF fælles evalueringsskema Statusrapport - udviklingen inden for fokusområder for AD L-træningen præsenteres - vær opmærksom på, om der skal laves en forlængelse af kontrakten Diskussion af/sparring omkring rapport på personalemøde Statusmøde med den unge, sagsbehandler, pårørende, mv. * Det er ikke sikkert, det er relevant at bruge alle skemaer ift. til alle unge. EFTER 15 MÅNEDER Statusmøde med den unge ADL-Spørgeskema Skema om fokuspunkter* SUF fælles evalueringsskema Statusrapport

6 6 Evaluering og dokumentation i Den Sociale Udviklingsfond 2Det andet ben: Dokumentationsredskabet suf.sui.dk Dokumentationsredskabet suf.sui.dk består af online spørgeskemaer, der er udviklet af SocialRespons. Vores socialkonsulenter udfylder skemaerne to gange om året i den tid en indskrivning varer. Suf.sui.dk giver os mulighed for at skabe læring og udvikling på tværs af organisationen, fordi vi kan få et mere generelt billede af effekten af vores arbejde. Samtidig kan vores afdelinger bruge resultaterne fra suf.sui.dk til at tilpasse og udvikle deres pædagogiske redskaber og praksis, fordi dokumentation bidrager til at gøre processen og udbyttet af den daglige indsats mere bevidst og gennemskuelig for socialkonsulenten. Derudover kan suf.sui.dk visualisere den unges udvikling på forskellige parametre, og vi har mulighed for at dokumentere effekten af vores indsats på tværs af målgrupper. Dermed bidrager redskabet til et velunderbygget billede af den samlede effekt af alle afdelingers indsats.

7 7 Uddrag af resultater fra suf.sui.dk Graferne er eksempler på den viden, suf.sui.dk giver os om effekten af vores indsats. Vi kan blandt andet se, hvordan de unge klarer sig i forhold til beskæftigelse. Kombineret med resultaterne fra den kvalitative interviewundersøgelse og afdelingernes individuelle dokumentationsredskaber får vi en stadig større indsigt i, hvad der skaber effekten af vores arbejde, og hvilken pædagogisk indsats der har særlig stor effekt. Udviklingen i forhold til beskæftigelse Beskæftigelse Procent Indskrivning Udskrivning Tabellen viser udviklingen i andelen af unge, der er i beskæftigelse fra indskrivning til udskrivning (134 respondenter) *. Her ser vi, at 47 % af de unge i SUF er i beskæftigelse ved udskrivning. Det er 17 % flere end ved indskrivning. * Gruppen udgøres af alle unge der har været indskrevet i minimum et år, inden de blev udskrevet.

8 8 Evaluering og dokumentation i Den Sociale Udviklingsfond Er den unge selvmordstruet? Indskrivning 5% Er den unge selvmordstruet? Efter halvandet år 5% 39% 22% 56% 73% Ja Nej Ved ikke Tabellen viser udviklingen i andelen af unge, der vurderes at være selvmordstruet fra indskrivning til efter halvandet år i SUF. Andelen bliver i denne periode næsten halveret (158 respondenter).

9 9 De unges progression målt på forskellige indsatsområder - målt fra indskrivning til efter halvandet år i SUF (158 unge) Progression Uændret Regression Unge med svære psykiske vanskeligheder Unge med problemer ift. håndtering af dagligdagen Kriminelle unge Unge med misbrug Tabellen viser, at der halvandet år efter indskrivning er sket følgende: - 51 % af de unge med svære psykiske vanskeligheder har fået det bedre % af de unge, som ved indskrivningen klarede håndtering af dagligdagen i eget hjem dårligt eller meget dårligt, er blevet bedre til dette (det vil sige, at de enten nu bor selv eller er blevet bedre til at håndtere dagligdagen i eget hjem) % af de unge, som ved indskrivning var kriminelle, er kommet ud af deres kriminalitet % af de unge, som ved indskrivning var misbrugere, er kommet ud af deres misbrug. Ved områderne misbrug og kriminalitet betyder en uændret progression, at den unge er forblevet i sit misbrug eller fortsat er kriminel.

10 10 Evaluering og dokumentation i Den Sociale Udviklingsfond 2Det andet ben: Kvalitativ interviewundersøgelse I foråret 2010 blev første del af vores interviewbaserede undersøgelse afsluttet. Undersøgelsen, der gennemføres af SocialRespons, er en interviewbaseret, kvalitativ indsats, hvor vi følger ca. 10 procent af alle indskrevne fra indskrivning til to år efter udskrivning. På baggrund af 103 interviews kunne vi for første gang dokumentere, hvilke samlede resultater vi skaber i løbet af et år. Resultaterne af undersøgelsen kan læses i rapporten Når ønsket er et helt normalt liv, der ligger på Vi følger op med nye resultater efterhånden, som dem, der er med i undersøgelsen, bliver udskrevet og igen, når den unge har været udskrevet i to år. Interviewundersøgelsen styrker de statistiske resultater fra suf.sui.dk, fordi interviewene i modsætning til de kvantitative målinger giver os vigtig viden om, hvad der skaber effekten af vores indsats og pædagogiske praksis over for de unge indskrevne. Ekstern dokumentationspartner Suf.sui.dk er udviklet af vores eksterne evalueringspartner SocialRespons, som ligeledes gennemfører den kvalitative interviewundersøgelse på vores vegne. Vi ønsker en høj grad af troværdighed og gennemsigtighed i vores arbejde med dokumentation og evaluering. Det gør vi bedst ved at lade en ekstern partner indsamle og behandle de data, der er relevante for at kunne dokumentere effekten af vore sindsats. SocialRespons er specialister inden for dokumentation og effektmåling på det sociale område.

11 11

12 12 Evaluering og dokumentation i Den Sociale Udviklingsfond 3Det tredje ben: Lærings- og udviklingsforløb Dokumentation i praksis er et lærings- og udviklingsforløb, der sikrer, at vores arbejde med dokumentation skaber merværdi både for de indskrevne, vores socialkonsulenter og vores eksterne samarbejdspartnere. Forløbet, der blev sat i gang i efteråret 2012, kvalificerer vores afdelingers brug af dokumentationsog måleredskaber, så dokumentationsindsatsen ikke opleves som en opgave, der kommer oveni det daglige arbejde. Ambitionen er, at dokumentationen skal være en meningsfuld del af socialkonsulenternes fokus på at skabe udvikling hos de mennesker, vi arbejder for og med. Derfor var vores mål med seminarerne blandt andet at skabe et fælles værdimæssigt udgangspunkt for arbejdet med dokumentation i praksis.

13 13 Forløbets fire grundtanker Seminarerne bidrog til både videndeling og erfaringsudveksling afdelinger imellem. Vores mål er ikke at ensrette dokumentationen i de enkelte afdelinger. Derimod ønsker vi, at den enkelte afdeling forholder sig bevidst og aktivt til sin egen dokumentationsindsats. Margrethe Langer, udviklingskonsulent, Den Sociale Udviklingsfond Inddragelse af alle Alle socialkonsulenter i vores 20 afdelinger har deltaget i et 2-dags seminar, hvor der blandt andet blev skabt et fælles udgangspunkt for arbejdet med dokumentation, og hvor de enkelte afdelinger formulerede deres egne målsætninger for, hvordan de kan sikre merværdi i dokumentationen. Fælles værdisæt Afdelingerne arbejder med forskellige målgrupper og fokusområder, og samtidig er de geografisk spredt ud over hele landet. Derfor ønsker vi ikke at lave fælles retningslinjer for, hvordan den enkelte afdeling skruer sin dokumentationsindsats sammen. Til gengæld er det vores ønske, at organisationen som helhed arbejder ud fra et fælles værdisæt, som lægger en ramme om formålet med måling og dokumentation. Den ramme har seminarerne i efteråret 2012 været med til at skabe og forankre. Fælles historie Uanset hvilken målgruppe eller fokus de enkelte afdelinger har, er vi bundet sammen af et fælles ønske om at skabe mest mulig udvikling for de mennesker, der er indskrevet i Den Sociale Udviklingsfond. Vores fælles historie handler blandt andet om, at vi har arbejdet systematisk med dokumentation siden 2007, og de resultater, vi i dag kan fremvise på baggrund af den indsats, er en styrke for alle afdelingers fortsatte udvikling og for kommunikationen med eksterne partnere. Forankring gennem nøglepersoner Nøglepersonerne er en central del af lærings- og udviklingsforløbet, fordi de sikrer, at dokumentationsarbejdet bliver videreført og forankret i de enkelte afdelinger. Nøglepersonerne har været på et 2-dags seminar, hvor de er blevet klædt på til at facilitere det videre arbejde med dokumentation. De mødes desuden løbende i vores Nøglepersonnetværk til fælles sparring og kompetenceudvikling.

14 14 Evaluering og dokumentation i Den Sociale Udviklingsfond Sådan forankrer og videreudvikler Den Sociale Udviklingsfond evaluerings- og dokumentationsindsatsen i det daglige arbejde I efteråret 2012 udpegede vores 20 afdelinger hver en nøgleperson, der har ansvar for at videreudvikle dokumentationsarbejdet i de enkelte afdelinger. Nøglepersonerne mødes i en netværksgruppe for at udveksle erfaringer og få input til, hvordan dokumentationsarbejdet kan tilpasses og forankres. Målet er at sikre videndeling på tværs af organisationen for at inspirere afdelingerne til at videreudvikle og styrke deres dokumentationsindsats. Nøglepersonens rolle 1. Nøglepersonen har en faciliterende rolle, som understøtter og motiverer kollegernes dokumentationsindsats. 2. Nøglepersonen tager initiativ til, at afdelingen opstiller klare mål for dokumentationsindsatsen og sikrer, at indsatsen løbende evalueres. 3. Nøglepersonen anviser redskaber, der gør det nemt og sjovt at arbejde med dokumentation i afdelingen. 4. Nøglepersonen tilpasser dokumentationsværktøjerne, så de er relevante i afdelingen og for den enkelte socialkonsulent. 5. Nøglepersonen er klædt på til at gøre arbejdet med dokumentation konkret fx ved at anvise specifikke værktøjer, der kan integrere dokumentation i den daglige praksis. 6. Nøglepersonen motiverer til forandring og bidrager til at sikre ejerskab, engagement og opbakning til dokumentationsarbejdet.

15 15 I det daglige arbejde kan det være svært at lave skiftet fra det meget konkrete arbejde med de unge til mere overordnede overvejelser om god og dårlig dokumentation. Det er ikke noget, der sker af sig selv. Derfor betyder det meget for mig, at jeg er blevet en del af et netværk, hvor jeg løbende bliver motiveret til at fokusere på, hvordan vi styrker og udvikler dokumentationsindsatsen i min afdeling Rasmus Toft, socialkonsulent

16 16 Evaluering og dokumentation i Den Sociale Udviklingsfond Læringsforløb giver synlige resultater Allerede et halvt år efter lærings- og udviklingsforløbet blev sat i gang kunne vi registrere de første resultater: Socialkonsulenterne tager i højere grad ejerskab for det tværgående evaluerings- og dokumentationsprojekt. Vi oplever, at socialkonsulenterne ikke længere taler om dokumentation som papir, men derimod som noget, der kan bruges i det daglige arbejde. Afdelingerne har beskrevet, hvordan de arbejdede med dokumentation, inden forløbet blev sat i gang. Den beskrivelse bruger de som udgangspunkt for at videreudvikle deres arbejde med dokumentation. Gennem videndeling på tværs af organisationen er afdelingerne blevet bevidst om nye eller andre dokumentationsredskaber, der er relevante i deres arbejde. Socialkonsulenterne har fokus på de muligheder, der ligger i arbejdet med dokumentation. Det gælder fx arbejdet med statusrapporter, hvor konsulenterne gennem en mere struktureret proces har glæde af konkrete dokumentationsredskaber. Samtidig lægger de vægt på, at de unge reelt bliver inddraget i arbejdet med rapporten, og at de som en del af processen bruger deres kolleger som sparringspartnere.

17 17 Socialkonsulenterne har fået en større bevidsthed om, hvordan de kan bruge dokumentationsredskaberne som en integreret del af den pædagogiske indsats, og på hvordan resultaterne fra dokumentationsarbejdet kan bruges i dialogen med den unge. Alle afdelinger har kendskab til de muligheder, der er for digital dokumentation og tegner i stigende grad abonnement på systemet Bosted.

18 18 Evaluering og dokumentation i Den Sociale Udviklingsfond Fremtidens dokumentationsindsats i Den Sociale Udviklingsfond Når dokumentation og effektmåling skal imødekomme bestemte målgruppers behov, er det afgørende, at dokumentationsredskaberne er skræddersyede og målrettet indsatsen over for den enkelte. I Den Sociale Udviklingsfond er det derfor afdelingerne selv, der beslutter, hvordan deres dokumentation skal skrues sammen for at understøtte deres specifikke indsatsområder bedst muligt. Det er altså ikke så meget de konkrete redskaber, men derimod vores værdimæssige afsæt, der skaber en fælles ramme om vores dokumentationsarbejde. Uanset hvilken borger, vi står over for, er vores ambition altid den samme; nemlig at skabe det bedst mulige tilbud, som tager højde for den enkeltes behov og udfordringer, og som sikrer, at de, der er indskrevet hos os, udvikler sig og når de mål, der er formuleret i deres handleplan. Dialog kvalificerer og udvikler Vi arbejder udviklingsorienteret med vores dokumentationsindsats i erkendelse af, at vi hele tiden har brug for at styrke og målrette socialkonsulenternes kompetencer inden for dokumentation. Det handler dels om at give vores konsulenter mulighed for at træffe bevidste valg om, hvilke dokumentationsredskaber der understøtter den daglige praksis bedst muligt. Og dels handler det om at imødekomme de krav og forventninger vores eksterne samarbejdspartnere såvel som den indskrevne og de pårørende har til dokumentationen. Vores lærings- og udviklingsforløb er et eksempel på, hvordan vi forankrer den seneste viden om dokumentation hos alle vores socialkonsulenter, ligesom vi skaber rammerne for, at afdelingerne kan dele deres praktiske erfaringer og viden om aktuelle dokumentationsredskaber med hinanden. Det er et mål for os, at vi følger udviklingen inden for dokumentation og effektmåling for at sikre, at vores dokumentationsindsats altid afspejler aktuelle behov og tendenser. Meningsfuld videndeling Siden 2007 har vi arbejdet systematisk og målrettet med dokumentation. Det betyder, at vi har et omfattende datamateriale, der giver os mulighed for både kvalitativt og kvantitativt at dokumentere effekten af vores indsats, samt hvad der skaber effekten. Den viden deler vi med glæde også uden for organisationen fordi vi gerne vil give vores bidrag til at udvikle den generelle dokumentationsindsats og effektmåling på det sociale område i Danmark. For os er løbende videndeling og læringsforløb både internt og eksternt helt essentielle for at kunne skrue målrettede tilbud sammen, som afspejler den virkelighed vi agerer i.

19 19

20 Dokumentation er en forudsætning for udvikling og kvalitet For os er meningsfuld dokumentation med til at styrke kvaliteten af vores tilbud og relationen til både sagsbehandleren og de unge i Den Sociale Udviklingsfond, som har fortjent at få den bedst mulige støtte i deres udviklingsproces. Dokumentation må aldrig blive en pligt, for vi har siden 2007 set, at der både er udvikling og dyrebar viden at hente, når vi arbejder fokuseret og bevidst med at integrere dokumentationsindsatsen i den daglige praksis. Det gode dokumentationsarbejde er dynamisk, fordi vi har en forpligtelse til løbende at vurdere, hvordan vi skruer redskaberne sammen, så de fortsætter med at give mening og skabe merværdi for både os selv, sagsbehandler og dem, der er indskrevet hos os. Derfor er vores ambition ikke at komme i mål, men derimod løbende at justere og forholde os nysgerrigt til vores indsats, så den altid matcher den virkelighed, vi agerer i. Denne folder giver et overblik over, hvordan vi arbejder med dokumentation og effektmåling. Vores indsats står på tre ben: 1) Afdelingernes dokumentationsredskaber, der er tilpasset den enkeltes behov og udviklingspotentiale. 2) Et online spørgeskema, som løbende dokumenterer udviklingen hos de unge og en kvalitativ interviewundersøgelse, som følger 10 procent af de unge indtil to år efter, de er udskrevet, og endelig 3) Et fælles lærings- og udviklingsforløb for alle vores socialkonsulenter. På finder du seneste nyt om resultaterne af vores dokumentationsarbejde. Du er også altid velkommen til at henvende dig til en af vores 20 afdelinger for at høre mere om, hvordan vi arbejder. Med venlig hilsen Michael Hansen, direktør, Den Sociale Udviklingsfond Den Sociale Udviklingsfond Nørregade 49, 1. th 5000 Odense C