Hvordan måler vi vores indsats? Oplæg til netværksmøde for økonomiske rådgivere V/ Charlotte Holm 29.oktober 2014
Oplæg om at dokumentere socialt arbejde De næste to timer handler om at dokumentere socialt arbejde: Introduktion til kernebegreber i at dokumentere socialt arbejde hvorfor og hvordan kan vi dokumentere effekterne af arbejdet. Øvelser i hvordan man dokumentere socialt arbejde, herunder hvordan vi kan beskrive indsatsen og hvad vi kan gøre for at følge op på resultater. Opsamling og afsluttende debat hvorvidt vi kan, skal og vil dokumentere arbejdet? MÅLET ER, AT I GÅR HJEM MED: Kendskab til kernebegreber i at dokumentere socialt arbejde. Inspiration til hvad I helt konkret kan gøre for at dokumentere jeres specifikke indsats
Hvad indebærer det at dokumentere vores arbejde? Dokumentation handler om at sætte mål for indsatsen og følge op på om de opnås. Men er et bredt begreb, der dækker over meget Forskningsbaseret dokumentation, der gennem eksperimentelle forsøg viser at indsatsen har effekter ift. at brugerne fx ændrer økonomisk adfærd. Systematisk dokumentation, der sandsynliggør at indsatsen fører til at brugerne ændrer økonomisk adfærd. Eftermålinger viser at brugerne tror/føler at rådgivningen har ført til at de har ændret økonomisk adfærd. Solstrålehistorier viser at en enkelt bruger har ændret økonomisk adfærd.
Hvorfor skal vi dokumentere vores arbejde? Men HVORFOR skal vi dokumentere vores arbejde? Når vi dokumentere vores arbejde, så kan vi finde frem til hvad der virker og ikke virker og dermed får vi bedre resultater. Når vi dokumentere vores arbejde, så fjerner vi os fra det væsentlige til fordel for det målelige og dermed får vi dårligere resultater. FOR IMOD Etisk ansvar Reflektere over hvorfor vi gør, som vi gør, og hvem vi gør det for. Fokus på resultater Vi holder fokus på om indsatsen skaber de ønskede resultater, hvad der virker og ikke virker. Ord på tavs viden Vi får sat ord på hvad vi gør for at opnå de ønskede resultater. Faglig udvikling Mulighed for refleksion, udvikling og læring ved at løbende at teste indsatsen. Videndeling Mulighed for videndeling på tværs af projekter Tunnelsyn Ensidig fokus på at skabe resultater, der i dræber innovation og fleksibilitet. Konstitutive virkninger Dokumentationen kommer til at forme virkeligheden ud fra de mål man har sat. Styring og kontrol Strammer styring over projekterne, dræber motivation og mulighed for forsøg, eksperimenter. Fokus på resultater og ikke proces Ser kun på resultatet og ikke den proces brugerne gennemgår. Blinde vinkler Ikke alt giver gode resultater men er det så skidt igen?
Hvorfor skal vi dokumentere vores arbejde? Summe øvelse Brug 3 min. på at drøfte med din sidemand: Hvilke fordele og ulemper vil der være ved at dokumentere den indsats du arbejder med?
Der er tre trin i at dokumentere socialt arbejde: 1 Første trin er, at sætte mål for og beskrive indsatsen. 2 Andet trin er, at udarbejde et system, så man kan måle på om man opnår de ønskede resultater. 3 Tredje trin er, løbende at trække resultater ud, så det kan understøtte arbejdet.
TRIN 1: SÆT MÅL FOR INDSATSEN Det handler om at sætte mål for hvordan indsatsen virker i forhold til et givent socialt problem, og hvilke effekt den har. 1. At sætte mål handler om at beskrive HVILKEN EFFEKT indsatsen skal have i forhold til at løse et givent socialt problem hvad er det der helt konkret skal ændrer sig, fra hvad til hvad. 2. Det handler også om at beskrive HVORDAN målene skal opnås, ved at beskrive den indsats, de metoder og betingelser, der skal til for at opnå målene. EFTER FØR
At sætte mål handler om at nedbryde indsatsens overordnede målsætning i helt konkrete mål for hvad der skal komme ud af projektet. Mål skal være SMART-testede: Specifikke Målbare Accepterede Realistiske Tidsangivet FRA: 'Et tilfredsstillende antal forældre til tosprogede børn skal møde op til størstedelen af forældremøderne på skolen'. TIL: 'Ved alle forældremøder i det kommende skoleår deltager mindst 80 procent af forældrene til tosprogede børn'
Forandringsteorien er en systematisk tilgang til at sætte ord på HVORDAN en indsats virker, FOR HVEM og under HVILKE BETINGELSER. Forandringsteori handler om at fortælle historien om hvordan man gennem indsatsen vil opnå den ønskede virkning ved at sætte ord på de underliggende hypoteser om: hvis vi gør a vil det føre til b, fordi. Det gør man ved først at specificere hvilket problem indsatsen henvender sig til, hvad det overordnede mål er og hvem målgruppen er. Dernæst præciserer man hvilke forandringer indsatsen skal skabe for at opnå den overordnede målsætning på kort, mellemlangt og langt sigt Og til sidst sætter man ord på, hvilken indsats, der skal til for at skabe de ønskede ændringer. På den måde får man fortalt historien om hvad virker, for hvem og under hvilke omstændigheder: Aktiviteter Resultater Umiddelbare Virkninger Mellemlang sigt Virkninger Lang sigt Økonomisk rådgivning Tryg relation Brugeren får realistisk overblik over økonomi Brugerne får tiltro til at der er hjælp at hente Brugeren lægger budget Brugeren indgår afdragsordninger Brugeren overtrækker ikke Brugerne får styr på økonomien
Forandringsteori præciserer mål og sætter det SOCIALE ARBEDJE i centrum ved at sætte ord på hvad det er I gør og hvilken betydning det har for at skabe resultater. 1. Forandringsteorien får sat ord på det sociale arbejde de aktiviteter, tilgange, metoder og værktøjer, der skal til for at opnå resultater. Understøtter faglighed ved at sætte ord på tavs viden og erfaringer, der er skabt i den daglige praksis. Kritisk refleksion over ideer og værdier bag projektet Planlægning og prioritering af hvilke aktiviteter der er væsentlige for at opnå mål. 2. Forandringsteori giver også mulighed for at teste antagelserne bag det sociale arbejde Teste om antagelserne er korrekte, fx om etableringen af en tryg relation har betydning for resultater. Bidrage til den faglige viden og teorier om hvad der skaber forandring på området Kan svare på hvad det er som skaber effekten Teori og implementeringsfejl: Resultater Resultater Implementering Teorien er beskæftiget Teorifejl Implementering Implementeringsfejl Implementerings og teorifejl
På basis af forandringsteorien kan indsatsens metode, tilgange og værktøjer beskrives og der kan udarbejdes manualer for arbejdet: Det skal sikre at der er en fælles forståelse for hvordan indsatsen skal implementeres. Det kan være mere eller mindre detaljeret, fra en detaljeret kogebog til en overordnet guide for arbejdet eller retningslinjer for hvordan man fx skal møde brugeren. Det skal understøtte refleksion over den daglige praksis ved løbende at følge med i om man implementere indsatsen i overensstemmelse med principperne (fidelitet) eller om der er behov for at justere dem.
TRIN 2: FØLG OP PÅ MÅL Det handler om at finde ud af hvordan man kan måle om indsatsen de forventede mål. Nogle mål er direkte målbare, som fx at 80% af brugeren undgår udsættelse. Andre mål er svære at gøre målbare, som fx øgede handlekompetencer eller trivsel. Her handler det om at finde en indikator eller et konkret tegn på at man kan se om målet er nået. Et eksempel på en god indikator er, at man i New York brugte antallet af nyåbnede restauranter som indikator for målet om at nedbringe kriminalitet Så udfordringen er, at udarbejde et indikatorsystem for hvordan der kan følges op på indsatsens mål, både hvad angår: 1. EFFEKTINDIKATORER følger op på om indsatsen opnår organisatoriske, politiske eller individuelle mål for brugeren. 2. PROCESINDIKATORER følger op på om indsatsen er implementeret efter hensigten, som fx om medarbejderen får etableret en tryg relation med brugeren.
EFFEKTINDIKATORER handler om at følger op på om indsatsen opnår organisatoriske, politiske eller individuelle mål for brugeren. Nogle mål kan man følge op på gennem registrering, som fx af hvor mange der bliver udsat, mens andre mål kræver indsigt i at brugerne begynder at tænke, føle og handle anderledes. Her kan det være nødvendigt at udarbejde spørgeskemaer: Brugerbaserede spørgeskemaer Før/eftermålinger Spørgsmål til handlinger, der viser at brugeren har rykket sig Validerede skalaer Rutiner for udfyldelse
Eksempler på spørgeskema typer: Visuel Analoge Skalaer (VAS), hvor brugeren skal sætte et kryds mellem to yderpunkter. Jeg har helt styr på min økonomi Jeg har aldrig overtræk på min konto Jeg har overhovedet ikke styr på min økonomi Jeg har altid overtræk på min konto Validerede skalaer, der giver en samlet score på fx. brugerens handlekompetencer Jeg kan altid finde på måder, at løse mine problemer på. o o o o o o o Jeg forfølger mine mål. o o o o o o o Der er altid en måde, at løse et problem på. o o o o o o o Jeg kan opnå de ting, som er vigtige for mig. o o o o o o o Selv når andre giver op bliver jeg ved med at prøve at finde en løsning på mine problemer. o o o o o o o Jeg syntes, at jeg har lært meget af de erfaringer jeg har og er godt forbedret på mit liv. o o o o o o o Jeg syntes, at jeg har opnået det jeg ville. o o o o o o o Jeg opnår de ting, jeg sætter mig for. o o o o o o o Helt forkert Meget forkert Lidt forkert Delvist forkert Delvist rigtigt Lidt rigtigt Meget rigtigt
PROCESINDIKATORER handler om at følger op på om indsatsen implementeres som tiltænkt, fx at der etableres en tryg relation med brugeren. Det er vigtigt for at kunne måle på om de konkrete tilgange, metoder og værktøjer fører til de forventede effekter. Her gælder det igen at nogle mål er lette at følge op på, fx antal rådgivningssamtaler, mens andre mål kan være svære at følge op på som fx at skabe en tryg relation. Hvis man vil måle på procesindikatorer kan man overveje følgende metoder: Registrering af aktiviteter, som fx tjeklister, logbøger eller registreringssystemer. Spørgeskemaer til brugere, som fx om brugeren oplever at der er skabt en tryg relation. Fokusgrupper eller observation.
TRIN 3: AFRAPPORTER RESULTATER Det handler om at lave et system for løbende afrapportering af resultater således at data bruges til at understøtte indsatsen på en meningsfuld måde. EKSTERN AFRAPPORTERING: Fundraising, kommunikation og fortaler virksomhed Fundraisining Status til bidragsydere og samarbejdspartere Kommunikation og fortalervirksomhed INTERN AFRAPPORTERING: Læring og refleksion Løbende tilpasning og udvikling af indsatsen. Understøtter faglighed gennem refleksion over praksis Skærpet opmærksomhed på at brugerne opnår resultater. Tilpasning af indsats Beskrivelse af indsats Læring og refleksion Afprøvning og test
Eksempel på en dataslange Bestyrelse Halvårlige rapporter til bestyrelsen, der viser de samlede resultater for alle projekter opdelt på år. Tilpasning af strategier, værdier og mål. x frivillighed. Trippelkredslæring Er 1) vores Finder antagelser og afprøver rigtige? nye Sætter strategier 2) spørgsmålstegn, Ændrer værdier udformer og strategier nye strategier og tester dem. Chefgruppe Styregruppe Kvartalvise rapporter til chefgruppen, der viser årets samlede resultater for alle projekter opdelt på kvartaler Kvartalvise rapporter til styregruppen for de enkelte projekter, der viser kvartalets resultater opdelt på faser. Nye initiativer Dobbeltkredslæring: der ændrer regler og rammer, Gør vi det men rigtige? er indenfor Sætter værdier: spørgsmålstegn 1) Målgruppeidentifikation ved og ændrer 2) Fastholdelsesstrategier rammerne. Tværfaglige team Månedlige teamrapporter, der viser brugernes fremdrift opdelt på de enkelte grupper. Medarbejder Integrerede journaler og resultatlister, der viser brugerens resultater på de enkelte mål. Forbedrer Enkeltkredslæring: arbejdsgange: Gør 1) vi det Systematisk rigtigt? Korrigerer opfølgning indenfor 2) Større rammerne fokus på mål
Øvelser Øvelser
Øvelse 1: At sætte mål for indsatsen Har I formuleret mål for indsatsen? JA NEJ Beskriv de primære mål for indsatserne og drøft om de er smarttestede Beskriv mål Specifikt Målbart Accepteret Realistisk Tidsbegrænset O O O O O O O O O O O O O O O Hvilke aktiviteter, metoder eller værktøjer er vigtigst for at opnå mål?... Hvordan er disse beskrevet? JA Baseret på erfaring Beskrevet i projekt forslag Beskrevet gennem forandringsteori O O O Drøft om det er godt nok eller om de kan beskrives bedre - og angiv i så fald hvordan.
Øvelse 2: At måle på resultater og proces Hvad gør vi for at følge op på indsatsen? Tag en bordrunde og beskriv hvordan I følger op på indsatsen gennem, fx brugerregistrering, spørgeskemaer. Hvad kan vi gøre for at måle indsatsens effekter for brugeren? Drøft om nedenstående muligheder er realistiske og begrund svar (hvorfor/hvorfor ikke): JA NEJ Eftermåling baseret på spørgeskema til brugeren ved afslutning af projektet O O Før/eftermåling baseret på spørgeskema til brugeren ved opstart og afslutning af indsatsen O O Medarbejdervurdering af brugeren ved afslutning (og eventuelt også ved opstart af projektet) O O Hvad kan vi gøre for at måle på vores indsats via procesmål? Drøft om nedenstående muligheder er realistiske og begrund svar (hvorfor/hvorfor ikke): JA NEJ Overordnet beskrivelse af indsatsens metoder, tilgang og værktøjer O O Registrering af indsats (fx registrering af indhold i samtalen, logbog, mv.) O O Spørgeskema til brugeren (fx om brugeren oplevede at der blev skabt en tryg relation) O O
Afsluttende debat Skal, kan og vil vi dokumentere vores arbejde? Hvorfor? Hvorfor ikke?