Evidensbaseret praksis i den virkelige verden Vurdering af behandlingens kvalitet Den sociale højskole, Odense 13/11 2007 Mads Uffe Pedersen
8 (9) dimensioner til vurdering af et programs kvalitet 1. Forandringsmodel 2. Etik og værdier 3. Målgruppe 4. Metoder 5. Varighed, intensitet og struktur 6. Individuel planlægning og koordinering 7. Medarbejdere, samarbejde og arbejdsmiljø 8. Effekten i forhold til målene (9) Indirekte: DOKUMENTATION af ovenstående
1. Forandringsmodel Hvilke teori(er) er grundlaget for jeres praksis? Hvilken forskning er der lavet på området (få litteraturhenvisninger)? Hvad siger teorierne/forskningen om de mål som I har sat jer? Hvad siger teorien/forskningen om at opnå forandringer i forhold til netop jeres mål (skelne mellem kort og langsigtede mål) Kender I til lignende praksis (DK eller udlandet) Kender I til andre teorier/anden forskning som fokuserer på jeres mål
Forståelsen af misbrug/afhængighed Den sociale model (DSM-IV) Den individuelle model (ICD-10) Walter & Plock Den juridiske model Dispositions-modellen Tab-af-kontrol modellen Konsekvensmodellen Selvmedicinering-modellen Livsproces-modeller
Livsproces-modellerne og deres forståelse af forandring Betingningsmodellerne Sociale indlæringsmodeller og kognitive modeller System-modellen Socio-kulturelle modeller Klinisk-dynamiske modeller Humanistisk-eksistentialistiske modeller
1. Ingen eller usammenhængende refleksioner 2. Erfaringsbaserede refleksioner fra medarbejdernes egen praksis. 3. Systematiske teori og forskningsbaserede refleksioner 4. Forandringsmodellen dokumenteres (ved at vise/henvise til litteraturreferencer, hjemmesider, beskrivelser af lignende projekter mm.)
2. Etik og værdier A. Hvordan sikrer I brugerinvolvering B. Hvordan sikrer I jer at minoritetsgruppers særlige behov tilgodeses og i så fald hvad er disses særlige behov C. Hvordan sikrer I at de brugere der afbryder projektet ikke begår skade på sig selv eller andre D. Har I et reglement for projektet? Er det et skriftligt eller et mundtligt reglement? Hvordan håndterer I brud på reglementet (fx. straf og sanktioner). E. Har projektet et værdigrundlag/menneskesyn som foreskriver (alle/nogle af) jeres handlinger/relationer til klienterne og i så fald hvad består dette grundlag i F. Gør man sig overvejelser i forbindelse med at basere en praksis rettet mod socialt sårbare personer på dette værdigrundlag? (f.eks. har mange fra denne gruppe forskellige psykiatriske lidelser, intellektuel funktionsnedsættelser, manglende skolegang, helbredsmæssige problemer mm.)
1. Ingen eller usammenhængende refleksioner 2. Erfaringsbaserede refleksioner fra medarbejdernes egen praksis. 3. Systematiske refleksioner over forskellige etiske problemstillinger/værdigrundlag f.eks. med udgangspunkt i ministerielle krav og vejledninger, faglitteratur mm. 4. De etiske kodeks dokumenteres (f.eks. ved at vise at handleplanerne er underskrevet af såvel brugere som behandlere; beskrevne menneskesyn, artikler mm.)
3. Målgruppe A. Hvem er jeres målgruppe og hvem er ikke jeres målgruppe. B. Kan I give en nærmere udspecificeret karakteristik af jeres målgruppe (hvad den er og ikke er). C. Hvilke ressourcer/risikofaktorer i forhold til succes/mangel på succes kan knyttes til denne målgruppe. D. I hvilket omfang er der overensstemmelse mellem målgruppen og den faktiske deltagergruppe? E. Hvordan er ansøgnings/visitations-proceduren tilrettelagt F. Hvilke kriterier er der for udelukkelse/bortvisning af klienter før tid?
Ideen Fokus på i hvor høj grad indsatsen er styret af klienternes behov versus i hvor høj grad klienterne på tilpasse sig de definerede strategier.. Ikke alle behandlingsstrategier virker på alle. Hvad gør I ved dem som ikke profiterer specielt af den valgte strategi Bottom-up versus top-down
1. Ingen eller usammenhængende beskrivelse af målgruppen, risikofaktorer mm. 2. Erfaringsbaseret beskrivelse af målgruppen, risikofaktorer mm. ( jeg har oplevet ) 3. Systematisk, begrundet og vidensbaseret beskrivelse af målgruppen, risikofaktorer mm. som er beskrevet i litteraturen. 4. Der kan fremvises dokumentation for hvem målgruppen er, herunder også om målgruppen er i overensstemmelse med faktiske deltagere. Evt. kan forskellige ressourcer/risikofaktorer som inddrages i indsatsen dokumenteres.
4. Metoder A. Hvilke metoder/teknikker anvendes (fra særlige kognitive metoder til motionsløb, indkøb af sund kost, kontaktperson mm.)? B. Anvendes der evidensbaserede metoder/teknikker og i så fald hvori består denne evidens? C. Hvordan skaber metoderne/teknikkerne den ønskede forandring/indlæring i forhold til de mål I har formuleret D. I hvilket omfang er der knyttet håndbøger/guidelines med klare strukturer og handlingsanvisninger til jeres program? E. Er metoderne/teknikkerne lige egnede i forhold til alle grupper baseret på fx køn, alder, etnicitet, religion, sprog mm (sociokulturelle forskelligheder). F. Gøres der tiltag for at fastholde/støtte de svageste deltagere med særlig risiko for ophør? (fx. deltagere med et sidemisbrug, med en dobbelt diagnose eller med anden etnisk baggrund). I så fald, hvad består disse metoder/teknikker i.
Selvopfundne metoder versus velafprøvede metoder Intet skriftligt om metoden versus metoderne beskrevet i andre projekter
1. Ingen eller usammenhængende beskrivelse metoderne/teknikker. 2. Erfaringsbaseret beskrivelse af metoderne/teknikkerne der ikke kan hentes fra litteraturen, men fra egen praksis (min erfaring er, at når.). 3. Systematisk, begrundet og vidensbaseret beskrivelse af metoderne/teknikkerne der hentes fra litteraturen, håndbøger, manualer, guidelines (også selv om der ikke direkte handles udfra manualer) 4. Anvendelsen af de bestemte vidensbaserede metoder/teknikker dokumenteres (ex. ved at vise monitoreringen af indsatserne, manualer, litteratur som beskriver og gennemgår teknikkerne mm. gerne hvis muligt - i forhold til opstillede mål)
5. Varighed, intensitet og struktur A. Hvilken varighed regnes der med for den enkelte deltager i behandlingen og hvordan stemmer dette overens med det faktiske forløb (f.eks. dage indskrevet og andel der gennemfører som planlagt)? B. Hvordan er behandlingen tilrettelagt (dags-/uge/månedsplan)? Beskriv indholdet af evt. tidsafgrænsede perioder i forløbet. C. Hvor høj er intensiteten i behandlingen målt med a) timers aktivitet pr uge (delt ud på de forskellige aktivitets-elementer) og klient behandler ratio (behandlertimer pr. uge pr. klient). D. I hvilket omfang foregår behandlingen gruppevis og/eller individuelt? E. Hvilke konsekvenser har det at møder/aktiviteter knyttet til behandlingen ikke gennemføres? F. Hvilke konsekvenser har det, hvis regler ikke overholdes? (eks: hvis man møder op i påvirket tilstand).
1. Ingen eller usammenhængende beskrivelse varighed, intensitet og struktur. 2. Erfaringsbaseret beskrivelse af varighed, intensitet og struktur som ikke begrundes fra litteraturen, men fra egen praksis ( det synes vi er godt ). 3. Systematisk, begrundet og vidensbaseret beskrivelse af varighed, intensitet og struktur der hentes fra håndbøger, manualer, guidelines. 4. Den beskrevne varighed, intensitet og struktur dokumenteres evt. herunder godtgøre dage indskrevet, andel der gennemfører og hvor meget den enkelte klient modtager (at skelne mellem hvad der tilbydes og hvad der gives).
6. Individuel planlægning og koordinering A. Hvordan tilpasses praksis den enkelte deltagers specifikke behov? Inddrages familie og socialt netværk? Hvis ja, hvordan? Hvis nej, hvorfor ikke? B. Hvordan integreres praksis i den enkelte deltagers handleplan eller forankres på anden vis individuelt? Fremgår aktiviteten af handleplanen som en del af den målsætning der er formuleret, findes der nogen handleplan/har I kendskab til en sådan/kan I få adgang til den C. Hvordan planlægges deltagerens forløb efter endt deltagelse i behandlingsforløbet? Inddrages deltageren i denne planlægning? Hvis ja, hvordan inddrages han eller hun? D. Hvordan foregår den løbende bedømmelse af deltagernes fremskridt, både ift forløbets mål og ift hans/hendes behov og muligheder? Er der kriterier for den bedømmelse? E. Hvilke konkrete tiltag gøres der for deltagere, der falder ud af behandlingen? F. Hvordan er samarbejdet med eksterne parter, herunder inddragelse af andre kommuner, psykiatri, egen læge, kriminalforsorg, arbejdsformidling, uddannelsesinstitutioner eller andre relevante myndigheder?
1. Ingen eller usammenhængende beskrivelse af individuel planlægning og koordinering. 2. Erfaringsbaseret beskrivelse af individuel planlægning og koordinering som ikke begrundes på baggrund af systematisk frembragt viden ( vi har tradition for at gøre det på den måde ). 3. Systematisk og begrundet beskrivelse af individuel planlægning og koordinering. 4. Praksis dokumenteres gennem systematisk indsamlede data (de data som planlægningen bygger på fremvises, f.eks. handleplaner for hver enkelt som løbende er blevet tilrettede sammen med klienten).
7. Medarbejdere, samarbejde og arbejdsmiljø. Hvordan er behandlernes og andre medarbejderes uddannelse og erfaring. Hvordan opretholdes og udvikles projektmedarbejdernes faglige viden? Hvilke muligheder/ krav er der herunder for supervision og efteruddannelse? Hvordan er medarbejdere og behandlere blevet forberedt forud for projektstart/ansættelse? Hvilke retningslinier er der for ansvars- og arbejdsfordeling? Hvordan opleves arbejdsklimaet? Hvor højt har sygefraværet været? Hvad gøres der for at skabe/ opretholde et godt og motiverende samarbejde og arbejdsklima? Hvordan håndterer I evt. konflikter mellem bruger og personale?
1. Ingen eller usammenhængende beskrivelse af organisationen. 2. Erfaringsbaseret beskrivelse af organisationen som baserer sig på fortalte historier (de andre har oplevet). 3. Reflekteret beskrivelse af organisationen hvori personen selv indgår 4. De nævne beskrivelser dokumenteres (f.eks. gennem skemaer over medarbejdernes uddannelse, efteruddannelse, anciennitet og opgørelser af sygefravær, APV er mm
8. HVORDAN DOKUMENTERES EFFEKTEN I FORHOLD TIL MÅLENE (i hvor høj grad målet blev nået) A. I hvor høj grad er målet nået B. Er der nogle særlige grupper der har svært ved at nå målet (køn, etniske minoriteter e.a.) C. Har der været delmål D. I hvor høj grad er disse evt. delmål nået
1. Ingen eller usammenhængende dokumentation af effekten i forhold til målene. 2. Erfaringsbaseret dokumentation af effekten i forhold til målene ( jeg oplever klienterne har haft meget ud af forløbet der gives eksempler) 3. Enkelte meget simple opgørelser af effekten i forhold til mål (ex. vægt ved et ernæring projekt) 4. Systematiske, pålidelige og nuancerede opgørelser af effekten i forhold til målene.
Vurdering Erfaringsbaseret Usammenhængende 0-4 Videns- 0-4 teret Baseret 0-4 Dokumen- 0-4 1. Forandringsmodel 2. Etik og værdier 3. Målgruppe 4. Metoder 5. Varighed, intensitet, struktur 6. Individuel planlægning og koordinering 7. Medarbejdere, samarbejde, arbejdsmiljø 8. Hvordan dokumenteres effekten i forhold til målene