UDEVA - Set med andre øjne Temaeftermiddag på Gentofte Sygehus 17. September 2013 V/ Rikke Sørup, Danmarks Evalueringsinstitut rs@eva.dk www.eva.dk
Slagplan Evaluering og tilfredshedsmålinger Hvordan omsættes resultaterne til praksis? Design og metode
Lidt om tilfredshedsmålinger Måling alene evaluering! Tilfredshed = oplevet kvalitet (når skemaet udfyldes) (hvis skemaet er godt!) Oplevet kvalitet = faglig kvalitet? Vel oftest ikke! Tilfredshedsmålinger kan indgå i en evaluering. En evaluering forudsætter at der indgår vurdering.
Hvad er evaluering? En kvalificeret vurdering af noget der er hændt, det vil sige: er kvalificeret i betydningen baseret på dokumentation som er indsamlet og bearbejdet på en systematisk måde. Er retrospektivt Indeholder en vurdering.
Hvad er formålet med at evaluere? Eksempelvis at give input til ledelsens indsats for at nedbringe frafaldet blandt de studerende. Facilitere en løbende refleksion og erfaringsdannelse om projektets metodeudvikling og tværinstitutionelle samarbejde. identificere succeshistorierne og afdække udfordringerne ved uddannelsen for elever, virksomheder og uddannelsesstedet. indgå i beslutningen om, hvorvidt vi bevarer eller nedlægger faget. anvendes til at forbedre uddannelserne, så de kan imødekomme de behov, der er i sundhedsvæsenet nu og i fremtiden gennem systematisk viden om de sygeplejestuderendes og social- og sundhedsassistentelevernes oplevelser af deres uddannelsesforløb i klinikken
Klassisk sondring mellem to typer af evalueringsformål Summativ (kontrol ) Evalueringsformål: at vurdere værdien af en indsats Lever aktiviteten op til de krav der er sat til den? Hvad er effekterne af aktiviteten? Giver aktiviteten value for money? Skal vi fortsætte, nedlægge eller opskalere aktiviteten? Formativ (læring ) Evalueringsformål: at forbedre indsatsen mm. Hvad er styrker og svaghederne ved aktiviteten? Hvordan kan vi få flere deltagere? Hvordan kan vi forbedre deltagernes udbytte? Hvordan kan indsatsen gennemføres billigere?
Suppe eksemplet Når kokken smager på suppen er det evaluering Når gæsten smager på suppen er det evaluering
Forskellige formål med evaluering 4. Evaluering af organisationen herunder benchmarking. Samme formål som 3 eller opfyldelse af eksterne krav 3. Evaluering mhp. ledelsesinformation og som baggrund for at skabe dialog og fælles sprog på institutionen Ledelse Undervisere Mellemleder Mellemleder Mellemleder 2. Evaluering med fokus på udvikling af undervisning, herunder teamsamarbejde og kollegial støtte Studerend e/elever 1. Evaluering som en proces, der kan anvendes til at a) skabe dialog og forståelse for de studerendes ansvar for egen læring, b) styrke læringsmiljøet.
Hvordan arbejde med kvalitet? 4) Vurdering af praksis og målene - Tage konsekvensen og sætte nye mål? 1) Klare mål - Hvad er kvalitet? 3) Evaluering -I hvilken grad opnås den ønskede kvalitet? 2) Tegn - Hvad er tegn på kvalitet i den daglige praksis?
En evaluering er et valg af perspektiv Evalueringsdesignet har betydning for, hvad en evaluering er i stand til at se og hvad den kan skabe opmærksomhed omkring og sætte på dagsordenen i det politiske og organisatoriske felt Det en evaluering er i stand til at se afhænger blandt andet af dataindsamlingsmetoderne og de valgte vurderingskriterier
Kvantitativ metode Kvantitative metoder er generelt gode til Forklarende formål: At afdække vægten og styrken bag allerede identificerede muligheder At besvare spørgsmål der har et kendt eller begrænset antal svarmuligheder At angive fordelinger (hvor mange % mener ) Kvantitative metoder er generelt dårlige til Lav-interesseområde Når viden og erfaring er begrænset Eksplorative formål: udforskning af ukendte områder, identifikation af holdningsområder
Kvalitativ metode Kvalitative metoder er generelt gode til Eksplorative formål: udforskning af ukendte områder, identifikation af holdningsområder Eksplanative formål: forklaringer, uddybninger og identifikation af eksisterende holdninger At identificere den maksimale variation /spændvidder. Kvalitative metoder er generelt dårlige til At besvare spørgsmål der har et kendt eller begrænset antal svarmuligheder At angive fordelinger (hvor mange % mener ).
Den gode spørgeskemaundersøgelse - en tjekliste Er der skelnet mellem need to know og nice to know? Er det klart hvilke evalueringsspørgsmål data fra spørgeskemaundersøgelsen skal belyse? Er der spurgt så konkret som muligt Er der balancerede svarkategorier Er svarkategorier gensidigt udelukkende? Er der spurgt om noget som respondenterne kan svare på? Er der taget udgangspunkt i respondenternes sprog? Er det undgået at stille to spørgsmål i ét? Er der spurgt neutralt?
Den gode spørgeskemaundersøgelse (fortsat) Er skemaet pilottestet? Totalundersøgelse eller stikprøve Når undersøgelsespopulationen er et par hundrede eller mere, er det værd at overveje at trække en stikprøve. Stikprøver reducerer sliddet på respondenterne (og dermed evalueringstræthed) og giver os mulighed for at koncentrere vores indsats for at sikre en høj svarprocent. Stikprøvebaserede undersøgelser med høje svarprocenter er mere præcise end totalundersøgelser med middelgode svarprocenter. Stikprøvebaserede undersøgelser kræver viden om konfidensintervaller, signifikanstest mm. for at resultaterne kan tolkes korrekt.
Er der foretaget totalundersøgelse eller stikprøve? Når undersøgelsespopulationen er et par hundrede eller mere, er det værd at overveje at trække en stikprøve. Stikprøver reducerer sliddet på respondenterne (og dermed evalueringstræthed) og giver os mulighed for at koncentrere vores indsats for at sikre en høj svarprocent. Stikprøvebaserede undersøgelser med høje svarprocenter er mere præcise end totalundersøgelser med middelgode svarprocenter.
Hvor stort er bortfaldet? Principielt set skal vi have en svarprocent på 100%. I praksis er den altid lavere. Problem: skævt bortfald. Dem der svarer, ligner ikke de andre. Er der foretaget en bortfaldsanalyse? En bortfaldsanalyse = et argument for at der ikke er skævt bortfald I bortfaldsanalysen sammenligner vi fordelingerne på udvalgte variable ved de indkomne svar med populationen/stikprøven (f.eks. køn)
Opsamling Jeg er blevet meget nysgerrig på Giver spørgeskemaerne et retvisende billede? Får I det optimale udbytte af at kombinere kvalitativ og kvantitativ metode? Hvilke andre perspektiver kunne indtænkes i en evalueringsproces? Hvordan bruges tilfredshedsmålingerne forskellige steder i organisationen hvem foretager vurderingerne? I hvilken grad formår I at lukke cirklen?