Estimatet for standardfejlen i stikprøven, som anvendes i udregningen af konfidensintervallet ( ) ( )

Transkript

1 Enhed Administrationspolitisk kontor Sagsbehandler KHS, STJO Koordineret med CWU, APK Sagsnr Doknr Dato Overvejelser om svarprocenter i brugertilfredshedsundersøgelser Dette notat er udarbejdet som led i at understøtte kommunernes benyttelse af det fælleskommunale værktøj Sammenlignelige brugertilfredshedsundersøgelser. Værktøjet består af et antal spørgerammer og et datavarehus Tilfredshedsportalen hvor der kan dannes op til 6 standardrapporter for hver spørgeramme. Sammenligningsmulighederne med andre kommuners resultater er helt centralt i konceptet. Yderligere oplysninger kan findes på Spørgsmålet om svarprocentens betydning for værdien er undersøgelserne er ofte debatteret i de erfaringsnetværk, der er etableret om måling af brugertilfredshed, Notatet omhandler usikkerhed ved undersøgelsesresultater, specielt betydningen af svarprocenter og systematisk frafald. Svarprocenterne i Tilfredshedsportalen er beskrevet, ligesom der anvises ideer til at højne svarprocenten ved de kommunale brugertilfredshedsundersøgelser. Svarprocent og usikkerhed på kommune- og institutionsniveau Den sikkerhed, hvormed man kan udtale sig om, hvorvidt de afgivne svar afspejler den sande tilfredshed i en given kommune/institution, afhænger af populationens størrelse, fordelingen af svar samt svarprocenten. Jo højere svarprocenten er, jo mere sikker kan man alt andet lige være på, at det gennemsnitlige tilfredshedsniveau blandt de indkomne svar afspejler det sande tilfredshedsniveau blandt kommunens/ institutionens brugere. Sikkerheden udtrykkes statistisk ved hhv. konfidensintervallet og konfidensniveauet, hvor normen er et konfidensniveau på 95 pct. Med et konfidensniveau på 95 pct., vil konfidensintervallet vise, hvilket numerisk interval, det sande gennemsnit for brugerne med 95 % sikkerhed falder indenfor. Hvis en kommune har et beregnet gennemsnit ift. tilfredsheden på 4,5 og konfidensintervallet går fra 4,2 til 4,8, kan man altså med 95 % sikkerhed vide sig sikker på, at det sande gennemsnit for alle brugerne (også dem, der ikke har svaret) falder indenfor det givne interval. Konfidensintervallet beregnes ud fra konfidensniveau, svarprocent, populationsstørrelse og fordelingen af de afgivne svar. Konfidensintervallet kan altså bruges som et sammenligningsgrundlag på tværs af kommuner og institutioner for den sikkerhed, hvormed man kan udtale sig om det sande tilfredshedsniveau blandt brugerne i institutionerne/kommunerne

2 Med henblik på at tage højde for denne usikkerhed udregnes der i Tilfredshedsportalen automatisk konfidensintervaller på alle gennemsnit på såvel kommune- som institutionsniveau. Konfidensintervallet beregnes i portalen ud fra nedenstående formler: Stikprøvevarians: ( ), hvor er den målte tilfredshed for hver enkelt respondent, der har svaret. og er det estimerede gennemsnit (dvs. gennemsnittet der er beregnet ud fra den undersøgelse, man har lavet). n er antallet af personer, der har besvaret tilfredshedsundersøgelsen. Estimatet for standardfejlen i stikprøven, som anvendes i udregningen af konfidensintervallet jf. nedenfor er: ( ) ( ) 95 pct-konfidensintervallet kan nu på baggrund af de to ovenstående formler udregnes, hvorved intervallet for det sande gennemsnit kan angives:: ( ) n: Antallet af personer, der har besvaret tilfredshedsundersøgelsen N: Populationens størrelse. Eksempel på anvendelse af gennemsnit og konfidensintervaller ved sammenligning af to kommuners tilfredshedsundersøgelser. I eksemplet ser vi på to kommuner, der begge har gennemført en brugertilfredshedsundersøgelse på dagtilbudsområdet. Der gælder følgende for de to kommuner: Population (samlet antal forældre/forældrepar, der er spurgt antal udsendte spørgeskemaer) Antal respondenter (antal forældre/forældrepar, der har svaret antal besvarede spørgeskemaer) Beregnet gennemsnit på spørgsmålet om tilfredshed Kommune A Kommune B N n ,1 4,5 Svar for respondenterne x i 5, 4, 4, 5, 3, 5, 5, 3, 3, 4 Afvigelse mellem svar og gennemsnit ( ) 6,9 9,7 Stikprøvevarians s 2 0,77 0,70 Standardfejl i stikprøven ( ) 0,099 0,045 Nedre konfidensinterval ( ) 3,91 4,38 Øvre konfidensinterval ( ) 4,29 4,55 5, 5, 4, 5, 3, 5, 5, 4, 3, 3, 5, 5, 5, 5, 5 2

3 Herved er udregnet to konfidensintervaller for henholdsvis kommune A og kommune B. Med 95 % sikkerhed ved vi nu, at det sande gennemsnit for brugertilfredsheden for alle brugere i Kommune A ligger mellem 3,91 og 4,29, mens det ligger mellem 4,38 og 4,55 i kommune B. Da de to konfidensintervaller ikke overlapper hinanden, kan vi med 95 % sikkerhed sige, at gennemsnittet for den sande brugertilfredshed for alle brugerne er større i kommune B end i kommune A. Overvejelser om systematisk frafald I forbindelse med vurdering af den opnåede svarprocent bør man også overveje, om der kan have været et systematisk frafald blandt meget eller mindre tilfredse brugere i forhold til, hvem der har afgivet svar på en given institution eller i kommunen. Hvis der ikke er grund til at tro dette, kan man alt andet lige have større tiltro til resultaterne af undersøgelserne. Konceptet for Sammenlignelige brugertilfredshedsundersøgelser anbefaler som udgangspunkt, at der laves totalundersøgelser, dvs. undersøgelser, hvor alle brugere inviteres til at deltage i tilfredshedsmålingen. Totalundersøgelser vil sammenlignet med stikprøver - give kommunen svar fra et mere dækkende udsnit af brugerne og sikrere resultater, der kan anvendes på institutionsniveau. I både totalundersøgelser og stikprøver er det dog væsentligt at overveje systematisk frafald, som beskrevet nedenfor. Forskellen på hvordan frafald skal tolkes i hhv. stikprøveundersøgelser og totalundersøgelser kan illustreres på følgende måde: Hvis halvdelen af respondenterne i en stikprøve afgiver svar, så kan stikprøven risikere ikke at være repræsentativ for populationen. Hvis halvdelen af samtlige brugere svarer, så viser undersøgelsen præcis, hvad halvdelen af alle brugere mener på trods af, at den anden halvdel af brugerne måske ikke er enig. Ved en totalundersøgelse fjernes altså den bias, der kan være i udvælgelse af respondenterne i en stikprøveundersøgelse, men begge undersøgelser kan naturligvis blive ikke-repræsentative for hele gruppen af brugere, hvis frafaldet er for skævt på en systematisk måde. For at undersøge, hvorvidt der kan være tale om systematisk frafald, og om det vil være en god ide eksempelvis at målrette en rykkerrunde mod en bestemt gruppe af brugere, kan man vælge at lave en frafaldsanalyse. I frafaldsanalysen ses der på, i hvor høj grad der er overensstemmelse på baggrundsfaktorer for den gruppe, der har svaret, og den gruppe, der ikke har svaret. Som relevante baggrundsfaktorer kan der ses på alder for forældrene/hjemmehjælpsmodtager/barnet, uddannelse samt køn blandt respondenterne i forhold til den samlede population (dvs. alle dem, der har fået et spørgeskema). For både stikprøveundersøgelser og totalundersøgelser vil man kunne justere undersøgelsen for systematisk frafald, hvis det findes nødvendigt. Dette gøres ved brug af baggrundsinformation om, hvordan de brugere, der har svaret på undersøgelsen, afviger fra de brugere, der ikke har svaret. Dette er dog en avanceret analyse, som ikke kan håndteres i Tilfredshedsportalen. Det skal tilføjes, at selv om en totalundersøgelse skulle have et mindre systematisk frafald, så må det formodes, at nogle af de overordnede faktorer, der forårsager, at enkelte adspurgte er faldet fra, også vil være faktorer, der eksisterer i andre kommuner. I forhold til sammenligning kan det altså forventes, at hvis der sker et systematisk frafald i brugertilfredshedsundersøgelser, så vil det formentligt i et vist omfang ske på 3

4 0-10 % % % % % % % % % % Antal Undersøgelser samme måde i alle kommuner. Det betyder overordnet set, at mulighederne for sammenligninger er gode. Svarprocenter for undersøgelser i Tilfredshedsportalen Retningslinjen for Tilfredshedsportalen er, at alle institutioners data kan indberettes til portalen uanset svarprocent. Men ved kommuner, hvor besvarelsesprocenten ligger under 35 er der anført en advarsel i form af et udråbstegn og teksten: NB: Undersøgelsens svarprocent ligger under det anbefalede minimum på 35 pct. På denne måde bliver resultater med lav besvarelsesprocent tilgængelige for andre kommuner, men det fremgår, at besvarelsesprocenten er lav. Pr. juni 2014 er der i alt 76 undersøgelser i portalen, hvor der kan beregnes svarprocenter. Undersøgelsernes svarprocenter fordeler sig som vist på figuren: 30 Svarprocenter Svarprocenter i intervaller Det fremgår af figuren, at 60 (79 pct.) af de 76 undersøgelser har svarprocenter på over 50 pct. Kun otte (11 pct.) af de 53 undersøgelser har en svarprocent på under 40 pct., heraf har tre undersøgelser en svarprocent på under 20 pct. Oversigter over de enkelte undersøgelsers svarprocenter er mulige at tilgå på den lukkede del af Tilfredshedsportalen. Tiltag til at højne svarprocenten Man kan gøre forskellige tiltag i dataindsamlingsprocessen med henblik på at opnå en så høj svarprocent som muligt. Forudgående information om og inddragelse af institutioner og brugerråd, der klart signalerer vigtigheden af undersøgelsen, kan medvirke til at højne svarprocenten. Erfaringerne er fx, at en tydelig information af institutionerne kan medvirke til, at de spiller en aktiv rolle i forbindelse med dataindsamlingen. Konkrete initiativer i instituti- 4

5 onerne kan være, at institutionerne henvender sig til forældrene, når de kommer i institutionen, udsender nyhedsbreve og s samt laver opslag på intranettet. Hvis invitationen til at deltage i undersøgelsen sendes ud på pr. har formuleringen i emnefeltet en betydning for svarprocenten. Det fremmer viljen til at svare, hvis emnefeltet er udformet som en anmodning: Hjælp os ved at fortælle os fremfor at det udformes som til tilbud: Nu kan du fortælles os Invitationen skal beskrive formålet med undersøgelsen hvad skal resultaterne konkret bruges til? Dette kombineret med, at afsenderen er en person med høj status, fx Borgmesteren, medvirker til, at modtageren har tillid til seriøsiteten af undersøgelsen og i højere grad er indstillet på at bruge tid på at besvare skemaet. Angiv et realistisk tidsestimat i invitationen og hold spørgeskemaerne så korte som muligt. Indebærer at flere fuldfører besvarelsen af spørgeskemaet. Man kan etablere en hotline-funktion (en kontaktperson), som respondenterne kan ringe til, hvis de har spørgsmål eller oplever problemer med at tilgå spørgeskemaet, ligesom et trykt spørgeskema kan rekvireres her. En anden vigtig funktion ved hotlinen er, at den virker som ventil for respondenter, der oplever, at det er vanskeligt at udtrykke deres præcise holdning. Derudover har hotlinen en selvstændig funktion ved at signalere, at der er tale om en seriøs undersøgelse. For at sikre undersøgelsens repræsentativitet blandt forældre, der taler andre sprog end dansk, er spørgeskemaerne blevet oversat til engelsk, arabisk, tyrkisk, farsi, urdo og somalisk. Oversættelserne er til kommunernes fri afbenyttelse og kan findes på Der kan udsendes rykkerbreve eller s, og der kan gennemføres en telefonisk rykkerunde til respondenter, der ikke har besvaret undersøgelsen i første omgang. Endvidere kan man give mulighed for, at respondenterne kan besvare spørgeskemaet via telefonen. Generelt viser erfaringen, at alle former for rykkere øger svarprocenten. I pilotundersøgelsen, der ligger til grund for BTU-konceptet, blev der gennemført en telefonisk rykkerrunde. Herved lykkedes det at hæve svarprocenten betydeligt på alle institutioner, men det er en relativ dyr metode. I pilotundersøgelsen havde kommunerne og institutionerne adgang til et svarbarometer, der løbende viste udviklingen i svarprocenten på alle organisatoriske niveauer, fra kommuneniveau til den enkelte institution. Svarbarometeret havde den positive effekt, at nogle institutioner på baggrund af oplysninger i barometeret, iværksatte informationsinitiativer eller talte med respondenterne om at deltage i undersøgelsen. Erfaringer med at højne svarprocenten opsummeres i følgende skema: Tiltag Virkning Vurdering af betydning Information om og inddragelse af institutioner i undersøgelsen Invitationen; Anmodning fremfor tilbud i overskriften Invitationen: formålet angives konkret og underskrives af en højstatus person Invitationen: Angiv realistisk tidsestimat og hold spørgeskemaet kort Sikrer institutionens opbakning og kan resultere i aktiv medvirken til opfølgning på forældre, der ikke har svaret. Medvirker til at øge antallet af respondenter Medvirker til at øge antallet af respondenter Færre respondenter falder fra undervejs i undersøgelsen Stor Medium Medium Medium 5

6 Hotline/kontaktperson Hjælper respondenter til deltagelse ved diverse Stor problemer med at besvare, bl.a. vigtigt for at sikre undersøgelsens repræsentativitet. Derudover fungerer den som ventil for respondenterne. Oversættelse til andre sprog Medvirker til at sikre deltagelse af respondenter Mellem end dansk med anden etnisk baggrund end dansk. Relevans er afhængig af brugersammensætning. Udsendelse af rykkere Medvirker til at øge antallet af respondenter Stor Multietnisk interviewerkorps Medvirker til at sikre deltagelse af respondenter med anden etnisk baggrund end dansk. Relevans er afhængig af brugersammensætning. Lille Svarbarometer Giver kommuner og institutioner løbende overblik over svarprocent, som kan danne udgangspunkt for efterfølgende opfølgning på forældre, der ikke har besvaret spørgeskemaet. Kan virke motiverende for institutionernes opbakning gennem eksempelvis konkurrence mellem institutioner. Mellem Der er flere eksempler og gode ideer på Kilder KREVI (2012): Metodiske udfordringer ved brugertilfredshedsundersøgelser og benchmarking, notat Rambøll (2010): Sammenlignelige brugerundersøgelser på folkeskole- og dagtilbudsområdet. Erfaringsopsamling, rapport. 6