De regionale netværk vedr. brugertilfredshed har på deres møder i foråret 2012 drøftet erfaringer vedr. gennemførelse af faserne 1-4 i brugertilfredshedsundersøgelser. Dette notat er en opsamling af drøftelserne. Indhold De regionale netværk vedr. brugertilfredshed har på deres møder i foråret 2012 drøftet erfaringer vedr. gennemførelse af faserne 1-4 i brugertilfredsheds-undersøgelser. Dette notat er en opsamling af drøftelserne... 1 Før opstartfasen... 2 1. Brugerundersøgelser som element i den politiske styring... 2 2. Undersøgelsernes hyppighed... 2 3. Overvejelser om spørgeskemametoden... 3 4. Ekstern bistand i forberedelsesfasen... 3 Opstartsfasen (fase 1)... 3 1. Politisk og ledelsesmæssig forankring... 3 2. Inddragelse af relevante personer følgegruppe?... 4 3. Standardiseret ekstern information... 4 4. Kommunikation og formidling, eksternt og internt... 4 Forberedelse af dataindsamling (fase 2)... 5 1. Digitalisering... 5 2. Andre alternativer til postal udsendelse... 5 3. Kontrol af udsendelseslister/respondentdatabasen... 6 4. Fraskilte forældre... 6 Spørgeskema (fase 3)... 6 1. De faste spørgsmål i konceptet... 6 2. Udvægelse af andre temaer... 6 3. Åbne spørgsmål (fritekst)... 6 4. Lokale spørgsmål... 7 [1]
Dataindsamling (fase 4)... 7 1. Svarprocenten... 7 2. Telefonisk opfølgning og personlige interviews (plejeboliger)... 8 Før opstartfasen 1. Brugerundersøgelser som element i den politiske styring Systematiske brugerundersøgelser har en god politisk signalværdi: Kvantitative undersøgelser står stærkt i den politiske debat og sammenligning/benchmarking både med sig selv og andre kommuner er centrale i debatten. Det er nemt at kommunikere med medierne. Brugerundersøgelser kan bruges til at skabe legitimitet i forhold til en forandring, der er gennemført i kommunen, hvis borgerne viser sig at være tilfredse med tilbuddet. Derudover kan BTU bruges som et værn mod dårlige enkeltsager: Det er brugbart at kunne udtale sig om brugerne generelt, hvis der opstår en enkelt dårlig sag. Brugerundersøgelser kan give informationer om, hvor kommunen har behov for at informere brugerne yderligere om, hvad det er, de kan forvente på et område. Utilfredshed vil i nogle tilfælde kunne skyldes forventninger, der ikke stemmer overens med det, der er hensigten med tilbuddet. Skuffede forventninger påvirker borgernes tilfredshed markant. For løbende at kunne arbejde med resultater fra brugertilfredshed, er det en god ide, at der politiske opstilles både umiddelbare mål og mere langsigtede mål for brugertilfredsheden i kommunen. Det betyder, at der er et tydeligt strategisk mål med undersøgelserne. Og der er grundlag for at bruge resultaterne strategisk evt. tegne den gode historie udadtil. De systematiske undersøgelser giver ligeledes et konsolideret grundlag for drøftelser med forældrenævn eller tilsvarende organer, som gerne vil tegne alle forældre. 2. Undersøgelsernes hyppighed Anbefalingen er, at der gennemføres burgerundersøgelser hvert 2. år. To forhold bør spille ind i overvejelserne om hyppighed: Man skal følge op på den tidligere BTU inden man gennemfører en ny Borgerne skal ikke spørges for tit og ikke stilles for mange spørgsmål det giver træthed og dårlig svarpct. Hvis der går 2 3 4 år mellem undersøgelserne, bør man supplere konceptet med nogle små hit-andrun målinger på institutionsniveau i forhold til nogle årlige kvalitetsmål. [2]
3. Overvejelser om spørgeskemametoden Det systematiske koncept med faste spørgsmål giver mulighed for sammenligning over tid og med andre kommuner. Det giver overblik over området. Det kan vurderes, om resultaterne er pålidelige. Det er en styrke. Det sparer mange ressourcer, at der foreligger et grydeklart koncept. Hyppigt stillede kritiske spørgsmål: Får man svar på det, man spørger om? Er utilfredse borgere lig med manglende kvalitet? Påvirkende faktorer kan være: Brugernes forventninger, en aktuel landspolitisk debat. En kvantitativ metode som spørgeskemametoden kan med fordel suppleres med en kvalitativ opfølgning (uddybende dialog etc), så man finder ud af, hvorfor brugerne har svaret, som de gør. Og om der er forslag til forbedringer og/eller forandringer. Hvem besvarer faktisk spørgsmålene? Er det de egentlige brugere eller er det de pårørende, personalet? Ikke alle brugere er kognitivt i stand til at besvare spørgeskemaer med fast formulerede spørgsmål her må det overvejes, hvilke metoder, der er bedre til at belyse, om brugerne er tilfredse. Vær bevidst om fordele og ulemper ved metoden vær pragmatiske og hav fokus på, at det skal kunne bruges til noget. Skab respekt om metoden, og om at resultaterne skal være pålidelige og valide, så der ikke opstår store diskussioner i anvendelsesfasen. Gør brugerundersøgelser borgere til kunder, der alene prioriterer egennytte, frem for borgere med et fælles ansvar? Det kan ikke udelukkes, at kommunens institutioner bliver mere opmærksomme på brugernes behov, hvis de opfattes som kunder. Og brugerundersøgelser udelukker bestemt ikke, at brugerne inddrages i løsningen af de problemer, som måtte dukke op i kølvandet på undersøgelsens resultater. 4. Ekstern bistand i forberedelsesfasen Fordele og ulemper ved ekstern bistand: Det er muligt at tilføre kompetencer, som man ikke selv har i organisationen, fx respondenthåndtering på børneområdet. Ekstern bistand kan også gøre undersøgelsen mere neutral i forhold til forældre og politikere. Kan måske også holde politisk indblanding i fx udformning af spørgsmål på afstand. Ulemper kan være prisen og manglende læring i organisationen. Opstartsfasen (fase 1) 1. Politisk og ledelsesmæssig forankring Brugerundersøgelser bør indgå i den politiske styring af velfærdsområderne, se Overvejelser før opstartsfasen. [3]
Lad Borgmesteren skrive under på informationsbrevet til respondenterne. Det bør betones, at der ikke er tale om anonymitet for respondenterne, men om fortrolighed. Respondenterne vil ikke opfatte, at de er anonyme, når de kan modtage en rykker for ikke at have besvaret spørgeskemaet. Husk, at brugerundersøgelser ikke er nemme at sælge til borgerne de mødes med spørgeskemaer i alle mulige sammenhænge, så der kan være en del træthed. Derfor er det vigtigt, at det på tværs i kommunen koordineres, hvornår og til hvem der etableres undersøgelser, så borgerne ikke føler sig bombarderede. Gør undersøgelsen borgerrelevant ved at supplere med lokale spørgsmål. Tænk ind fra starten, om brugerundersøgelsen kan afføde kritiske henvendelser fra borgerne og tag stilling til, hvordan de behandles. 2. Inddragelse af relevante personer følgegruppe? Pas på med at være tidsoptimist i opstartsfasen. Særligt hvis man ønsker en ret høj grad af decentral inddragelse, er det nødvendigt, at der sættes god tid af til dette. For at sikre anvendelse af resultaterne lægger flere kommuner stor vægt på inddragelse af institutionerne i opstartsfasen. Flere kommuner har gode erfaringer med at nedsætte en følgegruppe, hvor repræsentanter fra de decentrale enheder deltager. Det skaber ejerskab og giver nogle ambassadører for undersøgelserne. Det gør det også nemmere for lederne efterfølgende at informere om undersøgelserne. Det er vigtigt, at forlandet involveres i processen og evt. også i spørgsmålsformuleringen af lokale spørgsmål mhp. at imødegå evt. kritik fra faglige organisationer, forældre, medarbejdere. Flere kommuner praktiserer at sende spørgeskemaet til udtalelse hos nogle (skole)bestyrelser og til ledergruppen. En kommune havde givet ledergruppen mulighed for at formulere et antal lokale spørgsmål ved at lade dem vælge fra en liste over kvalitetssikrede spørgsmål. Hvis der nedsættes en styringsgruppe/sparringsgruppe med repræsentanter fra institutioner, er det afgørende, at der fra starten sættes klare retningslinjer op for, hvor gruppen kan forvente at få indflydelse, og på hvilke punkter de ikke har nogen indflydelse. 3. Standardiseret ekstern information For at gøre arbejdet lettere for institutionslederne kan det være en ide at lave et udkast til standardbrev, tekst til hjemmeside eller plakat, som forældrene kan hænge op i institutionerne til info om undersøgelsen. Dog opfordres til, at lederne tilpasser i forhold til deres institution, herunder sætter eget logo på. 4. Kommunikation og formidling, eksternt og internt Det er vigtigt at tænke kommunikation og formidling ind i hele processen. Vigtigt at kommunikere, hvad brugerundersøgelser kan sige noget om, og hvad den ikke kan sige noget. Hvis det skal bruges til kvalitetsudvikling, vil det ofte kræve en kvalitativ opfølgning ud fra de kvantitative resultater. En ide er at synliggøre den igangværende undersøgelse med små gode historier om, hvordan tidligere brugerundersøgelser har gjort en konkret forskel i nogle af kommunens institutioner. Det skal være med til at gøre det meningsfuldt at deltage. [4]
Tænk i målgrupper hvem skal bruge resultaterne, og hvem skal have tilbagemeldinger. Overvej allerede i opstartsfasen hvordan I vil håndtere de institutioner, der falder dårligt ud i en undersøgelse. Hvordan kan man støtte, at resultaterne fører til kvalitetsudvikling i stedet for, at institutioner med meget dårlig brugertilfredshed måske begynder at blive fravalgt af forældre. Dårlige resultater kan også virke demotiverende på medarbejderne, så opfølgningen internt skal være konstruktiv. Forberedelse af dataindsamling (fase 2) 1. Digitalisering I forhold til dataindsamlingen skal den tænkes ind i de generelle tanker om digitalisering. Øget digitalisering af kommunens borgere gør det betydeligt nemmere (indtastning af data kan undgås) og billigere (ingen portoudgifter) at få svar på spørgeskemaer fra kommunens borgere. Det er en udfordring at få adgang til opdaterede mailadresser på forældre, hvorfor der også skal tænkes alternativt her. Den digitale postkasse er et umiddelbart valg. Information kan udsendes på eksisterende portaler, som brugerne er vant til at anvende, såsom forældreintra, skoleintra, børneintra etc. Disse systemer er glimrende som informationsplatform, men deres survey-systemer er ikke egnede til brugertilfredshedsundersøgelser. I hvilket omfang, man kan importere e-mail adresser herfra er genstand for diskussion. Det er ligeledes genstand for diskussion, om der skal arbejdes med unikke links. Sandsynligheden for at folk besvarer spørgeskemaet flere gange er næppe stor, men der kan komme flere svar vedr. det samme barn, så de fleste kommuner arbejder med unikke links. Dok-to-mail system anvendt af Københavns Kommune via aftale med KMD kommunen anvender KMDelev fagsystemet. Det baseres på, at forældrenes cpr.nr. er knyttet til barnets cpr.nr. På det grundlag kan det konstateres, om forældrene har en e-boks og brevene sendes elektronisk hertil med et link til spørgeskemaet. Hvis der ikke findes en digital postkasse, sendes brevene postalt. Via opbygningen af respondentdatabasen kan man sikre, at respondenterne kun modtager den del af spørgeskemaet, der er relevant (fx spørges kun til praktisk hjælp, hvis der ikke er bevilget personlig pleje) 2. Andre alternativer til postal udsendelse For at undgå postal udsendelse havde en kommune valgt at give skole børnene brevene med hjem i skoletasken. På dagtilbud udleverede pædagogerne brevene til forældrene. Og i dagplejen tilsvarende dagplejeren. Løbende og systematisk udlevering af skemaer over en længere periode, fx fordi man kombinerer skemaudleveringen med fx visitationsbesøg hos de ældre i hjemmeplejen har fordele og ulemper. Kan motivere til besvarelse af skemaet, og man får respondentens umiddelbare vurdering. Der er risiko for, at man glemmer at udlevere skemaet. Metoden giver mulighed for prægning af respondenten. I indsamlingsperioden kan betingelserne for besvarelserne ændre sig til gengæld får man ikke blot et øjebliksbillede. [5]
Telefoninterviews eller personlige interviews, hvor interviewer udfylder skemaet for respondenten, giver høj besvarelsesprocent, men er meget tidskrævende, kan give interviewer-effekt og det er en udfordring at af adgang til telefonnumre. Nogle kommuner bruger metoden i rykkerproceduren. 3. Kontrol af udsendelseslister/respondentdatabasen Tjek data, fx dødelister før endelig udsendelse! 4. Fraskilte forældre En kommune udsender breve til begge, svarene er knyttet til barnets cpr.nr. og hvis der kommer to svar, tæller de med 50 % hver. Sender dog ikke til de få skilte, som havde dom for, at den anden ikke måtte inddrages dette skulle fremgå ved, at adressen på den ene part står som ukendt i KMD-elev listerne. Spørgeskema (fase 3) 1. De faste spørgsmål i konceptet De faste temaer og spørgsmål skaber grundlag for sammenligning med andre kommuner og er derfor centrale for konceptet. De er validerede. Det er de valgfri spørgsmål i konceptet også. Der er tale om lukkede spørgsmål. Der er mulighed for at tilpasse terminologien i de faste spørgsmål til de lokale forhold, men det er naturligvis afgørende, at det er muligt at spørgsmålet kan identificeres via nummeringen. Generelt skal opgaven gøres nem for respondenten, hvorfor det er vigtigt, at spørgeskemaet har et overskueligt omfang! 2. Udvægelse af andre temaer Det er vigtigt fra starten at tænke over, hvad der politiske reelt er vilje til at gøre noget ved på baggrund af undersøgelsen. Hvis det er en politisk realitet, fx at der ikke skal ændres ved priser eller åbningstider i dagtilbud, skal man overveje, om der skal spørges til det. Selve det at spørge til et tema, skaber klart en forventning om, at der også er mulighed for, at der sker ændringer eller handles på det. 3. Åbne spørgsmål (fritekst) Der var blandede holdninger og erfaringer blandt kommunerne til brugen af åbne spørgsmål (fritekst), dog en overvægt for at lade være, da bearbejdelsen efterfølgende er meget arbejdskrævende, og fritekstsvarene kan blive tillagt alt for stor betydning i den efterfølgende tolkning af resultaterne. Nogle kommuner afslutter altid med et generelt åbent spørgsmål for at få klarhed over, om respondenterne synes, at der spørges om det rigtige. Åbne svar kan være en god ventil for brugerne og viser respekt for respondenten, men skaber også en forventning om reaktion. Derudover vil fritekst også ofte være det sted, hvor brugerne kan give udtryk for deres tilfredshed med personalet. At svarene bliver skrevet ud og tematiseret kan være mere vedkommende og motiverende for medarbejderne, end hvis der kun rapporteres tal. [6]
Hvis der anvendes fritekstsvar skal de grundigt overvejes, hvordan man vil formidle disse. Afrapporteringen skal altid være tematiseret for at være læsbar. Nogle kommuner lægger vægt på, at alle svar gives i fuldtekst til institutionen (anonymiseret), mens den overordnede afrapportering alene beskriver de hyppigste temaer. Det kan være en god ide tydeligt at skrive, hvor mange respondenter, der har taget et tema op, idet det mindsker risikoen for overfortolkning. En mulighed i forhold til håndtering af fritekst er, at der nederst i det elektroniske skema sættes et link til institutionslederens mail. Her vil respondenten her have mulighed til at sende lederen en mail med gode ideer og kommentarer til undersøgelsen. Anonymiteten forsvinder naturligvis, men det sikrer, at institutionslederne får de kvalitative inputs, uden at forvaltningen har et stort arbejde med bearbejdning af kvalitative data. Dog skal man stadig her være opmærksom på, at enkelte kvalitative kommentarer ikke tillægges uforholdsmæssig stor vægt. Et alternativ til åbne spørgsmål i spørgeskemaet kan være at gennemføre fokusgruppeinterview med fokus på emner, som spørgeskemaundersøgelsen har sat fokus på. 4. Lokale spørgsmål Ift. lokale spørgsmål ser flere kommuner det som en god mulighed for at skabe ejerskab til undersøgelsen institutionerne, og desuden kan forvaltningen gennem spørgsmålene få en ide om, hvad der er vigtigt i de forskellige institutioner. Det er godt med borgernære spørgsmål. På ældreområdet mangler spørgsmål om rehabilitering i konceptet. Det anbefales at anvende rehabiliteringsspørgsmålene fra den nationale tilfredshedsundersøgelse på ældreområdet, der afvikles hvert 3. år. (Link under BTU hjemmepleje) Tag det alvorligt med antallet af spørgsmål og kvalitetssikringen af lokale spørgsmål. Brug evt. kolleger som testpanel. Dialogportalen vil kunne anvendes til formidling af lokale spørgsmål og eksempler på NO-GO spørgsmål. Lokale spørgsmål om præferencer Det kan være interessant at eksperimentere med at lave spørgsmål, der tvinger brugerne til at tage stilling til forskellige ydelser. Eksempelvis få belyst, at såfremt brugeren selv kunne vælge, ville de så prioritere a) Færre lukkedage b) Længere åbningstider eller c) Højere normeringer i institutionen. På den måde kan man fra kommunen signalere, at brugerne ikke kan forvente det hele. I forhold til anvendelsen er det interessant at få variation på svar, og der muligvis kan komme svar frem, som man ikke havde forventet. Dataindsamling (fase 4) 1. Svarprocenten At opnå en tilfredsstilende svarprocent på mindst 40 % er en udfordring. Respondenter skal motiveres til at deltage. Erfaringer: [7]
Gennemføre et roadshow til institutionerne, hvor tovholderen introducerer konceptet og svarer på tvivlspørgsmål. I en kommune har drøftelser med skolebestyrelserne medført, at de fremover vil tage ansvar for at promovere brugertilfredshedsundersøgelser på deres institutioner. Inddragelse af bruger-pårørende råd, så de er bekendt med undersøgelsen og gerne bakker den op. En kommune havde gode erfaringer med personlige spørgeskemaer, dvs. barnet og institutionen blev nævnt ved navn i skemaet. En kommune har opnået en svarprocent på 69 % i daginstitutioner og 74 % i dagplejen. Der var lavet en omfattende kampagne op til og under undersøgelserne. En kommune havde opnået 48 49 % på hjemmeplejeområdet uden rykkerprocedure hjemmehjælperne havde delt skemaerne ud til modtagerne. 2. Telefonisk opfølgning og personlige interviews (plejeboliger) På plejeboligområdet: hvem kan stå for at interviewe respondenterne. Kan visitationen bruges? Frivillige fra Ældresagen, fra Ældrerådet? Personalet? Hvem udvælger, hvem der er i stand til at svare? Hvordan gøre det økonomisk overkommeligt at lave telefoniske opfølgninger og personlige interview? Skepsis over for at anvende interessegrupper såsom Ældresagen og Ældrerådet. Gode erfaringer med at anvende studenter, som introduceres til opgave, og efter ca. 10 interviews kalibreres indsatsen. En kommune har erfaring med at lade personale på andre institutioner foretage interviewene (rotation), men er ikke helt sikker på, at aftalerne blev overholdt. Ved personlige interviews lader man ikke institutionen udvælge respondenterne, men staben beder om en totalliste over beboere med henblik på at lave en tilfældig stikprøve, hvor institutionsledelsen så bliver spurgt, om den har bemærkninger til deltagernes egnethed. Enkelte bliver på baggrund af bemærkningerne skiftet ud af staben. Man lader altså ikke ledelsen udpege respondenterne. [8]