brugerundersøgelser Vejledning i gennemførelse af KL-Kompasset KL NOVEMBER 2005 KL-Kompasset / vejledning 2005

Transkript

1 Vejledning i gennemførelse af KL-Kompasset brugerundersøgelser KL NOVEMBER 2005

2 1. Vejledningens formål a. Sikre sammenlignelige undersøgelser KL-Kompassets store styrke er de gode muligheder kommunerne har for at sammenligne resultaterne indbyrdes. Det er derfor vigtigt, at de enkelte undersøgelser rent faktisk er sammenlignelige, så man undgår fejlagtige konklusioner og troværdighedsproblemer. Det er baggrunden for at opstille nogle retningslinier som en kommuneundersøgelse skal opfylde, hvis kommunen ønsker at benytte KL-Kompasset med de benchmarkingmuligheder det giver i forhold til andre kommuner. I hoved træk vil det sige, at undersøgelser skal have nogle fællestræk i forhold til: - Spørgsmålsformuleringer - Svarkategorier/skala - Stikprøvens størrelse, udvælgelse og repræsentativitet - Metode for indsamling af besvarelser - Besvarelsernes kvalitet og repræsentativitet b. Tydeliggøre arbejdsdeling mellem KL og kommunen Arbejdet med at forberede, gennemføre og bearbejde en undersøgelse i KL-kompasset foregår i et samarbejde mellem kommunen og KL. Af hensyn til kommunens planlægning er det vigtigt at kende omfanget og karakteren af de opgaver som påhviler kommunen - og ligeledes hvilke opgaver KL er ansvarlig for og som kommunen derfor ikke skal afsætte ressourcer til at gennemføre. 2. Forberede brugerundersøgelsen a. Organisering KL-Kompassets brugerundersøgelser styres og gennemføres på forvaltningsniveau. Det er derfor kommunens relevante fagforvaltninger eller stabsafdelinger på rådhuset, der har ansvaret for at beslutte, planlægge og gennemføre undersøgelserne. Det indebærer også, at de eneste opgavertyper, der må uddelegeres til de enkelte institutioner, skoler og distrikter er levering af forældreadresser, information om skolestørrelse mv. For daginstitutioner kan spørgeskemaer til forældre dog udleveres (men ikke indsamles) via daginstitutionen. For at sikre forståelse og samarbejdsvilje, når resultaterne efterfølgende skal anvendes i det daglige arbejde, anbefales det at forvaltningen har en løbende dialog med institutioner, skoler og distrikter om formålet og de fælles fordele ved at gennemføre brugerundersøgelser. Forvaltningen kan vælge at overlade det praktiske arbejde med udsendelse, indsamling og indtastning af spørgeskema til et privat analyseinstitut/konsulentfirma mv. KL-kompasset samarbejder i den forbindelse med analyseinstitutterne Epinion og Gallup - og indhenter gerne et tilbud på kommunens vegne - men det står kommunen frit at vælge analyseinstitut. 2

3 Kommunen udpeger en tovholder i forvaltningen, der er ansvarlig for gennemførelsen af de opgaver, der påhviler kommunen og samtidig står for koordinering i forhold til KL. Tilsvarende udpeger KL en tovholder, der har ansvaret for koordinering af de opgaver, der påhviler KL. b. Afgrænsning Kommunen beslutter på hvilke(t) af de 3 sektorområder den ønsker at gennemføre brugertilfredshedsundersøgelser. Kommunen kan eventuelt vælge kun at undersøge en del af et sektorområde. Eksempelvis undersøge daginstitutioner men ikke dagpleje. Dagpleje Vuggestuer Børnehaver Folkeskoler Fritidsordninger Skoletandlæge Hjemmehjælp Madordning Ældreboliger Dagpasning Skole Ældre Kommunen beslutter, hvorvidt undersøgelsens resultater alene skal bruges på kommuneniveau eller om undersøgelsen skal kunne sammenligne de enkelte institutioner, skoler, distrikter mv. Sidstnævnte vil typisk kræve en større stikprøve (se afsnit om stikprøve). c. Spørgeskema KL-Kompassets standardspørgeskemaer kan hentes på Kommunen kan vælge i mindre omfang at supplere med egne ekstraspørgsmål. Udgangspunktet for tilføjelse af egne spørgsmål er, at de ikke må påvirke besvarelsen af standardspørgsmålene. KL og kommunen bliver i de konkrete tilfælde enige om omfang og formulering. KL står for layout af det endelige spørgeskema inkl. eventuelle ekstraspørgsmål. Af hensyn til sammenligningsmulighederne på tværs af kommuner kan kun spørgsmål der er formuleret præcist og med samme svarkategorier som standardspørgsmålene benyttes til ekstern benchmarking med andre kommuner. Kommunen kan udelade standardspørgsmål, der af logiske grunde ikke er relevante. Det kan eksempelvis være spørgsmål, der omhandler en madordning som kommunen ikke tilbyder eller fritidsordninger som kommunen har valgt ikke at undersøge. d. Stikprøver På dagpasnings- og skoleområdet er brugeren i denne sammenhæng barnets forældre. Stikprøven skal derfor bestå af personer med hjemmeboende børn, der går i hhv. folkeskole eller daginstitution. På ældreområdet skal stikprøven bestå af direkte brugere; d.v.s. ældre der benytter sig af den pågældende service. 3

4 Både kommunen selv og andre kommuner, der benytter KL-Kompasset til at benchmarke sig i forhold til andre kommuner, er afhængige af at kommunens undersøgelse er pålidelig og repræsentativ. Det kræver en vis stikprøvestørrelse, der kan bære at materialet underopdeles, samt at stikprøven afspejler hvorvidt man både ønsker at analysere på kommune- og institutionsniveau eller kun på kommuneniveau. Det ideelle er at foretage en total undersøgelse, hvor alle brugere bliver spurgt. Af praktiske og ressourcemæssige årsager er dette imidlertid i mange tilfælde ikke realistisk. Der er derfor i det følgende opstillet nogle minimumskrav som en kommuneundersøgelse skal opfylde for at kunne indgå i KL-Kompasset. Kommunen ønsker udelukkende kommuneresultater Kommunen udtrækker tilfældigt via sine administrative systemer en stikprøve på minimum 600 brugere/forældre eller samtlige brugere hvis antallet af brugere er mindre end 600. Kommunen kan vælge at udtrække stikprøven tilfældigt blandt alle brugere i kommunen; d.v.s. samle alle navne og adresser i en pulje og trække tilfældigt herfra. Alternativt kan kommunen vælge at udtrække en tilfældig stikprøve for hver institution/skole/distrikt, hvor stikprøvestørrelsen skal være propertional med antal børn i institutionen, elever i skolen eller hjemmehjælpsbrugere i distriktet. Eksempel 1: Kommune med 7 skoler, der har valgt kun at opfylde minimumskravet Skolenavn Antal elever Stikprøvestørrelse Metode 1 Metode 2 Skole Skole Skole Skole Skole Skole Skole I alt Det er således ikke godkendt metode at basere stikprøven på en delmængde af institutioner f.eks. udtrække 600 forældre blandt 3 af 7 skoler eller 600 forældre blandt 10 af 17 daginstitutioner. Kommunen ønsker både kommune- og institutionsresultater Ønsker kommunen at kunne opdele kommuneresultatet i resultater for de enkelte institutioner/skoler/distrikter kræver det typisk en større stikprøve for at sikre statistisk forsvarlige konklusioner på institutions-,skole og distriktsniveau. 4

5 Ønsker kommunen resultater på daginstitutionsniveau kræver det p.g.a. institutionernes størrelse, at der gennemføres en totalundersøgelse blandt samtlige brugere/forældre i samtlige kommunens daginstitutioner. På skoleområdet er minimumskravet, at kommunen via sine administrative systemer udtrækker en tilfældig stikprøve på minimum 150 brugere/forældre per skole eller samtlige brugere såfremt skolen har mindre end 150 elever. Af hensyn til et retvisende kommuneresultat skal der udtrækkes en stikprøve for samtlige skoler i kommunen. Eksempel 2: Kommune med 7 skoler, der har valgt kun at opfylde minimumskravet Skolenavn Antal elever Stikprøvestørrelse Skole Skole Skole Skole Skole Skole Skole I alt Det er således ikke godkendt metode at basere stikprøven på en delmængde af skoler f.eks. udtrække 200 brugere i hver af skolerne 1-4 og ingen fra skolerne 5-7. Såfremt kommunen vælger en større stikprøve end minimumskravet anbefales det, at den enkelte institutions stikprøve afspejler institutionens størrelse. Dette er dog ikke noget krav, idet KL efterfølgende vægter besvarelserne efter bruger/stikprøve forholdet. Eksempel 3: Kommune med 7 skoler, der har valgt ekstra stikprøvestørrelse Skolenavn Antal elever Eksempel på Stikprøvestørrelse Skole Skole Skole Skole Skole Skole Skole I alt Ønsker kommunen distriktsresultater på ældreområdet (f.eks. hjemmehjælp) er miniumumskravet, at kommunen via sine administrative systemer udtrækker en tilfældig stikprøve på 150 brugere per distrikt i samtlige distrikter. Såfremt distriktet har mindre end 150 brugere udtrækkes samtlige brugere i distriktet. Princippet svarer til eksempel 2. 5

6 3. Dataindsamling a. Udsendelse af spørgeskema Inden udsendelse skal hver udtrukken bruger/forældre tildeles et løbenummer/id-nummer, som registreres elektronisk (f.eks. regneark) og påføres brugerens spørgeskema. Kommunen udsender spørgeskemaet med posten. Med spørgeskemaet bør der vedlægges en frankeret svarkuvert samt et følgebrev, underskrevet af borgmester, udvalgsformand eller forvaltningschef, der beskriver undersøgelsens formål, motiverer den enkelte til at svare, lover fortrolighed og angiver kontaktperson og svarfrist (10-14 dage). For at få en højere svarprocent kan kommunen evt. i følgebrevet udlodde præmier blandt indkomne besvarelser. I de tilfælde, hvor kommunen åbner op for at brugere i stikprøven kan besvare spørgeskemaet via internet (i stedet for at returnere papirskemaet), skal brugeren angive løbenr., så kommunen undgår dobbeltbesvarelser. b. Indsamling af besvarelser Indsamling af besvarelser sker på på forvaltningsniveau (evt. udliciteret til privat firma). Det er således ikke godkendt metode at lade den enkelte skole/daginstitution/hjemmehjælper indsamle spørgeskemaerne. Er den samlede svarprocent efter svarfristens udløb under 40 procent sendes en rykker til de brugere i stikprøven, der endnu ikke har besvaret spørgeskemaet. Er svarprocenten over 40 procent er det valgfrit om kommunen vil udsende en rykker. Det er valgfrit om kommunen vil foretage en rykker pr. post eller telefon, men alle besvarelser skal være postale eller via web. Som udgangspunkt modtager kommunen et (tomt) regneark+indtastningsvejledning fra KL. Kommunen indtaster de indkomne besvarelser i et regnearket og sender data til KL. Sammen med data leverer kommunen en oversigt over institutionernes/skolernes/distrikternes størrelse. Såfremt kommunen og KL finder det hensigtsmæssigt, kan der evt. aftales en anden indtastningsprocedure (f.eks. levering i kommasepareret fil, SPSS mv.). c. Udlicitering af dataindsamling Som tidligere nævnt kan kommunen vælge at udlicitere det praktiske arbejde med udsendelse, indsamling og indtastning af spørgeskema til et privat analyseinstitut/konsulentfirma mv. 4. Databearbejdning og præsentation KL foretager en validering af de modtagne data i forhold til repræsentativitet. Er der en væsentlig overvægt/undervægt af bestemte skoler, distrikter eller institutioner foretager KL en vægtning af data, så man får retvisende kommuneresultater. 6

7 Tabelmateriale Som en del af startpakken udarbejder KL et standard tabelmaterialet, der indeholder svarfordelinger, gennemsnitsscore og antal besvarelser for alle spørgsmål opdelt på de enkelte institutioner/skoler/distrikter. Tabellerne leveres i excelformat. For alle spørgsmål sammenlignes kommunens resultater desuden med landsresultatet, regionsresultatet og resultatet for kommuner med et tilsvarende indbyggertal. Indgår kommunen i en nøgletalsklub med andre kommuner, der ligeledes benytter KL-Kompasset, er det desuden muligt at sammenligne resultaterne internt i nøgletalsklubben. Såfremt kommunen tidligere har gennemført en kompas-undersøgelse, er det ligeledes muligt at sammenligne kommunens resultater over tid. Som en del af startpakken udarbejder KL på anmodning op til 10 specialkørsler/tabeller, som ikke er indeholdt i standard tabelmaterialet. Det kan eksempelvis være tabelkryds af tilfredshedshedspørgsmål eller et tilfredshedspørgsmål krydset med to baggrundsspørgsmål. KL-rapporter Foruden tabelmateriale kan kommunen vælge at lade KL udarbejde sektorspecifikke standardrapporter. Rapporterne er KL s bud på, hvordan man får et godt overblik ved at analysere, præsentere og strukturere hovedresultaterne. Dog kan det efter nærmere aftale afviges fra standardrapportens opbygning f.eks. opprioritering af et tema og nedprioritering af et andet. Eller mindre fokus på intern benchmarking i kommunen og mere på ekstern benchmarking i forhold til andre kommuner. Institutionsprofiler KL tilbyder desuden at udarbejde 2-siders institutionsprofiler hvor den enkelte skole, daginstitution eller hjemmehjælpsdistrikts resultater sammenlignes med kommune- og landsresultaterne. 6. Yderligere information Yderligere information på Eller kontakt: Thomas Rafn KL, Afdelingen for Dokumentation Tlf Mail thr@kl.dk 7