BEDSTE BUSSELSKAB METODENOTAT 1. SEPTEMBER 2015 AARHUS KØBENHAVN HAMBORG LONDON MALMØ NUUK OSLO SAIGON STAVANGER WIEN

Transkript

1 BEDSTE BUSSELSKAB Statens MIDTTRAFIK Vegvesen METODENOTAT SEPTEMBER 2015 AARHUS KØBENHAVN HAMBORG LONDON MALMØ NUUK OSLO SAIGON STAVANGER WIEN

2 Dette notat beskriver de metodiske overvejelser og beslutninger, der er taget i forbindelse med Midttrafiks kåring af det bedste busselskab i Notatet beskriver dataindsamlingen, samplingen, den statistiske usikkerhed, spørgeskemaet samt vægtningen mellem selve kundetilfredsheden, kundeklager, kvalitetskontroller og uddannelse af chaufførerne. Undervejs i notatet beskrives bevægegrundene og årsagerne for de beslutninger, som Midttrafik har taget i samarbejde med Epinion. DATAINDSAMLINGEN Dataindsamlingen vil foregå ved at uddele og indsamle papirspørgeskemaer på udvalgte busser opereret af busselskaber i Region Midtjylland. Dataindsamlingen vil, i modsætning til sidste års ene dataindsamlingsuge, gennemføres over to uger; én kendt uge (40) og én ukendt uge. Busserne, som indgår i undersøgelsen, er udvalgt på baggrund af en række kriterier, hvor blandt andet andelen af køreplanstimer er afgørende for hvilke linjer, der adspørges i hvert enkelt busselskab. Andelen af interview er fordelt således, at de sikrer et så vidt muligt repræsentativt billede af hvert busselskabs sammensætning af linjer og passagerer. Det er kun busselskaber på A kontrakter i Midttrafiks område, der indgår i undersøgelsen, og passagerer under 15 år kan ikke deltage i undersøgelsen uden samtykke fra en forælder/værge. Af denne grund er linjer med en stor andel af skolebørn også frasorteret. Følgende kriterier har været gældende for frasorteringen: Busser på øvrige kontrakter end A kontrakter Busser, der kun kører skoledage Specialkørsel/arrangementskørsel Natbusser Selve dataindsamlingen sikres igennem uddeling og indsamling af papirspørgeskemaer. Epinions erfarne interviewere, der har gennemgået en intervieweruddannelse, hvor de er blevet særligt introduceret til netop denne opgave for Midttrafik, rejser med de udvalgte linjer og uddeler afkrydsningsskemaer til de rejsende ombord på bussen. Det forventes at uddele skemaer til ca. hver 3. eller hver 5. rejsende, alt efter hvor stor en andel interview, der skal indsamles på den pågældende linje. Spørgeskemaerne indsamles igen af intervieweren, der i bunden af spørgeskemaet noterer TurID og linjenummer. Skemaerne leveres efter endt vagt tilbage til Epinion til kontrol, kvalitetssikring og scanning. Noteringen af TurID og linje sikrer antallet af interviews på de enkelte linjer og kvaliteten af dataindsamlingen, hvilket i sidste ende fører til bedst mulige datakvalitet. Spørgeskemaerne scannes efter dataindsamlingen til elektronisk form, hvor der ligeledes forekommer en kvalitetssikring af datamaterialet. Scanning sikrer at alt data lagres elektronisk og kontrolleres igennem Epinions automatiserede kvalitetskontroller. UDVIDELSE AF DATAINDSAMLINGEN I 2015 blev der gennemført én måling i uge 40, hvor hvert repræsenteret busselskab blev tildelt 100 interviews. Midttrafik har i år besluttet, for at øge den statistiske sikkerhed, validitet og repræsenta 1

3 tivitet i undersøgelsen, ved at gennemføre én kendt måling i uge 40 og én ukendt måling. I begge uger indsamles der 100 interviews per busselskab, hvormed at alle selskaber får gennemført minimum 200 interviews. Denne øgning af dataindsamlingen vil blandt andet medføre, at den statistiske usikkerhed falder fra 4,6 % til 3 %. PASSAGERTUNG & PASSAGERLET PULJE Der arbejdes i 2016 med to kåringspuljer: 1. Den passagertunge pulje 2. Den passagerlette pulje Puljerne opdeles ikke kun på baggrund af det enkelte busselskabs størrelse, men på baggrund af de enkelte linjers køreplanstimer (volumen). Det er således andelen af køreplanstimer, der afgør, hvorvidt et selskab placeres i den passagertunge, passagerlette eller i begge puljer: Et busselskab som har linjer med KPLT eller færre placeres i den passagerlette pulje Et busselskab som har linjer med KPLT eller flere placeres i den passagertunge pulje Et busselskab som både har linjer med KPLT eller færre og linjer med KPLT eller flere placeres i begge puljer Dermed har selskaber med både passagerlette og passagertunge linjer mulighed for at blive kåret til både Midttrafiks bedste busselskab af passagerlette linjer samt Midttrafiks bedste busselskab af passagertunge linjer. Den passagertunge pulje vil, på grund af udvælgelseskriteriet om minimum KPLT, kun bestå af syv busselskaber. Den passagerlette består at samtlige busselskaber med A kontrakter, da busselskaberne alle opererer med passagerlette ruter (< KPLT): Den passagerlette pulje Den passagertunge pulje 1. Arriva 2. Malling Turistbusser 1. Arriva 3. Brande Buslinier/Herning Turist 4. Midtbus Jylland 2. Brande Buslinier/Herning Turist 5. Busselskabet Aarhus Sporveje 6. Mørups Turistfart 3. Busselskabet Aarhus Sporveje 7. De Blå Busser 8. Nobina 4. De Grønne Busser 9. De Grønne Busser 10. Silkebus 5. Keolis 11. De Gule Busser 12. Skave Turistfart 6. Nobina 13. Fårup Rute & Turistbusser 14. Tide Bus 7. Umove 15. Herning Bilen 16. TK Bus 17. Holstebro Turistbusser 18. Todbjerg Busser 19. Keolis 20. Umove 21. Venø Bussen Rent praktisk betyder denne fordeling mellem puljerne også, at de syv selskaber som befinder sig i begge puljer vil få tildelt 400 interviews, da et busselskab skal repræsenteres ved mindst 200 interview i hver pulje. Fordelingen af interview vil foregå på samme måde i begge puljer med en 75 % disproportional model. 2

4 Linjer som indgår i den passagertunge pulje vil kun måles i denne pulje og dermed ikke indgå i den passagerlette pulje. Inden fordelingen af interviews finder sted (samplingen), opdeles linjerne i de to puljer, så der ikke sker noget overlap mellem repræsentationen af de enkelte linjer i begge puljer. Begge puljers præmier består af det samme. SAMPLING Samplingsmodellen beror på samme overvejelser og principper som i 2015, hvor udvælgelsen af linjer ved de forskellige busselskaber optimeres bedst muligt inden for opgavens givne rammer. På baggrund af andelen af interviews pr. busselskab, som i år er opskalleret til minimum 200 interviews, anvendes en delvist disproportional samplingsmodel. Samplingen vil med denne model medføre at andelen af interviews fordeles disproportionalt mellem de buslinjer, der tilsammen udgør 75 % af køreplanstimerne ved et givent busselskab. Se eksempel i figuren nedenfor: 75 % disproportional model Linjer KPLT I % Fordeling af 100 interview Linje Linje Linje Linje Linje Linje 6 2,5 0 Linje 7 1,5 0 Modellen anvendes, da det hverken giver mening at foretage en 100 % disproportional eller proportional fordeling, da eksempelvis et selskab med 18 forskellige linjer og med en andel af interviews på 100 i en proportional model vil der kun skulle gennemføres ca. 5 interviews pr. linje og ved en 100 % disproportional fordeling, kan der være flere linjer, som kun får ét eller to interviews. Derfor er den 75 % disproportionale model valgt og kunne eksempelvis se ud som figuren til venstre. Linje TOTAL 76 % 100 intw. = 76 % Linje 1 til linje 5, udgør akkumuleret de første 75 % af køreplans timerne og får derfor fordelt de 100 interview imellem sig. Ved den 75 % disproportionale model vil der være linjer, der ikke bliver tildelt interview. Det skal dog understreges, at med andelen på 100 interview pr. busselskab (per måling) vil det ikke give mening, at gennemføre interview på alle linjer, da der ville nogle linjer skulle have rigtig mange interview og flere linjer, som stort set ingen interview ville have, som beskrevet ovenfor. Den valgte samplingsmodel udgør således det bedste billede af, hvilke linjer i et givent busselskab der vejer tungest på vægtskålen, hvilket også afspejler busselskabet og dennes tilfredshed i virkeligheden. Opdelingen mellem den passagertunge og lette pulje giver desuden mulighed for en endnu bredere dækning af de enkelte linjer og dermed også et mere retvisende billede. 3

5 STATISTISK SIKKERHED Den statistiske sikkerhed afhænger af, hvor mange interviews der indsamles per busselskab. For at sikre en højere statistisk sikkerhed i undersøgelsen sammenlignet med sidste år, bliver der i år gennemført minimum 200 interviews per busselskab (100 i hver uge), hvilket giver en statistisk usikkerhed på ca. +/ 3 point på et 95 % konfidensinterval. Forskellen i resultaterne er ikke, nødvendigvis, statistisk signifikant forskellige fra hinanden. Resultaterne viser således stadig et øjebliksbillede af respondentenes tilfredshed, men dog med en væsentlig lavere statistisk usikkerhed end i Undersøgelsen kan sammen med en vægtning af spørgsmålenes vigtighed fastslå, at et specifikt selskab på undersøgelsestidspunktet er det bedste. Undersøgelsen vil derfor bidrage med et øjebliksbillede af tilfredsheden med busselskaberne i Midttrafik. Nedenfor ses en figur der illustrerer, hvordan den statistiske sikkerhed ændres i takt med at der indsamles flere eller færre spørgeskemaer. Den røde prik i figuren illustrerer hvor den statistiske sikkerhed for Midttrafiks undersøgelse Bedste busselskab vil ligge: Påkrævet antal interview Ønsket usikkerhed (point) Rent praktisk betyder det, at to busselskaber med tilfredshedsscorer på eksempelvis; Busselskab A: 89,3 % Busselskab B: 87,9 % ikke er forskellige med en statistisk signifikant forskel, dog viser tallene at Busselskab A har mere tilfredse rejsende end Busselskab B, da undersøgelsen blev gennemført. Det giver altså ikke mulighed for at generalisere, men giver et øjebliksbillede af forskellen mellem busselskaberne. 4

6 SPØRGESKEMAET For at sikre kvaliteten af dataindsamlingen og den bedst mulige måling af kundernes tilfredshed og dermed også kåringen af det bedste busselskab, vil et vægtet gennemsnit af spørgsmålene anvendes i kåringen. Følgende 4 spørgsmål er udvalgt: 1. Hvor tilfreds er du overordnet med den busrejse, du foretager lige nu? (Vægtning 2) 2. Hvor tilfreds er du med chaufførens service? (Vægtning 2) 3. Hvor tilfreds er du med chaufførens kørsel? (Vægtning 2) 4. Hvor tilfreds er du med rengøringen i bussen? (Vægtning 1) Rent praktisk betyder det, at rengøringen i bussen i sidste ende vægter mindre i den samlede tilfredshed end både den overordnede tilfredshed med rejsen, chaufførens service og chaufførens kørsel. I beregningen af den samlede tilfredshed vil spørgsmål 1 til 3 vægte dobbelt så tungt sammenlignet med den rejsendes tilfredshed med rengøringen i bussen. Metoden er stort set uændret fra målingen i 2015 og sikrer derfor sammenlignelighed på tværs af begge dataindsamlinger. Eneste ændring er en præcisering af formulering på spørgsmål 1. VÆGTNING AF RESULTATERNE Bedste busselskab 2016 afgøres ikke alene på baggrund af kundernes tilfredshed, som i Kåringen beror i 2016 både på kundernes tilfredshed, andelen af udvalgte kundeklager, kvalitetskontroller og chaufførernes uddannelse. Vægtningsmodellen er således baseret på udvalgte forhold, som busselskaberne og chaufførerne selv har indflydelse på. Kundetilfredsheden vil stadig udgøre hovedelementet i kåringen, men andelen af udvalgte kundeklager, kvalitetsbrist og manglende samarbejde omkring uddannelse af chauffører vil påvirke den samlede tilfredshedsscore. Den endelige score vil beregnes på følgende måde: Kundetilfredshed: Hvert selskab får 200 interviews (per pulje), som danner grundlaget for en vægtet tilfredshedsscore mellem Kundeklager: Andelen af indberettede kundeklager med årsagerne: Håndholdt mobil, Chaufførens kørsel, Chaufførens opførsel og Rygning, vil medføre en reduktion på den samlede vægtede tilfredshedsscore på op mod 0,5 point. Klagerne behandles, så der tages højde for andelen af KPLT, da et selskab med en større andel KPLT også må antages at have en større andel klager (at KPLT og andel klager stiger proportionelt). Reduktionen beregnes på andelen af kundeklager i kvartal i Kvalitet: Andelen af kvalitetskontroller med kvalitetsbrist sammenholdt med andelen af kontroller (totalt), kan medføre en reduktion på den samlede vægtede tilfredshedsscore på op 5

7 mod 0,5 point. Der tages i kvalitetskontrollerne, som foretages løbende over året, højde for andelen af KPLT, som det enkelte selskab har. Dermed vil forholdstallet mellem andelen af brist og andelen af kontroller i sig selv udgøre reduktionen og kan, af selv samme årsag, maksimalt reducere med op mod 0,5 point i den samlede vægtede tilfredshedsscore. o Reduktionen baseres på en Reduktionstabel, hvor den vægtede andel af registrerede brister placeres på ét af fem trin, som giver en reduktion på hhv. 0,1 point pr. trin på tabellen. Denne model er fastlagt i samarbejde med Midttrafik på baggrund af konkrete beregninger af registrerede brister og KPLT. Uddannelse: Hvis busselskaberne ikke har samarbejdet med Midttrafik om deres chaufførers deltagelse i Midttrafiks uddannelse Fly High, medfører det en reduktion i den samlede vægtede tilfredsheds score på 0,5 point. Der kan dermed forekomme en reduktion på op mod 1,5 point, hvis selskabet klarer sig dårligt på alle tre parametre. Det enkelte selskab skal således ikke kun klare sig godt i de to dataindsamlingsuger i 2016, men også have præsteret godt til egne kvalitetskontroller, sørge for at selskabets chauffører har deltaget i de nødvendige uddannelsesforløb og have enten ingen eller et minmalt antal af kundeklager for at sikrer sig titlen som Bedste busselskab RAPPORTERING Der udarbejdes, efter dataindsamlingen er færdig, både én overordnet rapport til kåringen af de bedste busselskaber, samt en række selskabsspecifikke rapporter. Dette giver hvert enkelt selskab mulighed for at arbejde videre med samt dykke dybere i resultaterne fra undersøgelsen. Den selskabsspecifikke rapportering vil bestå af den gennemsnitlige tilfredshed på de fire målte parametre samt den samlede vægtede tilfredshedsscore. 6

8 OM OS Vi er et af Skandinaviens største konsulent og analysefirmaer med kontorer i Danmark, Grønland, Norge, Storbritannien, Sverige, Tyskland, Vietnam og Østrig. Vi er en mangfoldig arbejdsplads med internationalt perspektiv og samarbejdspartnere i hele verden og beskæftiger mere end 150 fastansatte medarbejdere og 500 interviewere. Vi leverer skræddersyede undersøgelser, der sikrer et solidt grundlag for optimale beslutninger. Vores mål er altid at præsentere analyseresultater og yde rådgivning af højeste kvalitet. EPINION AARHUS HACK KAMPMANNS PLADS AARHUS C T: E: TV@EPINION.DK W: EPINION KØBENHAVN RYESGADE 3F 2200 KØBENHAVN N T: E: TYA@EPINION.DK W: 1 DANMARK GRØNLAND NORGE STORBRITANNIEN SVERIGE TYSKLAND VIETNAM ØSTRIG