Nye indsamlingsformer til virksomheder nye muligheder for målefejl

Transkript

1 Nye indsamlingsformer til virksomheder nye muligheder for målefejl Peter Linde, chefkonsulent for Metode, Danmarks Statistik Basalt set beder man virksomhederne om den samme information uanset, om der bruges et papirskema eller fx et web-skema. Virksomhedernes byrde ved de forskellige indsamlingsmedier afhænger af, om det bliver sværere eller lettere for virksomheden at afgive den information, der efterspørges. Det kræver kendskab til de særlige målingsproblemer i virksomhedsundersøgelser og den kognitive proces, som respondenter har, når de skal afgive de økonomiske oplysninger. Man kan ikke bare tage de gamle papir-spørgeskemaer og ændre dem til de tekniske formkrav, som fx web eller scanning stiller. Man må samtidig ændre og teste sit spørgeskema. Der kan være en modsætning imellem, hvad der er lettest for indsamleren, og hvad der er lettest for respondenten. Et spørgeskema skal først og fremmest være let at udfylde for respondenten. Hvis man gør det let for indsamleren uden samtidig at gøre det let for respondenten, øger vi hans byrde, hvilket i praksis øger målefejlen ved de informationer, han afgiver. I forhold til personundersøgelser har spørgeskemaer til virksomheder generelt ikke samme kvalitet hverken i Norden eller internationalt. Der er ikke samme fokus på målingsproblemerne, skemaerne er ofte ikke testet af respondenter ude i virksomhederne, og spørgsmålene er ikke altid bygget op, så de afspejler den proces, respondenten skal igennem (Haraldsen 2004b og Erikson 2004). Spørgsmålene har ofte mere fokus på den specifikke information indsamleren har brug for frem for på respondentens univers. Samtidig er virksomhedsundersøgelser på en række punkter meget forskellige fra personundersøgelser, bl.a. fordi der spørges til økonomiske oplysninger, definitioner og begreber er meget tekniske, og der er problemer med, hvilken enhed der spørges om (Riviére 2002). I denne artikel vil nogle af disse problemer blive diskuteret. Først er fokus mest på de særlige problemer, web-skemaer giver, og til sidst vil jeg fokusere på de muligheder, de også giver. Den tekniske udfordring er stor Web-spørgeskemaer stiller en lang række tekniske krav til opkoblingen til internettet, software og hardware. Udfordringen for indsamleren er, at web-skemaet skal kunne virke på samme måde i alle IT-miljøer, uanset opkoblingshastighed, styresystem og skærmens størrelse og opløsning med mere. De tekniske problemer og de krav, det stiller til designet af web-skemaet, er behandlet i en række internationale undersøgelser (fx Couper 2004 og Baker 2002). Det er begrænset, hvad der kan stå på en skærmside, og opløsningen er lavere end for trykte skemaer. Fokus i denne artikel er ikke på den tekniske side, men på respondenten. Målingsproblemet er den største udfordring Man bør ikke designe et web-skema ved at lave en kopi af det oprindelige papirskema. For eksempel kan der ikke stå det samme på en skærm som på en A4-side. Udfordringen er, hvordan respondenten bevarer overblik over de økonomiske oplysninger, der ønskes, selv om skemaet på skærmen bliver spaltet op i en række delspørgsmål. Derudover er det vigtigt, at respondenten på en naturlig måde ledes fra det ene spørgsmål til det næste. Og endelig skal spørgsmålene opbygges, så

2 det er lettest muligt for respondenten at skaffe den ønskede information. Hvis designeren af webskemaet finder løsninger herpå, er der mulighed for, at web-skemaet betyder en mindre byrde for respondenterne. Det er meget sparsomt med undersøgelser, der har kunnet dokumentere en mindre byrde for virksomheder ved web-skemaer sammenholdt med papirskemaer. Tværtimod er det modsatte oftere tilfældet (fx Haraldsen 2004b). Men det betyder ikke det ikke, at er muligt, hvis man ved udviklingen af web-skemaer har fokus på respondenternes udgangspunkt og proces med at genskabe den ønskede information. Web-skemaer giver nemlig nye muligheder for at hjælpe respondenten undervejs, som minder om den hjælp, interviewere kan give ved telefon- eller besøgsinterview. Men det kræver, at man udnytter og videreudvikler den viden, der findes om målingsproblemet i virksomhedsundersøgelser. Derudover er det nødvendigt at øge kendskabet til den kognitive proces, som respondenterne har, når de skal afgive de økonomiske oplysninger. Respondentens proces med at skaffe informationerne Den eller de, der i en virksomhed har fået til opgave at besvare et skema har to centrale udfordringer. Først skal de forstå de enkelte spørgsmål, og derefter skal de finde den ønskede information. Dette rejser en række mulig temaer: Den ønskede information er ikke umiddelbart tilgængelig i virksomhedens databaser, og respondenten skal derfor foretage en række beregninger, før spørgsmålet kan besvares. Den ønskede information er ikke opgjort på den samme måde i virksomhedens databaser, hvorfor medarbejder må fortage en række nye opgørelser. Den ønskede information findes ikke elektronisk, men kun på papir, og må derfor først fremskaffes og regnes sammen. Den ønskede information findes flere forskellige steder i virksomheden. Når respondenten går i gang med at udfylde et web-skema, vil ovenstående situationer skabe et særligt problem. Respondenter har en forventning om, at han kan gå i gang med udfyldelsen og trin for trin relativt enkelt skaffe den information, der ønskes. Hvis han undervejs støder på et problem, fx at han mangler en information, der findes i en anden afdeling, kommer han i en konfliktsituation, der er anderledes, end hvis der var tale om et papirskema. Han kan ikke på samme måde afbryde udfyldelsen og sende skemaet til sin kollega. Man kan fx sammenligne med udfyldelsen af selvangivelsen. Mange gør udfyldelsen færdig i ét hug, fordi der ikke er noget, der kræver et ekstra tjek. Men i andre situationer er der ting, der mangler i forhåndsudfyldelsen, eller der er ting, som skal kontrolleres eller beregnes. Hvis der er muligt at skaffe de nødvendige oplysninger, og man har tid og lyst, går mange i gang med det samme. Men i andre situationer udskydes det til et senere tidspunkt. Konsekvensen af en web-undersøgelse må ikke være, at respondenten skal printe skemaet for få et overblik over de informationer, der ønskes, og på forhånd have skaffet alle ønskede oplysninger i den rette form, for bagefter at besvare skemaet ved at taste de informationer ind, der kræves. Det er 2

3 selvfølgelig smart for indsamleren, der ikke behøver selv at taste informationer ind, men det forøger den samlede byrde for respondenten. Enhver forøgelse af byrden vil forøge respondentens tilbøjelighed til at finde lette løsninger, der kompenserer for den pålagte byrde. Fx kan han vælge at lade gætte sig til information han skal skaffe i en anden afdeling eller helt at udelade den. Det vil uundgåeligt medføre en systematisk fejl ved de afgivne informationer. Fejlsøgning under besvarelsen Web-skemaer giver mulighed for at fortælle respondenten, at der er en konflikt eller mulig fejl i de informationer, der er indtastet. Det er selvfølgelig godt, hvis respondenten retter fejlen med det samme, når han alligevel er i gang. Men det kræver, at han er indstillet på at rette fejlen med det samme, og at han har mulighed for det. Den umiddelbare reaktion hos de fleste er negativ, når man får at vide man har lavet en fejl. Det påvirker respondenten og den måde, han oplever byrden ved udfyldelsen på. Det er derfor vigtigt, at fejlen er betydelig og ikke i småtingsafdelingen, som indsamleren ville have accepteret, hvis man i stedet havde fejlsøgningen efterfølgende. Men selv om der er tale om en væsentlig fejl, kan det være et problem, at der dukker en rød fejlmeddelelse op på skærmen og respondenten bedes om at rette fejlen. Hvis han ikke har mulighed for eller lyst til at rette fejlen, fordi byrden er for stor, kan han vælge at tilpasse tallene, så fejlen formelt forsvinder. Hvis der fx er tale om en sumkontrol er det mest almindeligt, at han i denne situation retter summen, så den passer, frem for at tjekke de enkelte delinformationer. Herved vil indsamleren have mistet muligheden for at opdage fejlen, da de indtastede data tilsyneladende ser rigtige ud. Det ville i denne situation have været bedre at undlade at tvinge respondenten til at rette fejlen med det samme, men få den frem i lyset (indtastet) og efterfølgende vende tilbage og bede respondenten rette fejlen. Man kan på forskellige måder finde løsninger på de, der er nævnt ovenfor. Man kan fx indlede besvarelsen med et spørgsmål om respondenten gerne vil oplyses om fejl undervejs eller kontaktes bagefter. Det vil betyde, at der er på forhånd er en form for gensidig aftale, og det vil reducere den oplevede byrde ved at få at vide, at man har lavet en fejl. Man kan også vælge kun at oplyse om fejlen og at gøre det frivilligt om den rettes. Og endelig kan man gemme alle respondentens indtastninger elektronisk og bagefter analysere, om der er blevet lavet en reel eller kun en formel fejlretning. Nogle fejl er helt afgørende for kvaliteten af den efterfølgende besvarelse, og man vil ofte vælge at oplyse respondenten herom med det samme og få den rettet. Men i andre situationer er det et åbent spørgsmål, hvad det betyder for kvaliteten af data, og hvordan det påvirker respondentens byrde. Hvordan og i hvilket omfang man skal fejlsøge under besvarelsen, er et spørgsmål, der skal stilles konkret i den enkelte undersøgelse og besvares på baggrund af en grundig analyse og test blandt respondenterne. Hvis man ikke har testet udfyldelsen af skemaet blandt respondenter, bør man være varsom med fejlsøgning undervejs, og vente med at implementere denne mulighed, til man har nogle flere erfaringer. 3

4 Den understøttede besvarelse Som nævnt tidligere giver web-skemaer nye muligheder for at hjælpe respondenten undervejs, der minder om den hjælp, som interviewere kan give ved telefon- eller besøgsinterview (Dillman 2000). Det er først, når man udnytter disse muligheder for at understøtte respondentens besvarelse, at man har reel mulighed for at reducere byrden og forbedre kvaliteten (Baker 2002). Der findes en lang række måder, man kan opnå denne positive effekt: Når respondenten skal springe nogle spørgsmål over, kan det ske automatisk, uden at respondenten skal gøre noget. Det vil lette respondenten, specielt hvis overblikket ikke samtidig går tabt. Spørgsmål og svarkategorier kan afhænge af, hvilken type respondent der er tale om. Fx kan små virksomheder få lov til at svare mindre detaljeret, eller svarintervallerne kan afhænge af tidligere svar. Man kan få vejledning eller hjælp undervejs ved at klikke på spørgsmålet, svarmulighederne eller en særlig knap. Oplysninger, der for nogle virksomheder kræver en række udregninger, kan lettes ved, at respondenten kan aktivere et lille regneark, der kan hjælpe med besvarelsen. Når respondenten fx skal oplyse varenumre, landekoder eller lignende har han adgang til en database, hvor disse kan findes vha. et søgeprogram (og ikke et drop-down-vindue). Oplysninger fra tidligere undersøgelser er indarbejdet i skemaet. Fx hvilke produkter respondenten plejer at sælge eller indtastningen fra det forrige kvartal. Det sidste kan selvfølgelig give en systematiske fejl og må derfor besluttes efter en konkret analyse. Men der er ingen tvivl om, at respondenten vil opleve det som en reduktion af byrden. Selv om skærmen kan rumme mindre end en A4-side, giver den nogle særlige muligheder for med grafik, farver og typografi at understøtte processen og lette besvarelsen (Couper 2003). Understøtningen af besvarelsen er det afgørende, hvis byrden skal reduceres og kvaliteten fastholdes eller forøges. Det kræver en betydelig investering at opnå denne kompetence. Investeringen skal sammenholdes med den mulige reduktion af respondenternes byrde og begrænsningen af mulige målingsfejl og skævheder pga. web-besvarelsen. En større stikprøve kan ikke reducere betydningen af sådanne systematiske fejl. Tilfældige og systematiske fejl Enhver dataindsamling har både tilfældige og systematiske fejl. Størrelsen af den tilfældige fejl kan reduceres ved at øge stikprøvestørrelsen. Den systematiske fejl stammer bl.a. fra målefejl i dataindsamlingen. Den systematiske fejl er konstant uanset stikprøvestørrelsen, ja, den kan i praksis endda være større ved store stikprøver, hvis omfanget af dataindsamlingen betyder, at man slækker på styringen og kontrollen af kvaliteten (Groves, 1992). 4

5 Når man skal vurdere, hvordan man opnår den mindst mulige samlede fejl, er det derfor også en afvejning af, hvordan man bruger ressourcerne. Ressourcer frigjort ved at reducere stikprøven kan omsættes til en øget indsats over for de systematiske fejl. Fx kan man bruge mere tid på at forbedre og teste blanketten. Stikprøveteorien siger, at man skal forøge stikprøven med en faktor 4, hvis man vil reducere den tilfældige fejl med en faktor 2. Eller sagt på en anden måde, reduktioner eller forøgelser af en stikprøvestørrelse slår kun igennem med kvadratrodens kraft mht. størrelsen af den tilfældige fejl. 1 Den tilfældige fejl med en stikprøve på fx 100 respondenter er ± 10%. Det vil sige, at en stikprøve på 400 har en tilfældig fejl på ± 5% og en på en tilfældig fejl på ± 2,5% osv. Ved store stikprøver vil den tilfældige fejl således være mindre end den systematiske. Figur 1. Usikkerheden som funktion af stikprøvestørrelsen Den nederste kurve er den tilfældige fejl med et 95% sikkerhedsinterval. Den systematiske fejl er den vandrette streg, her antaget til 3%. Den øverste kurve er den samlede fejl, dvs. både den tilfældige og den systematiske. Scanning Papirblanketter til virksomheder bliver i stigende omfang scannet efterfølgende. Leverandørerne af scanningsprogrammer stiller en række krav til opsætningen af skemaet. Tallene skal skrives i en form for kasser. Der skal samtidig være pæn afstand mellem kasserne. Umiddelbart stilles der krav om mere plads, end der generelt bruges på de oprindelige papirskemaer. Dette kan derfor reducere respondentens overblik over skemaet. Man kan vælge mellem at lade respondenten skrive frit i kasserne, eller man kan prøve at styre indskrivning vha. kamme eller drop ud-farver (som scanningsprogrammet ikke læser) omkring de enkelte cifre, der skal skrives. Drop ud-farver kan let få blanketten til virke teknisk, eller overblikket kan svækkes pga. for mange farveindtryk. Samtidig kan drop ud-farver betyde, at muligheden for at benytte andre grafiske hjælpemidler for at lette udfyldelsen begrænses, hvis 1 En reduktion af stikprøvestørrelsen med fx 10 % vil kun betyde en relativ reduktion af den tilfældige fejl med godt 5 %. 5

6 blanketten derved kommer til at virker uoverskuelig. Kamme eller et fastlagt antal felter til de enkelte cifre kan også pålægge respondenten en byrde, fordi han ikke bare kan skrive tallet, men skal tælle antal felter for at finde ud af, hvor han skal starte, så det passer til sidst. Omvendt kan kamme også fremme overblikket. Selv om design af blanketter, der efterfølgende skal scannes, kan virke som et mindre teknisk problem i forhold til fx web-skemaer, har det alligevel betydning for respondentens opfattelse af byrden, der pga. kravene til scanningen ikke bliver mindre. Derfor er det vigtigt, at man udnytter viden i dag om, hvordan man designer et godt papirskema (Dillman 2001), når blanketten efterfølgende skal scannes. Sammenfatning Web-spørgeskemaer er en ny indsamlingsmetode til virksomheder, der brugt i kombination med andre indsamlingsformer giver respondenterne en ny mulighed. Web-skemaer er kommet for at blive, og det er afgørende at man udnytter mulighederne for at understøtte besvarelsen. Det er afgørende, at et web-skema testes blandt respondenter, inden det sættes i produktion. Ikke kun mht. de tekniske problemer, men også blandt respondenter med fokus på processen omkring besvarelsen og målingsproblemer. Der findes vejledninger om design og test af web-skemaer (fx Haraldsen 2004a). Design af web-skemaer må ikke alene overlades til IT-personale, men er et udviklingsprojekt, hvor alles erfaringer og viden skal bruges. Litteratur P. Baker, C. Crawford og J. Swinehart (2002). Development and testing of web questionnaires. QDET Charleston, South Carolina, USA, M. P. Couper (2003). Design and Measurement Issues in Web Surveys ISI Berlin M. P. Couper, S. Presser, J. M. Rothgeb, J. T. Lessler, E. Martin, J. Martin and E. (2004). Methods for Testing and Evaluating Survey Questionnaires. D.A. Dillman (2000). Mail and Internet Surveys. The Tailored Design Method. Wiley. J. Erikson (2004). Särskilda egenskaber hos företag och företagsundersökningar och deres mättekniske konsekvenser. SCBs videnskabelige råds møde april B. Groves (1992). Survey Errors and Survey Costs. John Wiley G. Haraldsen (2004a). Råd for utvikling og utforming av webskjema. Statistics Norway. G. Haraldsen (2004b). Haren og skilpadda: Aktuelle problemstillinger knyttet til skjemakvaliteten i bedriftsundersøkelser. SCBs videnskabelige råds møde april P. Riviére (2002). What Makes Business Statistics Special? International Statistical Review 70. 6