Skolesektionen på

Transkript

1 Skolesektionen på Louise Callisen Dyhr (ldyh) Marie Louise Gottlieb Frederiksen (mgfr) Janus Askø Madsen (jaam) Nanna Petersen (nshy) Antal tegn: Afleveringsdato: 21. maj 2014

2 1 Indledning Deskriptiv statistik Sidevisninger A/B test Designændringer Konfidensintervaller Hypotesetest for to andele Afvigelser på månedlig basis Hypotesetest for to middelværdier Kategoriserede variable Konklusion Side 1 af 26

3 1 Indledning Denne rapport bygger på en A/B test gennemført i forbindelse med kurset Statistiske metoder til Websiteoptimering. Rapporten indeholder statistiske beregninger og fortolkninger af en række data, som er blevet til under et casestudie af Ballerup Kommunes skolesektion. Siden er en undersektion på Ballerup Kommunes hjemmeside. Sektionen rummer alle informationer vedrørende kommunens folkeskoler. Det er Center for Skole og Institutioner, der lægger indhold ind på hjemmesidens skolesektion. Da Ballerup Kommune er en offentlig institution, består hjemmesidens målgruppe af byens nuværende og kommende borgere. Kommunes medarbejdere benytter også hjemmesiden til at finde forskellige informationer. På skolesektionen er den primære målgruppe forældre til børn i kommunens folkeskoler, privatskoler eller 10. klasser. Den typiske bruger af skolesektionen (og dermed den afgrænsede målgruppe i dette projekt) vil være forældre, hvis børn skal begynde i én af Ballerup Kommunes skoler. Forældrene kan have børn, der skal starte i børnehaveklasse, men det kan også dreje sig om børn, der skifter skole inden for kommunen eller er tilflyttere udefra. Forældre, der allerede har børn i Ballerup Kommunes skoler, benytter primært skolernes interne kommunikationsplatforme kaldet SkoleIntra og ikke kommunens skolesektion. En undtagelse herfor fandt sted under lærerlockouten i 2013, hvor kommunen udsendte generel information om processen. Skolesektionens overordnede formål er altså at informere forældre om, hvilke skoler og tilbud de kan finde i kommunen, hvilket skoledistrikt de hører til, og hvordan deres barn indskrives i skolen. For Center for Skole og Institutioner, som er skolesektionens afsender, er det vigtigste formål med sektionen, at brugeren finder, hvad de søger. Det er vanskeligt at opstille en mere konkret målsætning for skolesektionen. Fokus ligger på, at borgeren så vidt muligt skal kunne finde svar på skolerelaterede spørgsmål, så han slipper for at kontakte kommunen via telefon eller fysisk fremmøde. Èt af projektgruppens medlemmer arbejder for Ballerup Kommune med at vedligeholde Side 2 af 26

4 skolesektionen. Vi har derfor haft adgang til brugbar viden om sitets formål, og endvidere haft mulighed for at iværksætte nødvendige tiltag for at gennemføre A/B test. 2 Deskriptiv statistik Ved hjælp af analyseværktøjet Google Analytics (GA) har vi udtrukket statistik over brugeradfærden på siden Skoler ( på Ballerup Kommunes hjemmeside. 2.1 Sidevisninger GA muliggør blandt andet at udtrække et overblik over den kvantitative variabel antal sidevisninger på siden Skoler. En sidevisning registreres, når en side på sitet bliver indlæst i den besøgendes browser. Værdien sidevisninger er det samlede antal gange, en side er vist i en valgt periode. GA viser både den registrerede data visuelt i en graf og på tabelform. I perioden 1. januar til 31. januar 2014 har der været 775 sidevisninger på siden Skoler (se figur 1). Figur 1 - oversigt over antal besøgende på skolesektionen fra 1. til 31. januar 2014 Side 3 af 26

5 Nedenstående graf er et nærbillede af den kvantitative variabel antal sidevisninger pr dag i januar måned 2014 på skolesektionen. Ved at nærstudere udviklingen af sidevisningerne ses det, at der i starten af hver uge i den pågældende periode er høj trafik, og at der i weekenden er relativt lav trafik. Figur 2 - Antal sidevisninger per dag i januar 2014 Nedbrydes den kvantitative variabel sidevisninger pr dag på én forklarende variabel, nemlig hvilket device brugeren benytter, når de besøger siden, tegner der sig følgende billede (se figur 3). Figur 3 -antal sidevisninger på skolesektionen fordelt på device Side 4 af 26

6 Skolesektionen besøges af brugere, der i januar 2014 anvendte henholdsvis desktop (592), tablet (115) eller mobil (68). Figur 4 herunder opsummerer i et søjlediagram, hvordan sidevisningerne på skolesektionen fordeler sig på devices. Alle sidevisninger dækker over det samlede antal visninger af en side. Unikke sidevisninger tager højde for, at den samme bruger godt kan klikke på den samme side flere gange under et besøg på siden. Ud fra grafen i figur 4 er det tydeligt, at størstedelen af de besøgende benytter deres desktop, når de klikker ind på skolesektionen. Ballerup Kommune har anvendt en del ressourcer på at mobiloptimere deres hjemmeside og herunder også skolesektionen. Trods vækst i brugen af smartphones i samfundet generelt afslører oversigten herunder, at besøgende på skolesektionen i langt de fleste tilfælde besøger siden fra deres desktop Sidevisninger pr. device type Antal Alle sidevisninger Unikke sidevisninger 0 Desktop Tablet Mobile Device type Figur 4 - Sidevisninger og unikke sidevisninger efter device type 3 A/B test En A/B test er en metode, hvor man sammenligner en kontrolgruppe, der udsættes for én version af en hjemmeside, med en eller flere forsøgsgrupper, der udsættes for en eller flere varianter af samme hjemmeside. Variationen kan bestå i at eksempelvis tekst eller et billede, er ændret. Formålet er at finde frem til hvilken af varianterne, der bedst påvirker brugerne til at foretage en ønskede handling, som f.eks. køb, accept af yderligere kommunikation eller lignende. Vi vil anvende metoden A/B test Side 5 af 26

7 Louise, Marie, Janus og Nanna Statistiske metoder til websiteoptimering Eksamensopgave 21. maj 2014 FOR14 til at undersøge, om designændringer kan forbedre skolesektionen på Ballerup.dk. Vores testperiode løb fra 27. marts 2014 til 22. april Alle data i A/B testen er fra denne periode. 3.1 Designændringer Højre spalte i skolesektionen fremstår rodet (se figur 5), forvirrende og uklar. Der er ingen tydelig prioritering af indholdet, man er ikke umiddelbart klar over, hvilke sider links fører til, og der er ringe sammenhæng i indholdet. Målet med en ændring var at skabe en mere overskuelig højre spalte med en tydelig kommunikation og dermed en forøget forståelse af indholdet. Vores redesign ser ud som følgende (B siden) sammenlignet med det nuværende design (A siden): A side: B side: Figur 5 Designet og redesignet af højrespalten på Skoler siden Side 6 af 26

8 Ændringen er udformet igennem følgende 3 tiltag: 1. Retorik 2. Gruppering 3. Placering Retorik På Ballerup Kommunes skolesektion oplever vi en uklar retorik i forhold til sidens egentlige indhold. Eksempelvis bruges ordet Selvbetjening dette fører til et plugin styret af KMD, som mest af alt er en link-samling til andre selvbetjeningsløsninger. Brugere kunne umiddelbart forbinde Selvbetjening med et sted, hvor man fx direkte kan indskrive sit barn i skolen. Et andet eksempel er, at der et sted bruges ordet Privatskole både som overskrift og som underpunkt. Ballerup Kommunes begrundelse for dette er, at man rent teknisk ikke kan sætte overskriften til at være et link. Samtidig har de dog et sted Efterskole som overskrift og Orientering om efterskole som underpunkt. Vi undrer os over, at de har valgt et forskelligt sprogligt format på to områder, der minder så meget om hinanden. Vores første tiltag var derfor at opdatere retorikken i højre spalte, så den blev konsistent, klar og forståelig. Gruppering Et punkt, som relaterer sig til retorikken på skolesektionen, er gruppering. Skolesektionens højre spalte består af 8 links, som er lagt under 7 overskrifter. Desuden er der en Kontakt del, som adskiller sig i format. Stort set alle links har deres egen overskrift. Dette forekommer forvirrende og uoverskueligt. Vores andet tiltag var at gruppere relateret indhold under fælles overskrifter, så brugeren nemmere og hurtigere kan få et overblik over typen af indhold. Placering Vores sidste tiltag omhandlede prioriteringen af indholdet. Rækkefølgen af indholdet i den højre spalte er på nogle områder ulogisk og uhensigtsmæssig. Eksempelvis placeres én rapport midt i spalten, mens to andre rapporter placeres i bunden, hvilket man ikke kan finde nogen årsag til. Derudover er Kontakt delen placeret som det allerførste. Denne struktur er en standard, som Ballerup Kommune følger, men det forekommer uhensigtsmæssigt, da målet er, at brugerne skal kunne finde det, de søger på hjemmesiden frem for at kontakte den kommunale konsulent på mail eller telefon. Vores tredje tiltag var derfor at justere placeringen af indholdet, så det fremstår i den Side 7 af 26

9 korrekt prioriterede rækkefølge. Dette blev bestemt ud fra en kombination af, hvilke informationer Ballerup Kommune har fokus på at videregive, samt hvilke links borgerne anvender mest. Vi lavede yderligere en justering ved at placere Kontakt delen længere nede i spalten, for at tilbyde brugeren det højest prioriterede indhold inden muligheden for at ringe eller skrive en til Ballerup Kommune. Målsætning Da vores A/B test indeholder forskellige designændringer, ville det i princippet være relevant at teste resultatet af hver enkelt ændring. Ud fra scopet på dette projekt, har vi dog i vores analyse valgt at fokusere på målsætningen, at opnå flere klik på Skoledistrikter. Vi vil altså beregne, samt fortolke på, om det klikbare billede af skoledistrikterne på B siden konverterer bedre end linket på A siden, der hedder Folkeskoledistrikter. Valget er faldet på denne designændring, både fordi Skoledistrikter er et at de mest klikkede links på siden, og fordi vi her har mulighed for at lave et visuelt call-to-action, i form af et billede af skoledistrikterne. 3.2 Konfidensintervaller Vi har valgt at lave konfidensintervaller på vores konverteringer (Klik på linket skoledistrikter), på både A og B siden på totalniveau og nedbrudt på variablerne Nye besøgende og Tilbagevendende besøgende. Konfidensintervallerne kan vise os, hvad det er forventeligt, at populationen vil gøre på baggrund af vores stikprøve. I GA har vi udtrukket data fra A siden og B siden som antal eksperimentsessioner 1, der er henholdsvis nye og tilbagevendende for at se hvor mange af disse, som har konverteret. Dette illustreres i følgende to screenshots: 1 En bruger der kommer ind på siden Skoler og bliver sendt til enten a eller b-siden, vil tælle som 1 eksperimentsession, uanset hvor mange gange han klikker tilbage til Skolesiden. Side 8 af 26

10 Nye besøgende: Figur 6 - Antal eksperimentsessioner fordelt på nye besøgende Tilbagevendende besøgende: Figur 7 - Antal eksperimentsessioner fordelt på tilbagevendende besøgende Vi har opsamlet dataene i nedenstående tabel: A siden B siden A Total A Nye A Tilbage B Total B Nye B Tilbage n ! (konverteringsraten) 0,172 0,15 0,227 0,142 0,091 0,293 Tabel 1 Konverteringsraten nedbrudt på nye og tilbagevendende besøgende på A og B siden Vi ønsker at udregne et konfidensinterval på 95%. Vi tager udgangspunkt i følgende formel for konfidensintervaller. π ± 1.96!" For at udfylde denne må vi først udregne en standard error, hvilket gøres vha følgende formel: Side 9 af 26

11 !" = π (1 π)! Eksempel: Beregningen for A Total ser ud som følgende:!" = π (1 π)! = 0,172 (1 0,172) 151 = 0,031 Laveste intervalværdi: π 1.96!" = 0,172 1,96 0,031 = 0,112 Højeste intervalværdi: π !" = 0, ,96 0,031 = 0,232 Disse udregninger er gennemført for alle variable, hvilket giver følgende værdier: A siden B siden A Total A Nye A Tilbage B Total B Nye B Tilbage se 0,031 0,035 0,063 0,027 0,026 0,071 Laveste intervalværdi 0,112 0,082 0,103 0,088 0,040 0,154 Højeste intervalværdi 0,232 0,218 0,351 0,196 0,142 0,432 Tabel 2 Konfidensintervaller nedbrudt på nye og tilbagevendende besøgende på A og B siden Konfidensintervallerne (KI) for alle variable bliver derfor: A siden total: 95% KI mellem 11,2% og 23,2% A siden nedbrudt på nye besøgende: 95% KI mellem 8,2% og 21,8% A siden nedbrudt på tilbagevendende besøgende: 95% KI mellem 10,3% og 35,1% B siden total: 95% KI mellem 8,8% og 19,6% B siden nedbrudt på nye besøgende: 95% KI mellem 4,0% og 14,2% B siden nedbrudt på tilbagevendende besøgende: 95% KI mellem 15,4% og 43,2% Side 10 af 26

12 Refleksion Ud fra konfidensintervallerne kan vi aflæse, at de tilbagevendende besøgende konverterer mere end de nye besøgende på B siden. På A siden er der et overlap i konfidensintervallerne mellem de nye og tilbagevendende besøgende, og det kan derfor ikke konkluderes hvilken gruppe, der konverterer bedst her. At det netop er de tilbagevendende besøgende, der konverterer bedst på B siden, kan der være flere grunde til. I et scenarie med en forælder der har et barn, der skal begynde i skole, kan man forestille sig, at siden kræver flere besøg, og at skoledistrikter ikke naturligt er det første, man klikker på. Man kan også forestille sig, at det ikke er indlysende for brugeren, at kortet Skoledistrikter er klikbart - men at de ved gentagne besøg opdager denne funktion. Endvidere kan en del af de tilbagevendende besøgende være ansatte, der besøger siden flere gange og ofte har brug for informationen om skoledistrikter. 3.3 Hypotesetest for to andele (Bemærk: alle værdier er afrundet til 1 decimal for at hjælpe på overskuelighed, men i udregningen er de fulde værdier anvendt). Testperioden på 27 dage for de to sider gav følgende resultater ift. brugernes konvertering til siden Skoledistrikter (se figur 8). Figur 8 - Eksperiment data fra GA Side 11 af 26

13 n (sample size) Konvertering! (konverteringsrate) A-side ,1722 B-side ,142 Tabel 3 Konverteringsraten på A og B siden Med designændringerne ønskede vi at teste, om flere klikkede på linket skoledistrikter i form af billedet i stedet for det oprindelige link i tekstform. Testperioden gav et andet resultat, idet konverteringsraten er lavere på B siden end på A siden. Ud fra de umiddelbare data er det dog svært at konkludere, om det betyder, at A siden har været bedre designet end B siden. Vi vil derfor i det følgende undersøge, om der er en signifikant bedre konverteringsrate på A siden, hvilket vi vil gøre ved at udforme en hypotesetest, som består af 5 steps. Hypotesetesten 1) Antagelser Kategoriserede variabler Simple random sample Sample size: A side: 151 B side: 162. (Se tabel 3) 2) Hypotese H 0 :!! =!! H a :!!!! Vores nul hypotese er, at konverteringsraterne for side A og B er ens Vores alternative hypotese er, at raterne for side A og B afviger 3) Test statistik Vi tager udgangspunkt i nedenstående formel:! =!!!!!!!" For at udfylde denne, beregnes først en fælles! for a og b og herefter en standard error. Side 12 af 26

14 ! = = = 0,1565!"! =! 1! + 1!! + 1!! = 0, , = 0, = 0,1448 = 0,3806! =!!!!!!!" = 0,142 0, ,3806 = 0,0794 4) P-værdi P = 2P(! < 0,0794) = 2 x 0,4684 = 0,9367 Figur 9 Udregning af p-værdi i Excel Side 13 af 26

15 5) Konklusion På baggrund af testen med en p-værdi på 0,94 kan vi ikke afvise H 0. Selvom konverteringsraten på B siden viste en lavere konverteringsrate end på A siden har ændringerne ikke haft en effekt på konverteringsraten. På trods af den lavere konverteringsrate viser resultatet af testen, at B sidens konverteringsrate ikke er signifikant lavere end A sidens. Vi er 94 % usikre på vores konklusion. Hvis vi lavede testen 100 gange ville vi kun have ret 6 % af gangene. Vi er 6 % sikre på at der er en forskel, og 94 % sikre på at der ikke er en forskel. Chancen for at får et resultat der er større end (mindre end) end teststørrelsen er 94 % sikker. Refleksion Hvis man skal kigge på effekten af ændringen på årsbasis, skal vi beregne ud fra det fald, der har været i konverteringen i vores testperiode. På de 27 dage testen varede, var der et fald fra 26 konverteringer til 23, altså en difference på 3 konverteringer. Ud fra de tal kan man beregne effekten på årsbasis således: 365 dage/27 dage = 13,52. Effekten vil derfor svare til 3 x 13,52 = 40,5 færre konverteringer per år, hvis man kun tager højde for de tal testperioden gav. I vores tilfælde med et site som skolesiden er der dog flere faktorer, som kan have indflydelse på resultatet af testen, og testperioden er ikke repræsentativ for hele året. Længden på testperioden kan have betydning for resultatet, men vigtigst at påpege er, at skolesiden besøges mest fra september til december, da det er i denne periode, at forældre skal indmelde deres børn i skole. Hvis vi havde testet i denne periode, kan resultatet af konverteringer muligvis have set meget anderledes ud. Vi mener derfor ikke, man kan generalisere ud fra beregningen på de 40,5 færre konverteringer på årsbasis, da perioden ikke giver det sande billede af aktivitet på siden på hele året, og derfor ikke er repræsentativ. 4 Afvigelser på månedlig basis På trods af at A/B testen viste, at brugerne konverterede mere på A siden, kan vi ikke konkludere, at designændringerne har været mislykkede. Dette skyldes, at en række faktorer kan have betydning for, hvorvidt brugerne trykker på linket Skoledistrikter. Side 14 af 26

16 Den væsentligste faktor er, at vi ikke har mulighed for at vide, hvorvidt de besøgende faktisk har haft behov for at finde siden Skoledistrikter. Siden Skoler har mange forskellige links til undersider, som de besøgende kan have ønsket at finde, og siden er i sig selv også en informationskilde. Hvis vi antager, at det er en succes, at alle de besøgende finder siden Skoledistrikter, antager vi, at dette er deres behov. I A/B testen er det muligt, at flere besøgende på A siden end på B siden har haft behov for at finde siden Skoledistrikter. Hvis dette er tilfældet, vil designet af A siden ikke nødvendigvis være bedre end designet af B siden. For at fjerne denne faktor, ville det være nødvendigt at lave en kvalitativ undersøgelse angående brugernes behov, når de besøger siden Skoler. Den kvalitative undersøgelse kunne ligge til grund for et estimat af, hvor mange brugere der reelt har behov for at finde siden. Hvis eksempelvis 20% af brugerne leder efter siden Skoledistrikter, kan det være et mål, at 20% af de besøgende finder linket Skoledistrikter hurtigt. Derudover ville det være relevant at undersøge siden Skoler som en helhed, og se på alle de forskellige brugerbehov. For at undersøge betydningen af denne faktor yderligere, ønsker vi at udføre en hypotesetest for to middelværdier. Vi har valgt at lave en sammenligning af data fra december og januar, hvor designet af højrespalten var ens. Vi ønsker at undersøge, om den gennemsnitlige procentdel af de besøgende på Skoler siden, som trykker videre på Skoledistrikter, afviger fra måned til måned. Hvis vi kan konkludere, at det er forskelligt fra måned til måned, hvor stor en procentdel af de besøgende, der trykker på Skoledistrikter, selvom designet er ens, kan det tyde på, at de besøgendes behov for at besøge siden Skoledistrikter afviger. Dette kan være et argument for, at de besøgende på A siden og B siden i vores test også kan have haft forskellige behov. 4.1 Hypotesetest for to middelværdier Følgende er data fra december og januar, som giver et overblik over, hvor stor en procentdel af de besøgende, der har klikket på linket Skoledistrikter pr. dag. Tabellens forklarende variabel er måned, og respons variablen - som vi sammenligner ud fra - er procentdelen af de besøgende på Skoler siden, som trykker videre på Skoledistrikter. De to stikprøver er uafhængige af hinanden. I tabellen ses for hver måned, for den enkelte dato: Side 15 af 26

17 Antal klik på Skoledistrikter Antal sidevisninger på Skoler siden Procentdelen af de besøgende på Skoler siden, som klikker på Skoledistrikter Observationens afvigelse fra gennemsnittet, (y i ȳ) 2, udregnes i denne tabel, da værdierne skal bruges til at udregne en standard afvigelse DATO DECEMBER JANUAR klik sidevisninger y i (y i - ȳ) 2 klik sidevisninger y i (y i - ȳ) , , , ,7 0, ,4 3, ,3 2, ,7 0, , ,6 24, , , ,3 0, ,3 33, ,5 0, ,1 0, , ,3 45, ,6 61, , ,8 3, , ,8 323, , , ,2 11, ,7 0, ,3 663, ,8 1, , ,1 5, , ,9 0, , , ,4 192, , ,7 0, ,1 27, ,6 4, ,6 10, , , ,7 82, ,4 5, , , , , , ,5 313, ,7 82, ,6 0, ,1 12, ,6 5, ,1 12, ,8 15, ,7 82, ,3 6, ,3 0, ,3 0, ,5 24, ,6 Sum: ,7 2018, ,6 1111,4 ȳ: 7,6 5,8 Side 16 af 26

18 Tabel 4 Udregning af den gennemsnitlige procentdel af de besøgende som klikker på linket "Skoledistrikter" i december 13 og januar Procentdel af de besøgende som klikker på linket "Skoledistrikter" y i December Januar Dato Figur 10 - Procentdel af de besøgende som klikker på linket "Skoledistrikter" i december 13 og januar 14 Ud fra disse data kan vi opstille følgende tabel:! ((!!! )! ) n December 7,6 2018,7 31 Januar 5,8 1111,4 31 Tabel 5 Tal til videre beregning Hypotesetesten Vi vil nu gennemgå de 5 steps for en hypotesetest med to middelværdier: 1) Antagelser Kvantitative variabler Side 17 af 26

19 Simple random sample Sample size: December: 31, Januar: 31. (Se ovenstående tabel) 2) Hypotese H 0 : µ 1 = µ 2 Vores nul hypotese er at værdierne for to tilfældige måneder er de samme H a : µ 1 µ 2 Vores alternative hypotese er at værdierne for to tilfældige måneder afviger 3) Test statistik (Bemærk: alle værdier er skrevet op og afrundet til 1 decimaler for at hjælpe på overskuelighed, men i udregningen er de fulde værdier anvendt) Vi tager udgangspunkt i følgende formel, som vi deler op i mindre regnestykker:! =!!!!!!!" Estimate of parameter:!!!! = 5,82 7,57 = 1,7 Std. afvigelser: s! = (!!!)!! 1 = 2018, = 8,20!! = (!!!)!! 1 = 1111, = 6,09 Side 18 af 26

20 Std. error:!"! =!!! = 8,2 31 = 1,47!"! =!!! = 6,0 31 = 1,09!" = (!"! )! + (!"! )! = (1,47)! + (1,09)! = 1,83 Test statistik: 4) P-værdi! =!!!!!!!" = (5,82 7,57) 0 1,83 = 0,95 For at finde frem til p-værdien finder vi via excel standardnormalfordelingen for z = -0,95: (her har vi valgt ikke at afrunde, da dette ville give en p-værdi på 0) Standardnormalfordelingen = 0, P = 2P(z < -0,95) = 2 0,1706 = 0,3413 5) Konklusion Da P < 0,5 afvises H 0 Vi kan ikke afvise H 0 Vi kan ikke sige der er en forskel fra måned til måned på hvor mange der klikker på linket. Der er en forskel 66 % af i gangene i månerne men der er ikke en forskel 34 % af gange, altså hver 3 gang. Vi er 66 % sikre på at der vil være en forskel mellem månederne. 34 gange ud af 100 vil vi tage fejl og 66 % af gangene vil vi så have ret i vores hypotese, nemlig at der er en forskel mellem månederne. Vi er kun 66 % sikre på at der er en forskel, ikke 95 % sikre så derfor er vi 34 % sikre på at der ikke er en forskel Side 19 af 26

21 Refleksion Konklusion Der sker faktisk det, at P bliver over 0,05, og vi skal derfor opretholde H0 i stedet for at afvise den Det betyder, at der er så stor sandsynlighed for at værdierne for to forskellige måneder er det samme, at vi ikke kan afvise at de er det. - dermed ikke sagt, at vi er sikre på at det vil være det samme for to måneder, men vi er ikke sikre nok på at det vil være forskelligt. Ud fra disse data har vi altså ikke bevist, at det kan skyldes tilfældighed at side A har konverteret bedre end side B. - Men dermed ikke sagt at vi afviser denne tanke. 4.2 Kategoriserede variable Signifikanstest med to kategoriserede variable Ballerup Kommunes skolesektion besøges af mange forskellige borgere, som hver især har forskellige generelle it-kompetencer. Ved at kigge på hvilke besøgende på skolesektionen, der klikker på linket Skoledistrikter på den oprindelige udgave af hjemmesiden, kan vi afvise eller bekræfte en sammenhæng mellem browsertype og klik på linket. Vi har tidligere vist (se figur 4 side 6), at langt de fleste besøgende på skolesektionen besøger fra desktop. Derfor giver det god mening at vurdere, om de besøgendes browser har betydning for adfærd i forhold til linket. Da beregningerne for de forskellige celler er regnet ud fra de samme formler, har vi valgt at vise et eksempel på hver udregning, så det er tydeligt, hvilke tal der er indsat i formlen, men derudover har vi angivet de resterende tal i tabellerne. 1) Forudsætninger Simpel tilfældig udvælgelse Der skal være mindst 5 observationer i cellerne 2) Hypotese H 0 : De to variable er uafhængige H a : De to variable er afhængige Side 20 af 26

22 3) Teststørrelse Teststørrelsen beregnes ud fra følgende formel:!! = Σ (!!!! )!!! Inden vi kan udregne denne, bryder vi formlen ned på celleniveau: (!!!! )!!!!! er det observerede antal, som er kendt, mens!! er det forventede antal tallet vi ville forvente, hvis variablerne var uafhængige. Det forventede antal i hver enkelt celle beregnes efter formlen herunder, som tager udgangspunkt i det observerede antal klik: Forventet antal i cellen = række total kolonne total samlet stikprøvestørrelse Eksempel: Forventet antal i cellen (IE ja) = = 8,39 Tabel 6 Observerede og forventede antal konverteringer fordelt på browser type Når!! er kendt for alle celler, kan formlen udregnes. Eksempel: Beregning af forskellen mellem det observerede og forventede antal kliks på ja i IE. Forskellen kvadreres og divideres med den forventede værdi: Side 21 af 26

23 (!!! )! (7 8,39 )! = = 0, ! 8,39 Tabel 7 Chi-i-anden test nedbrudt på celleniveau Efter beregning af hver celle udregnes summen, hvilket giver os χ2. Denne teststørrelse sammenfatter, hvor langt de faktiske antal i hver celle ligger fra de forventede antal: 4) P-værdi!! = Σ (!!!! )!!! = 3, For at finde ud af om testresultatet viser H 0 eller H a skal man, sammen med antal frihedsgrader, anvende!2- værdien. Dette kan gøres manuelt og i Excel. Manuelt finder man!2-værdien i!2-fordelingstabellen ud fra antal frihedsgrader!. Vi finder vores frihedsgrad ved formlen:!" =!"#!$!æ!!"# 1!"#!$!"#"$$%& 1 = = 2 Ud fra den værdi der ligger tættest på ens χ2-værdi (i tabellen 3,22), kan man aflæse, at sandsynligheden for venstre hale er 0,8. Sandsynligheden for højre hale (p-værdien) er 1 0,8 = 0,2. For at finde den præcise p-værdi, kan vi alternativt anvende Excel. Omregning af teststørrelse til ssh sker ved hjælp af Excels CHI2.TEST. Resultatet af Chi-i-anden testen i Excel er 0,2094 altså tæt på den p-værdi vi også fandt manuelt ved tabelopslaget. Side 22 af 26

24 Figur 11 Udregning af p-værdi i Excel 5) Konklusion Vi afviser ikke H 0, da p-værdien er langt højere end de max 0,05. Dette betyder, at der ikke er sammenhæng mellem browsertype og konvertering. Hvis vi skulle have afvist H 0 skulle χ2- værdien have været større end 5,99 da denne værdi afspejler 95 % i venstre hale og 5 % i højre for 2 frihedsgrader. Vi er 80 % sikre på at der er en sammenhæng mellem browsertype og antal klik og vi 20 % sikre på at der ikke er en sammenhæng. Der er 20 % sandsynlighed for at få et resultat der er mere ekstremt (længere mod Ha) Standardiserede residualer Selvom konklusionen fra!2- testen overordnet ikke viste sammenhæng mellem variablene finder vi det interessant at se på sammenhængen mellem konverteringerne og hver enkelt browsertype, for at undersøge om der kan være en afhængighed på det enkelte celleniveau. Side 23 af 26

25 Dette gøres ved at beregne testværdier for hver enkelt browsertype, hvilket gøres igennem følgende formel:! =!!!!!" =!!!!!! 1!"#!"#!#"$%#& (1!"#$%&!"#!#"$%#&) Række- og kolonneandele For at kunne udfylde denne formel udregner vi først række- og kolonneandelene, hvilket gøres ved at dividere den totale observerede række-/kolonneværdi med den totale sum for rækkerne eller kolonnerne. Eksempel: IE total = = 0, Tabel 8 Observeret antal konverteringer Tabel 9 Andelen af rækker divideret med andelen af kolonner For at anvende dette på celleniveau udregnes parenteserne i den nederste del af z-formlen: 1!"#!"#!#"$%#& (1!"#$%&!"#!#"$%#&) Eksempel:!"!" = 1 0, , = 0, Side 24 af 26

26 Tabel 10 Beregning af parenteserne i den nederste del af z-formlen Beregning af standard error (se) Herefter kan vi udregne se for hver celle.!" =!! 1!"#!"#!#"$%#& (1!"#$%&!"#!#"$%#&) Eksempel:!" (!"!") = 8,39 0, = 2, Tabel 11 Standard error på celleniveau Beregning af f 0 - f e Herefter udregnes den øverste del af z-formlen Eksempel:!"!" =!!!! = 7 8,39 1,39 Side 25 af 26

27 Tabel 12 Observerede og forventede antal konverteringer fordelt på browser type Tabel 13 Det observerede antal minus det forventede antal konverteringer Beregning af z! =!!!!!" Eksempel:!!"!" = 1,39 2, = 0, Tabel 14 Z nedbrudt på celleniveau Refleksion Resultaterne stemmer overens med!2- testen. Ingen af værdierne er større end 3, som er den kritiske grænse for at der er en sammenhæng mellem en bestemt browser og konvertering. Alligevel Side 26 af 26

28 er det interessant, at der proportionelt er flere konverteringer blandt chromebrugere end de to andre browsertyper. 5 Konklusion Ballerup Kommunes skolesektion har en bred målgruppe. At lave en hjemmeside til en bred målgruppe er en udfordring, da individer i målgruppen kan have meget forskellige behov, forudsætninger og formål, når de besøger hjemmesiden. Ved hjælp af Google Analytics kan man opstille eksperimenter, som kan teste, om brugere af en hjemmeside ændrer adfærd, hvis man iværksætter nogle designjusteringer. I rapporten her har vi fokuseret på én af de centrale opgaver, som skolesektionen skal håndtere nemlig at skabe overblik over kommunens skoledistrikter. Vi har testet en ændret menustruktur på skoledistriktets hovedside op imod den originale version af siden. Vi har ikke kunnet registrere væsentligt ændret adfærd blandt brugerne af vores alternative design af siden, når vi har målt på klik videre til siden skoledistrikter. Vores eksperiment har ikke ændret ved de behov, som besøgende på skolesektionen har haft i testperioden. Det kan derfor ikke afvises at den ændrede retorik, grupperingen og placeringen af informationer på siden med alternativt design har forbedret brugernes oplevelse af skolesektionen. Hvis Ballerup Kommune i fremtiden vil undersøge om skolesektionen lever op til brugernes behov, så er det anbefalelsesværdigt at supplere Google Analytics med øvrige testværktøjer. Side 27 af 26