Oprettet , Digitale relationer og datadreven informationsformidling Side 1 af 5

Størrelse: px

Starte visningen fra side:

Download "Oprettet , Digitale relationer og datadreven informationsformidling Side 1 af 5"

Maria Jespersen
7 år siden
Visninger:

1 Notat Afprøvning og optimering af seges.dk og Landbrugsindo.dk ved brug af A/B test Projekt: SEGES P/S Koncern Digital Ansvarlig JUPO Oprettet , Digitale relationer og datadreven informationsformidling Side af 5 Dette notat er udarbejdet i forbindelse med arbejdspakke.3 i projektet Digitale relationer og datadreven informationsformidling, med det formål at evaluere A/B test som metode til at afprøve og optimere forskellige metoder til præsentation af informationer. Testmetoden skal gøre os klogere på vores brugere og deres brugsmønstrer for derigennem at sikre, at den rette information kommer rettigdigt frem til landmanden. Afprøvning og optimering ved brug af A/B test på seges.dk og landbrugsinfo.dk I forbindelse med optimering og afprøvningen ved brug af A/B har vi kørt test på vores to primære hjemmesider, og Opsætning af kampagnen Begge kampagner har kørt med en enkelt variation og derudover er der opsat følgende kriterier: Testen inkluderede 00% af brugerne 50% fik kontrol versionen 50% fik den nye version Test Platform Område Beskrivelse Conversion rate Seges.dk Top karrusel 2 Landbrugsinfo.dk Tilmeld nyhedsbrev CTA: Læs mere her CTA: Tilmeld nyhedsbrev Click rate Click rate:

2 Test : SEGES.dk Den første test på seges.dk blev udtænkt på baggrund af data, der viser, at vores brugere sjældent klikker i topbanneret på forsiden af hjemmesiden. Derfor dannede vi en hypotese, der går på, at hvis CTA (linket fra topbanneret og videre til den bagvedliggende artikel) var mere iøjnefaldende, så var vores brugere mere tilbøjelige til at klikke videre til den pågældende historie. Test Mål Hypotese Versioner Resultat Evaluering Emnelinje At forbedre klikraten i topkarrusellen Ved at gøre CTA mere markant og genkendelig, så er der flere der vil klikke sig videre og læse den aktuelle historie i topkarrusellen. Kontrol: Læs historien her (hvid) Version : Læs historien her (orange) Testen viste, modsat vores hypotesen, at brugerne var mere tilbøjelige til at klikke på den hvide CTA end den orange. Testen viser, at der er en signifikant forskel i klikraten, så det vil have negativ effekt at skifte den nuværende CTA. er 2

3 Testdata Testnavn Segment Læs mere her SEGES Kontrol: Læs mere her (hvid) V: Læs mere her (orange) Brugere Conversions CTR St. error Z-value P-value CTR forskel Kontrol 548 2,0% 0,00599 Power ,68% 0, , ,027-66,% 84,3% Kontrol -66,% 3

4 Test 2: LandbrugsInfo.dk Testen på landbrugsinfo.dk blev udtænkt på baggrund af interview data, der har vist, at flere brugere fra kernemålgruppen ikke får tilmeldt sig vores nyhedsbreve selvom de efter eget udsagn gerne vil modtage nyhedsbreve. Derfor blev der udarbejdet en hypotese om, at flere ville tilmelde sig nyhedsbrevet, hvis tilmeldingsknappen blev fremhævet, så den er mere markant og genkendelig. Test Mål Hypotese Versioner Resultat Evaluering Tilmeld nyhedsbrev At forbedre tilmeldingsraten til nyhedsbrevene Ved at gøre CTA mere markant og genkendelig, så er der flere der vil klikke sig videre og tilmelder sig nyhedsbrevet. Kontrol: Tilmeld nyhedsbrev (gul) Version : Tilmeld nyhedsbrev (orange) Testen viser en signifikant forbedring af click raten på den nye CTA-knap. Testen viser en forbedring på 24% og anbefalingen er, at implementerer den nye CTA for at forbedre tilmeldingen til nyhedsbrevene. er 4

5 Testdata Testnavn Segment Tilmeld nyhedsbrev Landbrugsinfo Kontrol: Tilmeld nyhedsbrev (gul) V: Tilmeld nyhedsbrev (orange) Brugere Conversions CTR St. error Z-value P-value CTR forskel Kontrol ,30% 0, ,37% 0,000497, ,4 23,76% 48,9 Power Kontrol Konklusion +23,76% De foreløbige afprøvninger af A/B test på vores webplatforme har vist, at to lignende test på de forskellige platforme har produceret meget forskellige resultater. Derfor er det vigtigt at have konteksten og platformene for øje, når man udtænker og implementerer testscenarier. På seges.dk havde det en negativ effekt at implementere den orange CTA, hvorimod det havde en positiv effekt på LandbrugsInfo. Selvom man ikke kan sammenligne scenarierne har begge knapper til formål at få brugerne til at lave en aktion. Den overordnede konklusion er, at A/B test er et yderst brugbart værktøj til at teste designændringer inden de bliver implementeret, så vi sikrer, at de har en positiv effekt på brugerne. 5

Relaterede dokumenter

I forbindelse med afprøvningen af A/B test-metoden har vi testet forskellige opsætninger og designs af vores nyhedsbreve.

I forbindelse med afprøvningen af A/B test-metoden har vi testet forskellige opsætninger og designs af vores nyhedsbreve. Notat SEGES P/S Koncern Digital Afprøvning og optimering af nyhedsbreve med A/B test. Ansvarlig JUPO Oprettet 2-09-206 Projekt: 7464, Digitale relationer og datadreven informationsformidling] Side af 9