Notat SEGES P/S Koncern Digital Afprøvning og optimering af nyhedsbreve med A/B test. Ansvarlig JUPO Oprettet 2-09-206 Projekt: 7464, Digitale relationer og datadreven informationsformidling] Side af 9 Dette notat er udarbejdet i forbindelse med arbejdspakke.3 i projektet Digitale relationer og datadreven informationsformidling. Formålet er at evaluere A/B test som metode til at afprøve og optimere indhold og design af forskellige elementer på nyhedsbreve udsendt gennem MailChimp. Testmetoden skal gøre os klogere på vores brugere og deres brugsmønstrer for derigennem at sikre, at den rette information kommer rettigdigt frem til landmanden. Afprøvning og optimering af nyhedsbreve med A/B test I forbindelse med afprøvningen af A/B test-metoden har vi testet forskellige opsætninger og designs af vores nyhedsbreve. På nyhedsbrevene har vi kørt fire forskellige tests med det formål at teste alt fra, hvad emnelinjen betyder for åbningsraten til, hvad designet betyder for klikraten (forholdet mellem antal visninger af et element og klik på elementet målt i %) Opsætning af kampagnerne Opsætningen for alle kampagnerne har været det sammen: 50% af brugerne bliver automatisk valgt ud til testen. 25% fik kontrol versionen 25% fik den nye version (Version ) Efter 4 timer blev den vindende kombination automatisk sendt ud til de resterende 50% Test Platform Område Beskrivelse Conversion rate Nyhedsbrev Emnelinje Seneste nyheder fra SEGES / Open rate: Kalvedødelighed halveret i nyt projekt 2 Nyhedsbrev CTA Tekst link / Knap Click rate: 3 Nyhedsbrev Indhold Én artikel / artikel + Click rate 4 Nyhedsbrev Design Gammel design / redesign Click rate:
Test : Emnelinje Den første test på nyhedsbrevene gik på emnelinjen. Vi havde opsat en hypotese, der sagde, at flere brugere ville åbne vores nyhedsbrev, hvis de på forhånd kunne danne sig et overblik over, hvad nyhedsbrevet handlede om. Test Mål Hypotese Versioner Resultat Evaluering Emnelinje At forbedre åbningsraten Ved at skrive titlen på nyhedsartiklen direkte i emnelinjen kan brugerne danne sig et overblik over indholdet med det samme, og de er derfor mere tilbøjelige til at åbne nyhedsbrevet. Kontrol: Seneste nyheder fra SEGES Version : Kalvedødelighed halveret i nyt projekt Testen viste modsat hypotesen, at brugerne var mere tilbøjelige til at klikke på den generiske overskrift og ikke den indholdsspecifikke overskrift. Derfor blev kontrol versionen sendt ud til de resterende brugere efter fire timer. Testen viser, at der er en signifikant forskel i åbningsraten, men at det er kontrollen, der har den bedste. Altså bør vi ikke skrive titlen direkte i emnefeltet, men derimod holde ved den generelle emnelinje. Dog bør testen køres flere gange for at udelukke, at det ikke er emnet i den givne test, der gør udslaget. Testdata Testnavn Emnelinje Kontrol: Seneste nyheder fra SEGES Segment Nyheder V: Kalvedødelighed halveret i nyt rådgivningsprojekt Ønsket forbedring 90% Brugere Conversions CTR St. error Z-value P-value CTR forskel Kontrol 92 5 78,65% 0,029575 Power 90 03 54,2% 0,03645-5,23208 0,000-3,07% 00% Kontrol 5-3,07% 2
Test 2: CTA Den anden test vi har kørt på nyhedsbrevene var på CTA-linket (linket fra nyhedsbrevet og videre til den bagvedliggende artikel). Hypotesen gik ud på, at flere brugere ville klikke videre til seges.dk, hvis der var en tydeligere markering af CTA-linket. Test Mål Hypotese Versioner Resultat CTA-link At forbedre klikraten Det fungerer bedre at have en CTA knap end at have en CTA tekst. Kontrol: Læs mere her link tekst Version : Læs mere her link knap Resultatet på testen afkræftede vores hypotese om, at det er mere sandsynligt at brugerne klikker på linket, hvis det er en knap fremfor ren tekst. Kontrol versionen blev derfor sendt til den resterende gruppe af modtagere. Evaluering Selvom testen viste et negativ resultat, kan det være en idé at køre testen flere gange, for at se om indholdet i nyhedsbrevet kan påvirke brugernes lyst til at klikke videre. Testdata Testnavn CTA Kontrol: CTA tekst link Segment Nyheder V: CTA knap link Ønsket forbedring 90% Brugere Conversions CTR St. error Z-value P-value CTR forskel Kontrol 94 9 9,79% 0,02340 Power 90 6 8,42 0,02047-0,46776 0,320-4,02% 4,4% Kontrol 9-4,02% 3
Test 3: Indhold Den tredje test vi lavede på nyhedsbrevene tog udgangspunkt i indholdet. Vi lavede en hypotese, der gik ud på, at det var mere sandsynligt at brugerne ville interagere med indholdet i nyhedsbrevet, hvis der også var relateret indhold i nyhedsbrevet. Derfor lavede vi to versioner af nyhedsbrevet. En, hvor der kun var den ene artikel og en, hvor der var relateret indhold. Test Mål Hypotese Versioner Resultat Evaluering Indhold At forbedre klikraten Brugerne vil interagere med nyhedsbrevet, hvis der er relateret indhold, til den overordnede artikel, da vi har større chance for at ramme noget de finder interessant. Kontrol: Én artikel Version : Artikel + relateret indhold Resultatet på testen bekræftede vores hypotese om, at brugerne ville interagere mere med nyhedsbrevet, hvis de blev præsenteret for relateret indhold fremfor kun den ene artikel. Den nye version blev sendt til den resterende gruppe af modtagere. Man bør forsat køre test på det relaterede indhold, for at finde ud af, hvilken slags indhold brugerne foretrækker. 4
Testdata Testnavn Indhold Kontrol: Artikel Segment Nyheder V: Artikel + relateret indhold Ønsket forbedring 90% Brugere Conversions CTR St. error Z-value P-value CTR forskel Kontrol 9 7 3,66% 0,03596 93 3 6,74% 0,0804,35933 0,087 83,79 67% Forbedring Kontrol 7 +83,79% 5
Test 4: Design Den fjerde test tog udgangspunkt i et totalt redesign et af vores nyhedsbreve, Kvægnyt. Udover at opdatere designet, så arbejdede vi også ud fra hypotesen, at ved at linke selvstændigt til hver enkel artikel fremfor kun til oversigten, så sparer vi brugerne for et klik, og brugerne får mulighed til at komme direkte ind til det indhold, de finder interessant. Test Mål Hypotese Versioner Resultat Evaluering Design At forbedre klikraten I det nye design er de enkelte artikler gjort klikbare, så brugerne kan komme direkte fra nyhedsbrevet til de artikler, der præcist har deres interesse, da vores hypotese er, at de øgede muligheder for direkte interaktion med indholdet vil få brugerne til at klikke mere. Kontrol: Gammel design Et link til oversigt over artiklerne på LandbrugsInfo Version : Redesign Link til hver enkel artikel på LandbrugsInfo + link til oversigten. Resultatet på testen bekræftede vores hypotese om, at brugerne ville interagere mere med nyhedsbrevet, hvis de kan klikke sig direkte ind på artiklerne fremfor at klikke sig ind på artikel oversigten. Den nye version blev sendt til den resterende gruppe af modtagere og det nye design er efterfølgende blevet implementeret. Efter det nye design er blevet implementeret kan man med fordel teste på længden af indholdsboksene, placering af CTA, og formuleringer i indholdsboksene. 6
7
8
Testdata Testnavn Design Kontrol: Gammelt design Segment Kvæg V: Nyt design Ønsket forbedring 90% Brugere Conversions CTR St. error Z-value P- value Kontrol 392 48 2,24% 0,06557 CTR forskel Forbedring 393 63 6,03% 0,08507,52449 0,064 30,92% 7,7% Kontrol 7 30,92% Konklusion De foreløbige afprøvninger af A/B test på nyhedsbrev har virkelig vist, hvor vigtigt det er at teste fremfor at antage. To test har givet ingen eller negative resultater og to har i højere eller mindre grad vist positive resultater. Det er dog kun i Test : Emnelinje, at resultatet med sikkerhed kan tilskrives en faktisk forskel mellem de to variationer og ikke vil kunne afvises med statistisk usikkerhed. Derfor er det nødvendigt at fortsætte med at teste nye scenarier for at få resultater, der kan bruges til at lave ændringer i nyhedsbrevene. 9