Ikke A/B test på Black Friday!

Høysesongen for netthandel er endelig her, noe som betyr mer trykk, mer trafikk, og flere konverteringer. A/B testing er avhengig av høye trafikknivå og et høyt volum konverteringer men A/B testing er langt i fra det lureste du gjør rundt shopping-høytidene. Hvorfor?

Årsak 1: Det koster å samle data!

Leser du fortsatt så er du mest sannsynlig kjent med hvordan A/B testing funker: Lik trafikkfordeling mellom kontroll og variasjoner, testvarighet på minst to business cycles osv. Om du A/B tester over Black Friday, Cyber Monday eller julen så vil du med en lik trafikkfordeling fortsette å sende trafikk til variasjoner som gjør det dårlig.

I A/B testing er det nemlig en lang exploration fase hvor du sender trafikk likt mellom kontroll og variasjoner før du får noe tydelig svar. Dette fører til at tiden du bruker på å utforske de forskjellige alternativene også vil føre til tapt potensiale da du fortsatt må sende trafikk til de dårligere versjonene, selv når en variasjon ser ut til å gjøre det bedre. Dette er i utgangspunktet en trygg modell men du kan gå glipp av potensielle salg i intense perioder som Black Friday. Så hva er egentlig alternativet?

Multi-armed Bandit Testing

Multi-armed bandit algoritmen kan enkelt beskrives slik:

• 10% av tiden splittes trafikken likt mellom kontroll og variasjoner (exploration fasen).
• For de resterende 90% av tiden, sender du trafikk til den versjonen som gir deg mest tilbake på det tidspunktet (exploitation fasen).(Kilde)

I forhold til A/B testing kan bandit testing virke kortsiktig, men er absolutt en test-strategi som er meget aktuell i kortere perioder med høyt trykk, og hvor du vet at du vil operere med irregulære trafikknivå og brukermønstre.

Tre fordeler med Bandit testing:

1. Earn while you learn. Den lange exploration fasen i tradisjonell A/B testing er ikke attraktiv i kortere perioder med høy aktivitet. I bandit tester maksimerer du på exploit fasen.
2. Automatisering. I en hektisk periode som Black Friday eller i jule-rushet er det fantastisk at algoritmen automatiserer optimaliseringen.
3. Bandit testing er brukt av følgende grunner: Den glidende overgangen fra exploration til exploitation er lønnsom, du har mulighet for høyere hastighet på testene da de kjøres i kortere perioder og optimaliseringen skjer automatisk.

(Kilde)

Årsak 2: Mye endrer seg rundt høytidene. De fleste nettbutikker kan forvente:

• Økning i nye besøkende og økning i nye trafikk-kilder.
• Økning i gj. ordreverdi og gj. produkter per handlekurv.
• Flere abandoned carts grunnet økt antall ukvalifiserte leads og deal hunters.
• Flere tekniske problemer grunnet drastisk økning i trafikk.
• Helt andre brukermønstre enn din “vanlige” trafikk.

Så trafikken din øker og du får flere folk inn, men er dette negativt for test-planen din?

Vel et kjent problem er “sample pollution”. De testene du gjør over black friday, cyber monday eller julen vil kanskje ikke være appliserbare i februar når det er tilbake til mer “normale” tilstander. Ideelt burde man sammenlikne høytid med høytid, men mye kan endre seg på ett år, og resultatene fra en A/B test er absolutt ikke konstante. De testene du gjorde i fjor kan til og med være helt ubrukelige i år. Derfor er det viktig å huske at om du skal teste noe, så er ikke målet å øke salget neste black friday, eller i februar basert på innsikten du har tilegnet deg. Målet er å øke antall salg raskest mulig.

Et godt A/B testing program gjenopptar tidligere tester & hypoteser for å re-validere, men dette er tidkrevende, og det er stor sannsynlighet for at A/B testene fra shopping-høytidene vil tape når ting er tilbake til “normalt”. Derfor risikerer du å kaste bort mye tid på tester som vil tape.

TL;DR: Du VIL bli påvirket av sample pollution, det vil være tidkrevende å revalidere A/B tester, og det er lav sjanse for at resultatene dine er appliserbare for normal-trafikken din.

Det beste rådet jeg kan gi til nettbutikker er å droppe A/B/n tester rundt kjente shopping-høytider og heller fokusere på Bandit testing.

Interessert i å lese mer om Bandit testing?

When to run Bandit Tests instead of A/B/n Tests – CXL
Holiday Testing Guide – CXL
Balancing Earning with Learning: Bandits and Adaptive Optimization – Conductrics

Usikker på hva du skal teste?

Start alltid i din egen data, det andre tester er kanskje ikke det viktigste for deg. ConversionXL har derimot samlet noen nyttige take-aways fra en session på twitter (#optichat).

Experts say that A/B tests with the biggest impact for the holiday rush are the ones that bust any fear, uncertainty or doubt a shopper might have. Types of tests to avoid during the holidays are any radical, structural changes that may break the site or slow performance (CXL)

Gode elementer å teste er altså:

• Value Propositions
• Urgency
• Promoterte kategorier
• Promoterte produkter
• USPs

Happy Black Week!