Hopp til hovedinnholdet

Digital Fredag

Statistiske begreper i A/B testing

  • Statistisk signifikanse: Sannsynligheten for at forholdet mellom to eller flere variabler ikke er forårsaket av tilfeldigheter. 95% er det mest normale konfidensintervallet, noe som vil si at om du har en P verdi som er lavere enn 0.05 så er resultatet statistisk signifikant. Signifikanse sier kun noe om risikoen man er villig til å ta.
  • Type 1 feil: Man forkaster en sann nullhypotese (false positive). Du ser en effekt når det egentlig ikke er det.
  • Type 2 feil: Man forkaster ikke en falsk nullhypotese (false negative). Du ser ikke resultater selv om det er en effekt.
  • Statistical power: Sannsynligheten for å merke en effekt når det er en effekt å merke. 80% er et allmenn akseptert risikonivå.
  • Minimal Detectable Effect: Den minste effekten man har mulighet til å oppdage. Dette er ofte misforstått med den minste effekten man er «interessert» i å se, men dette blir feil. Ved en lavere MDE på si 1%, så vil du kreve et mye større trafikknivå enn om du har en MDE på 20%. Enkelt forklart sier MDE noe om sensitiviteten på en test, og i tester hvor endringen ikke er stor så vil det kreve mer trafikk for å påvise en eventuell endring. Les mer om MDE her.

Hvordan regner jeg ut hvor stort utvalg jeg trenger i forkant av en test?

Det enkleste er å bruke en sample size kalkulator. Størrelsen på utvalget ditt er avhengig av følgende faktorer:

1. Nåværende konverteringsrate
2. Minimum Detectable Effect: Den minste endringen i konverteringsrate som du ønsker å oppdage.
3. Statistisk signifikanse.
4. Statistical power.

Denne artikkelen gir deg en grunnleggende forståelse for de statistiske fellene man må ta høyde for i A/B testing.

Husk at statistikk forteller oss aldri noe om hva som er sant, alt statistikk kan gjøre er å gi deg feilrater.

VÅRE KUNDER ER FORNØYDE MED VÅR OMA - MODELL

Kry

Kry

Les hvordan Kry fikk fart på den organiske veksten etter hjelp fra INEVO.

Les suksesshistorien
Venstre

Venstre

Les hvordan Venstre og INEVO skapte en digital strategi som bidro til et historisk valgresultat.

Les suksesshistorien
Ragn-Sells

Ragn-Sells

Les hvordan Ragn-Sells fikk rekordomsetning på nett ved hjelp av INEVO.

Les suksesshistorien