Hopp til hovedinnholdet

Digital Fredag

Statistiske begreper i A/B testing

  • Statistisk signifikanse: Sannsynligheten for at forholdet mellom to eller flere variabler ikke er forårsaket av tilfeldigheter. 95% er det mest normale konfidensintervallet, noe som vil si at om du har en P verdi som er lavere enn 0.05 så er resultatet statistisk signifikant. Signifikanse sier kun noe om risikoen man er villig til å ta.
  • Type 1 feil: Man forkaster en sann nullhypotese (false positive). Du ser en effekt når det egentlig ikke er det.
  • Type 2 feil: Man forkaster ikke en falsk nullhypotese (false negative). Du ser ikke resultater selv om det er en effekt.
  • Statistical power: Sannsynligheten for å merke en effekt når det er en effekt å merke. 80% er et allmenn akseptert risikonivå.
  • Minimal Detectable Effect: Den minste effekten man har mulighet til å oppdage. Dette er ofte misforstått med den minste effekten man er «interessert» i å se, men dette blir feil. Ved en lavere MDE på si 1%, så vil du kreve et mye større trafikknivå enn om du har en MDE på 20%. Enkelt forklart sier MDE noe om sensitiviteten på en test, og i tester hvor endringen ikke er stor så vil det kreve mer trafikk for å påvise en eventuell endring. Les mer om MDE her.

Hvordan regner jeg ut hvor stort utvalg jeg trenger i forkant av en test?

Det enkleste er å bruke en sample size kalkulator. Størrelsen på utvalget ditt er avhengig av følgende faktorer:

1. Nåværende konverteringsrate
2. Minimum Detectable Effect: Den minste endringen i konverteringsrate som du ønsker å oppdage.
3. Statistisk signifikanse.
4. Statistical power.

Denne artikkelen gir deg en grunnleggende forståelse for de statistiske fellene man må ta høyde for i A/B testing.

Husk at statistikk forteller oss aldri noe om hva som er sant, alt statistikk kan gjøre er å gi deg feilrater.

VÅRE KUNDER ER FORNØYDE MED VÅR OMA - MODELL

Opplev Oslo

Opplev Oslo

INEVO bidro til at norges første konkurranse på blokkjede ble en suksess

Les suksesshistorien
Musti Norge

Musti Norge

Musti Norge har doblet fjorårets omsetning. Slik hjelper vi Musti å lykkes på nett!

Les suksesshistorien
Aswearenow.co

Aswearenow.co

Slik bistod vi AWAN (As We Are Now) med opplæring for å øke nettsalget med 300%

Les suksesshistorien