Digital Fredag

Statistiske begreper i A/B testing

  • Statistisk signifikanse: Sannsynligheten for at forholdet mellom to eller flere variabler ikke er forårsaket av tilfeldigheter. 95% er det mest normale konfidensintervallet, noe som vil si at om du har en P verdi som er lavere enn 0.05 så er resultatet statistisk signifikant. Signifikanse sier kun noe om risikoen man er villig til å ta.
  • Type 1 feil: Man forkaster en sann nullhypotese (false positive). Du ser en effekt når det egentlig ikke er det.
  • Type 2 feil: Man forkaster ikke en falsk nullhypotese (false negative). Du ser ikke resultater selv om det er en effekt.
  • Statistical power: Sannsynligheten for å merke en effekt når det er en effekt å merke. 80% er et allmenn akseptert risikonivå.
  • Minimal Detectable Effect: Den minste effekten man har mulighet til å oppdage. Dette er ofte misforstått med den minste effekten man er «interessert» i å se, men dette blir feil. Ved en lavere MDE på si 1%, så vil du kreve et mye større trafikknivå enn om du har en MDE på 20%. Enkelt forklart sier MDE noe om sensitiviteten på en test, og i tester hvor endringen ikke er stor så vil det kreve mer trafikk for å påvise en eventuell endring. Les mer om MDE her.

Hvordan regner jeg ut hvor stort utvalg jeg trenger i forkant av en test?

Det enkleste er å bruke en sample size kalkulator. Størrelsen på utvalget ditt er avhengig av følgende faktorer:

1. Nåværende konverteringsrate
2. Minimum Detectable Effect: Den minste endringen i konverteringsrate som du ønsker å oppdage.
3. Statistisk signifikanse.
4. Statistical power.

Denne artikkelen gir deg en grunnleggende forståelse for de statistiske fellene man må ta høyde for i A/B testing.

Husk at statistikk forteller oss aldri noe om hva som er sant, alt statistikk kan gjøre er å gi deg feilrater.

VÅRE KUNDER ER FORNØYDE MED VÅR OMA - MODELL

Skadedyrshop.no

Skadedyrshop.no

Slik økte vi organisk trafikk med 473%, og nye brukere med 567%.

Les suksesshistorien
EVO Fitness

EVO Fitness

Vi kuttet markedsføringskostnadene med 2 millioner kroner i fjor.

Les suksesshistorien
Lunehjem

Lunehjem

Vi økte konverteringsraten med hele 211 % på en måned.

Les suksesshistorien