Kalkulator for AB-testing

I sammenheng med AB-testeksperimenter er statistisk signifikans sannsynligheten for at forskjeller mellom kontrollversjonen av eksperimentet og testversjonen ikke oppstår på grunn av feil eller tilfeldigheter.

Hvis du for eksempel gjennomfører en test med signifikansgrad på 95 %, kan du være 95 % sikker på at forskjellene er ekte.

Det brukes ofte av bedrifter for å se hvordan eksperimentene påvirker bedriftens konverteringsrater. I spørreundersøkelser brukes statistisk signifikans ofte som en måte å sikre at du kan ha tillit til resultatene fra spørreundersøkelser. Hvis du for eksempel spør folk om de foretrekker annonsekonsept A eller konsept B i en spørreundersøkelse, vil du være sikker på at forskjellen mellom resultatene er statistisk signifikant før du bestemmer deg for hvilken du vil bruke.

Det første trinnet er å danne en hypotese. For ethvert eksperiment finnes det en nullhypotese, som sier at det ikke finnes noen sammenheng mellom de to tingene som sammenlignes, og en alternativ hypotese. En alternativ hypotese prøver vanligvis å bevise at et forhold finnes og er utsagnet du prøver å underbygge. Hvis det er snakk om AB-testing av konverteringsrate vil hypotesen kanskje innebære å legge til en knapp, et bilde eller en lenke til en side for å se om det påvirker konverteringsrater. Når du bruker spørreundersøkelser for konsepttesting, som i eksempelet over, vil hypotesen kanskje innebære å teste forskjellige annonsevarianter for å se hvilken folk liker best.

Etter å ha formulert nullhypotesen og den alternative hypotesen, gjennomfører ofte statistikere tester for å sikre at hypotesene holder vann. En z-skår vurderer gyldigheten av nullhypotesen. Den kan fortelle deg om det faktisk ikke finnes noe forhold mellom tingene du sammenligner. En p-verdi forteller deg om beviset du har til å bevise den alternative hypotesen er sterk.

Når du gjennomfører tester for statistisk signifikans er det lurt å bestemme seg for hvorvidt testene skal være ensidige eller tosidige. En ensidig test antar at den alternative hypotesen skal ha en retningseffekt, mens en tosidig test legger til rette for at hypotesen kan få en negativ effekt på resultatene. Generelt sett er en tosidig test det mer konservative valget.

Selv profesjonelle statistikere bruker statistisk modelleringsprogramvare for å regne ut signifikans og testene som underbygger det, så vi trenger ikke å gå så dypt i det her og nå. Men hvis du kjører en AB-test, kan du bruke kalkulatoren øverst på denne siden for å regne ut den statistiske signifikansen til resultatene dine. Hvis du prøver å regne ut signifikansen til spørreundersøkelsesresultater, kan SurveyMonkey gjøre det for deg automatisk.