Kalkulator for AB-testing

Er resultatene deres statistisk signifikante?

Beregn den statistiske signifikansen

Besøkende

Konverteringer

Konverteringsrate

A

1.00%

B

1.14%

HypoteseEn tosidet test som tar høyde for muligheten for at varianten din kan ha en negativ påvirkning på resultatet.

SikkerhetHvor sikker du kan være på at resultatene dine ikke er tilfeldige.

Signifikant resultat!

Konverteringsraten for variant B, (1.14%), var 14% høyere enn konverteringsraten for variant B, (1%). Du kan være 95% sikker på at variant B vil prestere bedre enn variant A.

Effekt

86.69%

p-verdi

0.0157

Hva er statistisk signifikans?

I sammenheng med AB-testeksperimenter er statistisk signifikans sannsynligheten for at forskjeller mellom kontrollversjonen av eksperimentet og testversjonen ikke oppstår på grunn av feil eller tilfeldigheter.

Hvis du for eksempel gjennomfører en test med signifikansgrad på 95 % kan du være 95 % sikker på at forskjellene er ekte.

Det brukes ofte av bedrifter for å se hvordan eksperimentene påvirker bedriftens konverteringsrater. I spørreundersøkelser brukes statistisk signifikans ofte som en måte å sikre at du kan ha tillit til spørreundersøkelsesresultatene. Hvis du for eksempel spør folk om de foretrekker annonsekonsept A eller konsept B i en spørreundersøkelse, vil du være sikker på at forskjellen mellom resultatene er statistisk signifikant før du bestemmer deg for hvilken du vil bruke.

La oss gjøre regnestykket for deg. Få automatisert statistisk signifikans med et Advantage-abonnement. Se priser.

Slik regner du ut statistisk signifikans

Det første trinnet er å danne en hypotese. For ethvert eksperiment finnes det en nullhypotese, som sier at det ikke finnes noen sammenheng mellom de to tingene som sammenlignes, og en alternativ hypotese. En alternativ hypotese prøver vanligvis å bevise at et forhold finnes, og er utsagnet du prøver å underbygge. Hvis det er snakk om AB-testing av konverteringsrate vil hypotesen din kanskje innebære å legge til en knapp, et bilde eller en lenke til en side for å se om det påvirker konverteringsrater. Når du bruker spørreundersøkelser for konsepttesting, som i eksempelet over, vil hypotesen din kanskje innebære å teste forskjellige annonsevarianter for å se hvilken folk liker best.

Når statistikere har formulert nullhypotesen og den alternative hypotesen gjennomfører de ofte tester for å sikre at hypotesene holder vann. En z-score vurderer gyldigheten av nullhypotesen. Den kan fortelle deg om det faktisk ikke finnes noe forhold mellom tingene du sammenligner. En p-verdi forteller deg om beviset du har til å bevise den alternative hypotesen, er sterk.

Når du gjennomfører tester for statistisk signifikans er det lurt å bestemme seg for hvorvidt testene skal være ensidige eller tosidige. En ensidig test antar at den alternative hypotesen skal ha en retningseffekt, mens en tosidig test legger til rette for at hypotesen din kan få en negativ effekt på resultatene dine. Generelt sett er en tosidig test det mer konservative valget.

Selv profesjonelle statistikere bruker statistisk modelleringsprogramvare for å regne ut signifikans og testene som underbygger den, så vi trenger ikke å gå så dypt i det her og nå. Men hvis du kjører en AB-test, kan du bruke kalkulatoren øverst på denne siden for å regne ut den statistiske signifikansen til resultatene dine. Hvis du prøver å regne ut signifikansen til spørreundersøkelsesresultater, kan SurveyMonkey gjøre det for deg gratis.

Lurer du på hvorfor du ikke får signifikante resultater?

Prøv å sende en spørreundersøkelse til kundene deres for å finne ut hva de er på jakt etter.