A/B-testingkalkulator for statistisk signifikans

Statistisk signifikans er viktig når man gjennomfører A/B-testing fordi det viser at resultatet er pålitelig, og ikke oppsto ved en tilfeldighet. 

Få svar raskt ved å bruke SurveyMonkeys kalkulator for A/B-testing ovenfor.

A/B-testing, også kalt splitt-testing, sammenligner hvordan to forskjellige versjoner av noe appellerer til en målgruppe – for eksempel et produktkonsept eller en annonse – for å identifisere varianten de liker best.

Personer som utfører markedsundersøkelser og fagfolk innen markedsføring og kundeopplevelse, bruker A/B-testing for å teste små endringer, for eksempel nye knapper eller nytt design på nettstedet. Det gir direkte tilbakemeldinger og data som kan brukes til å bestemme hvilken variant man bør velge. 

I A/B-tester måler statistisk signifikans hvor sannsynlig det er at forskjellen mellom kontrollversjonen og testversjonen er ekte, og ikke skyldes feil eller tilfeldigheter.

Hvis dere for eksempel gjennomfører en test med signifikansgrad på 95 %, kan dere være 95 % sikre på at forskjellen er ekte.

Statistisk signifikans brukes til å finne ut hvordan eksperimenter påvirker virksomhetens konverteringsfrekvens. I spørreundersøkelser sørger statistisk signifikans for at resultatene er pålitelige. 

Hvis dere for eksempel ber folk indikere om de foretrekker annonsekonsept A eller B i en spørreundersøkelse, må dere være sikre på at forskjellen som fremgår av resultatet er statistisk signifikant, før dere avgjør hvilket konsept dere skal bruke.

Først må dere utforme en hypotese. I alle eksperimenter finnes det en nullhypotese, som sier at det ikke finnes noen sammenheng mellom de to tingene dere sammenligner, og en alternativ hypotese.

En alternativ hypotese prøver vanligvis å bevise at det finnes en sammenheng, og støtter påstanden i hypotesen dere utformer. 

Hvis dere for eksempel utfører en A/B-test for konverteringsfrekvens, kan hypotesene være:

Etter å ha formulert en nullhypotese og en alternativ hypotese utfører statistikere gjerne en test for å sørge for at hypotesene er solide.

Z-skår representerer konfidensgrad, og måler gyldigheten av nullhypotesen. Denne testen kan dermed avdekke om det finnes noen sammenheng mellom tingene dere sammenligner, eller ikke. P-verdi forteller om hvor sterke bevisene er for at den alternative hypotesen er riktig.

Neste trinn er å velge mellom ensidig og tosidig test (kalles noen ganger en-halet og to-halet). En ensidig test antar at den alternative hypotesen vil vise en effekt i én retning, mens en tosidig test tar høyde for at hypotesen også kan ha en effekt i motsatt retning.

I en A/B-test for konverteringsfrekvens kan testen for eksempel være:

Neste trinn er å samle resultatene fra A/B-testen, inkludert relevante måledata både for kontrollversjonen (A) og testversjonen (B). 

I eksempelet vårt kan resultater fra A/B-testen være: 

Deretter regner dere ut z-skåren, som måler hvor langt unna nullhypotesen de observerte dataene er, for å finne ut om forskjellen mellom A og B er statistisk signifikant. 

I tillegg regner dere ut p-verdien, som indikerer sannsynligheten for at den observerte forskjellen har oppstått ved en tilfeldighet. En mindre p-verdi antyder sterkere beviser mot nullhypotesen. 

I vårt eksempel:

For å finne ut om resultatet er statistisk signifikant, må dere først fastlegge en signifikansgrad (alfa). Denne er vanligvis satt til 0,05 (5 %), og representerer den akseptable risikoen for at nullhypotesen feilaktig blir forkastet.

Så sammenligner dere p-verdien med alfagraden. Hvis p-verdien er mindre enn alfagraden, kan dere forkaste nullhypotesen og konkludere med at forskjellen er statistisk signifikant. 

I eksempelet vårt er p-verdien mindre enn alfagraden, som betyr at forskjellen på 14 % er statistisk signifikant.

Nå er tiden inne for å tolke resultatene. Hvis resultatet er statistisk signifikant, indikerer det at den observerte forskjellen sannsynligvis ikke skyldes tilfeldigheter, noe som støtter den alternative hypotesen. Ikke-signifikante resultater tyder på at bevisene ikke er tilstrekkelige til å forkaste nullhypotesen, hvilket betyr at de observerte forskjellene kan skyldes tilfeldige variasjoner.

For å gjøre prosessen så effektiv som mulig bør dere bruke utregningsverktøy, for eksempel:

For å oppsummere – statistisk signifikans validerer resultatene fra en A/B-test. Når dere skal ta beslutninger basert på en A/B-test, er statistisk signifikans av avgjørende viktighet.

Bruk kalkulatoren på toppen av siden for å regne ut om resultatene fra spørreundersøkelsen deres er signifikante.