Beräkningsfunktion för A/B-tester

I samband med A/B-tester är statistisk signifikans hur troligt det är att skillnaden mellan experimentets kontrollversion och testversion inte beror på fel eller är slumpmässigt.

Om du till exempel kör ett test med en signifikansnivå på 95 % kan du vara 95 % säker på att skillnaderna är verkliga.

Det används ofta inom företag för att se hur experiment påverkar företagets konverteringsfrekvens. I enkäter används statistisk signifikans normalt som ett sätt att vara säker på att man kan lita på enkätresultaten. Om du till exempel frågar de svarande om de föredrar annonskoncept A eller annonskoncept B i en enkät, måste du vara säker på att skillnaden mellan resultaten är statistiskt signifikant innan du bestämmer vilket du ska använda.

Det första steget är att utforma en hypotes. För varje experiment finns det en nollhypotes, som innebär att det inte finns någon relation mellan de två sakerna som du jämför, och en alternativ hypotes. En alternativ hypotes försöker normalt bevisa att det finns en relation och är påståendet som du försöker bevisa. Om det gäller ett A/B-test av konverteringsfrekvens kanske din hypotes går ut på att lägga till en knapp, bild eller text för att se om det påverkar konverteringsfrekvensen. När du använder enkäter för koncepttestning, som i exemplet ovan, kan din hypotes gå ut på att testa olika annonsvarianter för att se vilken de svarande gillar bäst.

När statistiker har utformat en nollhypotes och en alternativ hypotes, gör de ibland tester för att kontrollera att deras hypoteser fungerar. En z-poäng utvärderar validiteten av din nollhypotes. Den kan tala om för dig att det i själva verket inte finns någon relation mellan sakerna som du jämför. Med ett p-värde kan du se om bevisen du har för att bevisa din alternativa hypotes är starka.

När du gör tester för statistisk signifikans är det bra att bestämma om testet kommer att vara ensidigt eller tvåsidigt. Ett ensidigt test antar att din alternativa hypotes har en riktningseffekt, medan ett tvåsidigt test också tar hänsyn till om din hypotes kan ha en negativ effekt på dina resultat. Ett tvåsidigt test är normalt sett det mest konservativa valet.

Även professionella statistiker använder program för statistiska modeller för att beräkna signifikans och testerna som backar upp det, så vi går inte närmare in på det. Men om du gör ett A/B-test kan du använda beräknaren längst upp på sidan för att beräkna den statistiska signifikansen av dina resultat. Om du försöker beräkna signifikansen av dina enkätresultat kan SurveyMonkey göra det åt dig automatiskt.