Beräkningsfunktion för A/B-tester

Är resultatet statistiskt signifikant?

Beräkna den statistiska signifikansen

Besökare

Konverteringar

Konverteringsgrad

A

1,00 %

B

1,14 %

HypotesEtt tvåsidigt test tar hänsyn till möjligheten att din variant kan påverka resultatet negativt.

KonfidensHur säker du kan vara på att resultaten inte är slumpmässiga.

Resultatet är signifikant.

Konverteringsgraden för variant B (1,14 %) var 14 % högre än konverteringsgraden för variant A (1 %). Det går att säga med 95 % säkerhet att variant B kommer att prestera bättre än variant A.

Styrka

86,69 %

p-värde

0,0157

Vad är statistisk signifikans?

När det gäller A/B-tester avser statistisk signifikans hur troligt det är att skillnaden mellan experimentets kontrollversion och testversion inte beror på något fel eller på slumpen.

Om du till exempel kör ett test med en signifikansnivå på 95 % kan du vara 95 % säker på att skillnaderna är verkliga.

Det används ofta inom företag för att se hur experiment påverkar verksamhetens konverteringsgrader. I enkäter används statistisk signifikans normalt som ett sätt att försäkra sig om att enkätresultatet är tillförlitligt. Om du till exempel frågar de svarande om de föredrar annonskoncept A eller annonskoncept B i en enkät, måste du vara säker på att skillnaden mellan resultaten är statistiskt signifikant innan du bestämmer vilket du ska använda.

Vi kan ta hand om siffrorna. Få automatiserad statistisk signifikans med en EXTRA-plan. Visa priser.

Beräkna statistisk signifikans

Det första steget är att utforma en hypotes. För varje experiment finns det en nollhypotes, som innebär att det inte finns någon relation mellan de två sakerna som du jämför, och en alternativ hypotes. En alternativ hypotes försöker normalt bevisa att det finns en relation och är det påstående som du försöker backa upp. Om det gäller A/B-testning för konverteringsgrad kanske hypotesen går ut på att lägga till en knapp, bild eller text för att se om det påverkar konverteringsgraden. När du använder enkäter för koncepttestning, som i exemplet ovan, kan hypotesen omfatta testning av olika annonsvarianter för att se vilken de svarande gillar bäst.

Statistiker som utformar nollhypoteser och alternativa hypoteser utför ibland tester för att kontrollera att deras hypoteser är korrekt formulerade. En z-poäng utvärderar hur giltig nollhypotesen är. Den kan tala om för dig om det i själva verket inte finns någon relation mellan sakerna som du jämför. Ett p-värde talar om för dig om bevisen för den alternativa hypotesen är starka.

När du gör tester för statistisk signifikans är det bra att bestämma om testet ska vara ensidigt eller tvåsidig (kallas ibland en svans eller två svansar). Ett ensidigt test förutsätter att förändringen bara kan gå i en riktning, medan ett tvåsidigt test används om förändringen kan gå i båda riktningarna. Ett tvåsidigt test är normalt det mest konservativa valet.

Även professionella statistiker använder program för statistiska modeller för att beräkna signifikans och testerna som backar upp det, så vi går inte närmare in på det här. Men om du kör ett A/B-test kan du använda beräkningsfunktionen längst upp på sidan för att beräkna den statistiska signifikansen för A/B-testets resultat. Om du vill beräkna signifikansen för enkätresultat kan SurveyMonkey göra det automatiskt åt dig.

Undrar du varför du inte får signifikanta resultat?

Prova med att skicka en enkät till era kunder för att ta reda på vad de vill ha.