Beräkningsfunktion för A/B-tester för statistisk signifikans

Statistisk signifikans är viktig när du kör A/B-tester eftersom det säkerställer att resultaten stämmer och inte beror på slumpen. 

Samla in svar snabbt med hjälp av SurveyMonkeys beräkningsfunktion för A/B-testning ovan.

Med A/B-testning eller delad testning jämförs resultaten av två varianter – till exempel två produktkoncept eller två annonsmaterial – för att identifiera vilken variant som tilltalar målgruppen mest.

Forskare, CX-experter och marknadsföringsexperter använder A/B-tester för att testa små ändringar, t.ex. en ny webbplatsknapp eller designändring på hemsidan. A/B-testning ger direkt feedback och underlag för vilken variant du ska välja. 

I A/B-tester mäts med statistisk signifikans sannolikheten för att skillnaden mellan kontroll- och testversionen är verklig och inte beror på fel eller slumpen.

Om ni till exempel kör ett test med en signifikansnivå på 95 % kan ni vara 95 % säkra på att skillnaderna är verkliga.

Statistisk signifikans används för att observera hur olika ändringar påverkar ditt företags omvandlingsfrekvens. I enkäter används statistisk signifikans för att säkerställa resultatens tillförlitlighet. 

Om du till exempel frågade om folk föredrog annonskoncept A eller annonskoncept B i en enkät, skulle du vilja försäkra dig om att skillnaden i resultaten var statistiskt signifikanta innan du bestämmer vilket annonskoncept du ska använda.

Börja med att formulera en hypotes. För alla experiment finns det en nollhypotes, som anger att det inte finns något samband mellan de två saker du jämför, och en alternativ hypotes.

En alternativ hypotes försöker vanligtvis bevisa att det finns ett samband och stöder påståendet du försöker göra. 

Om du till exempel gör A/B-test för omvandlingsfrekvens kan dina hypoteser vara:

Efter att ha formulerat noll- och alternativhypoteser gör statistiker ibland tester för att försäkra sig om att deras hypoteser stämmer.

En z-poäng representerar konfidensnivå och utvärderar giltigheten hos din nollhypotes, som kan tala om för dig om det inte finns något samband mellan de saker du jämför. Ett p-värde anger om den evidens som du har för att bevisa din alternativa hypotes är stark eller inte.

Bestäm sedan om ditt test ska vara ensidigt eller tvåsidigt (kallas ibland en svans eller två svansar). Ett ensidigt test förutsätter att din alternativa hypotes har en riktningseffekt, medan ett tvåsidigt test tar reda på om din hypotes skulle kunna ha en negativ effekt på resultaten.

I exemplet med A/B-test för omvandlingsfrekvens kan testet vara:

Sedan samlar du in resultaten från ditt A/B-test, inklusive relevant statistik för både kontrollversionen (A) och testversionen (B). 

I vårt exempel kan resultatet av A/B-testet bli: 

Sedan beräknar du z-poängen som mäter hur långt de observerade resultaten är från nollhypotesen, för att avgöra om skillnaden mellan A och B är statistiskt signifikant. 

Dessutom kommer du att beräkna p-värdet, som anger sannolikheten för att den observerade skillnaden beror på slumpen. Ett mindre p-värde tyder på starkare evidens mot nollhypotesen. 

I vårt exempel:

Ange en signifikansnivå (alfa) för att fastställa statistisk signifikans. Detta sätts vanligtvis till 0,05 (5 %), vilket motsvarar den acceptabla risknivån för att felaktigt förkasta nollhypotesen.

Jämför sedan ditt p-värde med alfanivån. Om p-värdet är lägre än alfanivån förkastar du nollhypotesen och drar slutsatsen att skillnaden är statistiskt signifikant. 

I vårt exempel är p-värdet lägre än alfanivån, vilket innebär att en skillnad på 14 % är statistiskt signifikant.

Nu är det dags att tolka resultaten. Om du får signifikanta resultat tyder det på att den observerade skillnaden sannolikt inte beror på slumpen, vilket styrker den alternativa hypotesen. Icke-signifikanta resultat tyder på att det inte finns tillräckliga bevis för att förkasta nollhypotesen, vilket innebär att den observerade skillnaden kan bero på slumpmässiga variationer.

För den mest effektiva processen kan du använda beräkningsverktyg som:

Sammanfattningsvis kan vi säga att statistisk signifikans bekräftar resultaten av dina A/B-tester. Det är viktigt att använda statistisk signifikans för att kunna fatta välgrundade beslut baserade på A/B-tester.

Kolla in beräkningsverktyget längst upp på sidan för att automatiskt beräkna signifikansen av dina enkätresultat.