A/B Test

Q. A/B Test 등 현상 분석 및 실험 설계 상
통계적으로 유의미함의 여부를 결정하기 위한 방법에는 어떤 것이 있을까요?

• A/B Test
  • 우선, A/B Test는 유저에게 A 버전과 B 버전을 무작위로 보여주고 어떤 버전이 더 나은지 실험하는 방법이다.
  • A/B Test를 하는 이유는 상관 관계로부터 인과관계를 찾아내기 위함이다. 인과관계를 찾아내야 원인에 해당하는 요소에 개입하여 결과를 우리가 원하는 방향으로 변화시킬 수 있기 때문이다.
• 만약 A버전의 전환율이 50% (10명 중 5명 전환)이고, B 버전의 전환율이 70% (10명 중 7명 전환) 라면, 두 버전의 차이가 정말 유의미할까?
  • 먼저 표본의 크기가 작기때문에 우연히 일어난 결과 차이일 수도 있다.
  • 표본을 늘려 p-value가 0.01 이하로 수렴하는 것을 확인하더라도, 버전 B를 서비스에 적용했을 때 99% 확률로 전환율이 증가할 것이라는 판단을 하기는 어렵다. 
  • p-value는 통계적 유의성 확보를 위한 도구이며, 실험 결과의 중요성을 평가하는 지표는 아니다.
• A/A Test
  • A/A Test는 실험 플랫폼의 신뢰도를 측정하는 방법으로, 보통 A/B Test 전 미리 진행한다.
  • 실험의 셋팅 자체는 A, B로 진행하지만, 동일한 콘텐츠와 기능을 노출함으로써 두 그룹의 전환율이 차이가 없는지를 확인하는 것을 목표로 한다.

 

Summary

• A/B 테스트는 유저에게 A, B 버전을 무작위로 보여주고 어떤 버전이 더 나은지 실험하는 방법으로, 상관관계로부터 인과관계를 찾아내기 위해 진행한다. A/B 테스트 이전, 실험 플랫폼의 신뢰도를 측정하는 방법으로 A/A 테스트를 진행할 수 있으며 두 그룹에 동일한 콘텐츠를 노출함으로써 두 그룹의 전환율의 차이가 없는지 확인하는 것을 목표로 한다.

 

Reference

https://boxnwhis.kr/2015/01/29/a_b_testing.html

https://brunch.co.kr/@positive-kim/139

https://brunch.co.kr/@aykim13/41

https://boxnwhis.kr/2016/04/15/dont_be_overwhelmed_by_pvalue.html