A/B Test

A/B Test 등 현상 분석 및 실험 설계 상 통계적으로
유의미함의 여부를 결정하기 위한 방법에는 어떤 것이 있을까요?

 

 

A/B Test 

A/B Test는 주로 UI나 특정 알고리즘의 효과를 사용자들이 어떻게 생각하는 지를 알아보기 위한 실험으로 기존 대조군 A안과 특정 요소를 변형하여 생성한 B안을 비교합니다. 특정 사용자에게는 A안이 보여지고, 나머지 사용자들에게는 B안이 표시되어 각 효과를 비교하는 것입니다. 

 

 

 

A/B Test에서 주의할 점 

 

• A/B Test를 통해서 어떤 가설을 검증할 것인지를 명확하게 설정해야 합니다. 
• 대조군과 실험군을 비교를 하기 위해서는 변화를 주는 조건 이외에 나머지 조건들은 통제를 해야 정확한 비교가 이루어질 수 있습니다. 
• 단순히 종속 변수의 변화를 비교하는 것 외에도 분포, 유의수준 등을 종합적으로 고려해야 우연에 의해 나온 결과가 아니라는 것을 입증할 수 있습니다. 
• A/B Test의 결과가 유의미하게 나왔다고 해서 이것이 절대적인 결과가 되는 것이 아니라, 시간의 변화, 시장의 변화, 유저의 변화 등 다양한 요인들에 의해서 다시 A/B Test를 진행했을 때에는 달라질 수 있음을 유념해야 합니다. 

 

 

 

신뢰할 수 있는 A/B Test 결과를 얻기 위한 방법 

 

일반적으로 가장 많이 사용되는 방법은 AA Test를 사용할 수 있습니다. 

 

AA Test

 

A/B Test를 수행하기 전에, 대조군과 실험군에 동일한 변화를 주고, 두 집간 단 차이가 있는지에 대한 여부를 먼저 판단하는 과정입니다. AA Test를 통해서 두 집단간 차이가 없다는 것을 증명할 수 있습니다. 위의 테스트를 통해서 두 집단 간 차이가 없다는 것을 증명한 이후에 A/B Test도 유의미한 결과를 가질 수 있습니다. 

 

 

 

 

 

Answer : 

A/B Test는 UI나 특정 알고리즘이 실제 효과가 있는지를 알아보기 위해 대조군과 실험군의 두 집단에서 해당 부분에 대해서만 차이가 있는 자료를 보여주고, 이것이 실질적으로 종속변수에 차이를 만들어낼 수 있는지 알아보는 실험입니다. 이를 위해서는 변화를 주는 요소 이외의 요소들은 제대로 통제가 되었는지 명확하게 확인을 해야 하며, 이 결과는 시간이 지나도 불변하는 것이 아닙니다. 

 

또한, 실험군과 대조군에서 실험 대상들은 차이가 없어야 하기 때문에, 이를 증명할 수 있는 AA Test를 통해서 먼저 두 집단간 차이가 없음을 보이고, A/B Test를 수행하는 것이 일반적인 절차입니다.