[그로스해킹] A/B Test

- A/B 테스트란?

기존 서비스(A)와 새로 반영하고 싶은 서비스(B)를 통계적인 방법으로 비교하여, 새로 적용할 서비스가 기존 서비스 보다

실제 효과가 있는지 확인하는 테스트

 

주로 마케팅이나 웹 페이지 개선 작업 시에 많이 사용된다.

사용자의 행동에 영향을 미치는요소  하나만을 다르게 설정하고, 나머지 환경은 동일하게 설정한다.

당연한 말이지만 이 테스트가 효과적으로 이루어지면 새로운 서비스를 반영하여, 운영 서비스에 적용한다.

 

 

- A/B 테스트 단계

 

1. 가설 설정

먼저 대조군 서비스를 만들기 위하여 기존 서비스보다 효과가 좋을 것이라고 생각되는 가설을 설립한다.

주로, 과학적이고 통계적인 방법을 사용해서 참과 거짓으로 나눌 수 있는 가설을 설립한다.

가설은 구체적이고 정확한 문장형으로 설립하는 것이 좋다.

데이터를 분석하여 인사이트를 이끌어내어 보다 정확한 가설을 설립해야한다.

이 때, 사용 되는 분석 법 4가지가 있다.

 

· 휴리스틱 분석(Heuristic Analysis)

전문가가 이론과 경험을 근거로 하여 일련의 규칙을 만들어 놓고 평가 대상 웹사이트가 그러한 규칙들을 얼마나 잘 지키고 있는가를 확인하는 평가 방법이다.

 

· 테크니컬 분석(Technical Analysis)

A, B 서비스가 모든 기기, 모든 OS, 모든 환경에서 제대로 동작하는지를 확인하는 방법이다.

모든 환경에서 리소스를 향상 시키기 위해 해당 방법을 통해 최대의 퍼포먼스를 내는 지 확인한다.

 

· 디지털 행동 분석

분석을 위한 설정이 올바르게 되었는지를 확인하는 것이다.

데이터분석에 대한 구성이 올바르지 못하면, 데이터가 유의미하지 않을 수 있고, 데이터가 완전하지 않으며, 정확하지 않을 수 있다.

 

· 디지털 정정 조사

설문 조사 방법을 나타낸다.

이전 서비스는 경험자들에게 묻는 것이 가장 정확하다. 온라인 서베이나 이메일, 출구 조사 등의 방법으로 설문 조사를 진행하여 인사이트를 얻는다.

 

2. 목적 지표  설정

이전의 가설 설정 단계를 통하여 설립한 가설을 증명할 수 있는 측정 기준을 설정하는 단계이다.

가설 검정에 가장 직관적이면서 구하기 쉬운 지표로 설정하는 것이 좋다.

지표 측정의 대표 값은 평균, 중앙값, 최빈값 등을 사용한다.

지표 관련 분포는 히스토그램을 사용하는 것이 가독성을 높여준다.

가설에 따라 측정 기준은 한 가지 이상이 되는 경우도 있다.

 

몇 가지 예를 들면,

 

· 실질적 지표

사람의 만족도 같은 감정은 모호하여 기준이 되기 어렵다. 

또한, 실험을 통하여 나타날 수 없는 수치는 제외한다.

 

· 비율

CTR(Click through rate): 노출 대비 클릭률 같은 비율을 사용하는 것이 좋다.

 

3. 실험 설계 및 테스트

기존 서비스와 가설을 검증할 서비스의 실험 환경을 구축하고 실험한다.

실험 환경은 검증할 요소만 다르게 하고, 나머지 환경은 모두 동일하게 구성한다.

실험 환경이 구성이 되었으면, 실험군을 랜덤하게 골고루 배정해야한다.

그렇지 않으면 치우친 결과가 발생하기 때문이다.

 

4. 실험 결과 분석

목표 지표를 통하여 실험 결과를 분석한다.

분석하기 전, 확인 해야할 사항이 있다.

1) 대조군과 비교군의 크기가 동일한가?

2) 대조군과 비교군의 분포가 골고루 되어있는가?

를 확인 하고 목표 지표를 분석한다.

 

가설을 검정하는 방법은 다음과 같은 이론을 사용한다.

 

가설 검정 이론

- 귀무 가설: 새로운 서비스가 기존 서비스보다 효과가 덜 하거나 차이가 없다.
- 대립 가설: 새로운 서비스가 더 효과적이다.

 

가설검정을 통해 귀무가설을 기각하면 새로운 서비스를 운영에 반영한다.

 

가설 검정

- 유의 확률(p-value)

귀무 가설이 맞을 경우에 얻을 수 있는 결과보다 더 극단적인 값이 관측될 확률

p-value가 낮을수록 귀무 가설과 양립하는 데이터가 나타날 확률이 낮음

p-value가 작은 경우 귀무 가설을 기각함

p-value가 특정 값에 따라 값이 커지는 문제가 발생 할 수 있는데,

이는 통계적 유의성과 현실에서의 문제를 고려하여 의사를 결정함

 

- 유의 수준

일반적으로 0.05의 수치를 많이 사용한다.

유의 수준을 넘어가면 귀무 가설을 기각한다.

 

결과값 확인

- 이항 분포 상태 비교

이항 분포 : 매회 사건 x가 일어날 확률이 동일한 독립시행의 경우에 있어서 확률 변수 x가 따르는 분포

이러한 이항 분포 집단의 크기가 np>5, n(1-p)>5인지 확인

(이러한 수치는 일반적으로 정규 분포에 적용하기에 무난한 정도)

 

- 비교군의 지표에 대한 신뢰 구간을 구한 뒤 실험군의 지표의 크기가 신뢰 구간에 들어가는 지 확인

실험군의 지표의 크기가 신뢰 구간에 들어간다면 두 군이 유사하다는 의미

간단하게 독립 t-검정 등을 사용하여 유의성 및 차이 비교 가능

 

 

이러한 단계를 통하여 A/B 테스트를 진행하고, 결론적으로 귀무 가설이 기각되면 새로운 서비스를 반영한다.

 

나중에는 비슷한 데이터셋을 만들고, CTR을 이용하여 테스트를 진행해보는 내용을 추가해야겠다 !!!