통계야 놀자 (2) 가설검정, 통계적 유의성, t검정

240605 Today I Learn

🚩 통계적 실험
어떤 목적을 가지고 관찰을 통해 측정값을 얻어내는 것. 제한된 환경에서의 관찰을 통해 확보된 사실을 바탕으로 제한된 결론을 내리고, 확률적 판단으로 제한된 결론을 내려 진실에 가까운 값 도출하는 것이 목적이다. 
통계적 실험은 일반적으로 '가설 수립 → 실험 설계 → 데이터 수집 → 추론 및 결론의 도출'의 단계로 진행한다.

A/B TEST 

💡 A/B TEST(버킷 테스트/ 분할 테스트)
두 가지 처리 방법 중 어떠한 쪽이 더 좋다라는 것을 입증하기 위해 실험군을 두 그룹으로 나누어 진행하는 실험

A/B Test의 목적 및 지표

• 목적
  • UI/UX 개선
  • 전환율 증가
  • 매출 증가

• 주요 지표
  • 서비스의 가입율
  • 재방문율
  • CTR(노출 대비 클릭율)
  • CVR(클릭 대비 전환율, 구매전환율)
  • ROAS(캠페인 비용 대비 캠페인 수익)
  • eCPM(1,000회 광고 노출당 얻은 수익)

A/B Test 프로세스

1. 현행 데이터 탐색 - 지금 어떤 상태인가?
2. 가설 설정 - KPI 증가를 위한 귀무, 대립 가설을 설정한다.
   • 귀무가설 : 현 상태. → '광고 배너의 크기를 키우면 기존과 차이가 없을 것이다.'
   • 대립가설 : 바꾸려고 하는 상태. 주장하고 싶은 명제 → '광고 배너의 크기를 키우면 기존과 차이가 있을 것이다.'
3. 유의수준 설정 - 얼마나 신뢰할지
4. 테스트 설계 및 진행 - 대조군(현재ver) vs. 실험군(새 ver.)
5. 테스트 결과 분석 - 유의미한 차이가 있는가?
   • 가설에 대한 두 그룹의 검정통계량을 분석해 유의미한 차이가 있는지 알아본다.

A/B Test 주의사항

• 표본의 크기가 적절해야함. 표본의 크기가 너무 적으면 유의미한 결과를 얻을 수 없다. 
• 하나의 변수만 변경해야함. 2개 이상의 변수를 동시에 변경하면 변수의 영향력을 정확히 파악할 수 없음
• 무작위로 선택된 사용자들에 대해 각기 다른 변수를 적용해야 함. 
• 적절한 통계적 분석 방법을 선택, 유의수준을 설정해야 함
• 테스트 결과가 실제로 의미있는 결과인지 생각해보아야 함. 
• 일정 기간동안 진행해야 함

	노출 분산 방식	사용자 분산 방식	시간 분할 방식
방법론	AB Test가 진행되는 페이지가 렌더링 될 때, 비율로 A와 B를 다르게 노출	사용자를 A, B그룹으로 분리해 고정적으로 다른 Variation을 노출	초~분 단위로 시간대를 세밀히 분할해 A, B안을 노출
특징	통계적 유의성이 가장 높지만, UI/UX의 경우 사용자에게 혼란을 줄 수 있음	사용자별로 고정된 UI/UX가 나오기 때문에 UI/UX테스트에 적합하나 특정 헤비 유저에 따라 결과값이 왜곡될 수 있음	보안, 설계상 문제로 분산 방식의 사용이 어려울 때, 상대적으로 쉽게 활용 가능
적합한 테스트 목적	알고리즘 테스트	UI/ UX 테스트	노출/ 사용자 분산 방식을 사용할 수 없는 경우 대안으로 활용

유의수준 설정하기

💡 중심극한정리
표본수집을 기반으로 한 추리통계에서 모집단의 분포가 어떤 모양이더라도 모집단의 크기가 충분히 크다면 표본평균의 분포가 모수 기반의 정규분포를 이룰 것을 가정한다. 이를 활용하면 수집한 표본의 통계량을 이용해 모집단의 모수를 추정할 수 있도록 한다.

유의수준

유의수준은 오류의 허용 범위로, 신뢰도와 반대의 개념이다. 즉, 귀무가설이 맞을때 어느정도의 오류를 허용할 것인지에 대한 기준이 된다. 유의수준은 보통 0.05(5%), 0.01(1%)로 설정하고, 이에 따라 신뢰도는 각각 95%, 99%가된다.

검정통계량과 p-value

💡 검정통계량
귀무가설을 채택, 또는 기각하기 위해 사용하는 확률변수*로 0~1 사이의 값을 갖는다.
* 확률변수 : 특정 확률로 발생하는 각각의 결과를 수치값으로 표현하는 변수

1. 검정방식 정하기

대상	연속형		범주형
검정 방식 및 검정 통계량	모집단의 분산을 알 수 없는 경우	모집단의 분산을 아는 경우	표본의 분산(상관관계 분석)
	Z검정 (Z-score)	T 검정(t-Score)	카이제곱검정 (x^2 value)	F검정 (F-value)

2. 검정통계량 계산하기

• 라이브러리 호출 - scipy.stats 사용
• t-test
• 카이제곱검정

3.  p-value 해석하기

💡 p-value 
p-value는 0이상 1이하의 값으로, 어떠한 사건이 우연히 발생할 확률이다. 

• p-value > 0.05 : 귀무가설(h1)을 기각한다.
• p-vaue < 0.05 : 귀무가설(h0)을 기각한다.