APP푸시 효율 고도화 (2) - 실험 결과 분석 및 종합하기
in Projects on Ab테스트, 앱푸시
Example Content 소개
###
| Name | Upvotes | Downvotes |
|---|---|---|
| Alice | 10 | 11 |
| Bob | 4 | 3 |
| Charlie | 7 | 9 |
| Totals | 21 | 23 |
APP푸시 효율 고도화 (3) - 메타분석으로 실험 결과 종합하기
“5번 실험을 했는데 이 중 세 번은 유의미한 것으로, 두 번은 아닌 것으로 나왔네요.”
그러자 협업을 하는 마케터 동료분이 나에게 물었다.
“유의미하게 나온 결과만 모아서 결론을 내리면 안 되나요?”
문제 상황
- 추가 실험이 필요한가?
- 충분한 실험을 했을 때, 유의미한 결과와 아닌 결과를 어떻게 합리적으로 결합할 것인가?
메타분석이 필요한 이유와 방법
메타 분석 (META analysis)이란?
- 실험자들이 아무리 같은 목적 (같은 가설)을 갖고 실험했다고 하더라도, 실험 마다 표본의 크기, 대상자 등 실험 환경과 조건이 달라질 수 있다.
- 이러한 차이로 인해, 어떤 실험들에서는 귀무가설이 기각된 반면, 다른 실험들에서는 기각되지 않을 수 있는 것이다.
- 따라서, 여러 독립적인 연구의 결과를 합리적으로, 체계적으로 종합하여 전반적 효과를 평가하거나 새로운 실험을 계획하는 데 필요한 결론을 얻는 작업이 필요한데, 이때 활용될 수 있는 통계적 분석방법이 메타분석이다.
분석 목표
메타분석을 통해 여러 실험으로부터 얻은 p-value를 결합한다.
결합 결과를 기반으로 가설을 검정하고 전반적 효과를 평가한다.
분석 과정
- 유의확률 (p-value)의 동질성 검사
- 서로 너무 다른 것들을 무조건 결합하면 결과를 오히려 왜곡할 수도 있다.
- 따라서 이 유의확률들이 서로 동질적인지 먼저 검토를 해야 한다.
동질적이라 할 수 있다면? 고정효과 모형 동질적이지 않다면? 랜덤효과 모형, 메타회귀 모형
- 유의확률의 결합
- 역카이제곱법 (inverse chi-square method)에 근거한 방법
적용 결과와 성과
결과 (예시)
- 가설 ‘내용’에 대한 실험 결과들이다.
| 회차 | 대조군 표본크기 | 실험군 표본크기 | p-value |
|---|---|---|---|
| 1 | 10 | 11 | 11 |
| 2 | 4 | 3 | 11 |
| 3 | 7 | 9 | 11 |
| 4 | 7 | 9 | 11 |
| 5 | 7 | 9 | 11 |
| 6 | 7 | 9 | 11 |
| 7 | 7 | 9 | 11 |
| Totals | 21 | 23 | 23 |
코드
성과
향후 개선점
프로덕트 센스: 조직/서비스의 서비스 정확히 이해 ➡️ 문제점 혹은 새로운 시도를 검증/트래킹 할 수 있는 방법 기획 & 적용 ➡️ 성과 대표적인 프로젝트 3가지 - 각각의 프로젝트에서 어떤 기술을 활용하여 어떤 방식으로 개발했는지 구체적으로 설명
프로젝트 진행 중 가장 기억에 남는 트러블 슈팅 경험
