APP푸시 효율 고도화 (1) - AB테스트 기획
in Projects on Ab테스트, 앱푸시
Example Content 소개
“문구 A안과 B안 중 어떤 것으로 보내는 것이 더 좋을까요?”
일단 A안과 B안의 차이, ‘좋다’는 기준에 대해 먼저 얘기해 봐야겠군요!
프로젝트 목표
- 앱푸시 중요
- 잘 못 활용할 경우 (예. 지나치게 자주 보냄, 쓸 데 없는 정보, 낙시성 문구) 오히려 푸시 동의율을 떨어뜨리는 최악의 효과 가져옴
- 따라서, 간결하면서 담고 있는 정보가 명확한 앱푸시 ➡️ 클릭과 구매전환 제고에 매우 중요
- 앱푸시 효율의 극대화
- 마케터의 감이 아닌 데이터를 기반으로, 더 효율적인 앱푸시 작성 공식을 찾을 수 없을까?
- ‘테스트 할 내용’은 무엇이며, ‘효율’은 어떻게 판단할 것인지 문제를 구체화 해보자.
문제의 구체화
- [What to Test] 무엇을 A/B테스트 할 것인가?
- [Metric] 어떤 지표로 결과 측정할 것인가?
- [Length] 얼마 동안 테스트 할 것인가?
메타분석이 필요한 이유
메타분석이란
- 같은 목적을 가지고 실행된 여러 독립적인 연구의 결과를 종합해서 전반적인 효과를 평가하거나 새로운 연구를 계획하는 데 필요한 결론을 얻는 통계적 분석방법이다 [1].
- 목적이 같더라도, 실험 마다 표본의 크기, 대상자 등 실험 환경과 조건이 달라질 수 있으니까 이런 여러 연구들의 결과를 체계적, 합리적 방법으로 종합하는 것 매우 중요.
- 따라서 여러 실험으로부터 얻은 p-value 혹은 검정통계량을 결합하고 가정을 검정해 보려고 한다.
- 핵심: 같은 목적의 연구 -> 결과들 유의확률 결합 -> 종합적인 결론 내리기
분석 절차
- 유의확률(p-value)의 동질성 검사
- 유의확률의 결합
적용 결과와 성과
결과 (예시)
Name | Upvotes | Downvotes |
---|---|---|
Alice | 10 | 11 |
Bob | 4 | 3 |
Charlie | 7 | 9 |
Totals | 21 | 23 |
코드
성과
향후 개선점
프로덕트 센스: 조직/서비스의 서비스 정확히 이해 ➡️ 문제점 혹은 새로운 시도를 검증/트래킹 할 수 있는 방법 기획 & 적용 ➡️ 성과 대표적인 프로젝트 3가지 - 각각의 프로젝트에서 어떤 기술을 활용하여 어떤 방식으로 개발했는지 구체적으로 설명
프로젝트 진행 중 가장 기억에 남는 트러블 슈팅 경험