APP푸시 효율 고도화 (1) - AB테스트 기획

Example Content 소개

“문구 A안과 B안 중 어떤 것으로 보내는 것이 더 좋을까요?”
일단 A안과 B안의 차이, ‘좋다’는 기준에 대해 먼저 얘기해 봐야겠군요!

프로젝트 목표

  • 앱푸시 중요
    • 잘 못 활용할 경우 (예. 지나치게 자주 보냄, 쓸 데 없는 정보, 낙시성 문구) 오히려 푸시 동의율을 떨어뜨리는 최악의 효과 가져옴
    • 따라서, 간결하면서 담고 있는 정보가 명확한 앱푸시 ➡️ 클릭과 구매전환 제고에 매우 중요
  • 앱푸시 효율의 극대화
    • 마케터의 감이 아닌 데이터를 기반으로, 더 효율적인 앱푸시 작성 공식을 찾을 수 없을까?
    • ‘테스트 할 내용’은 무엇이며, ‘효율’은 어떻게 판단할 것인지 문제를 구체화 해보자.

문제의 구체화

  1. [What to Test] 무엇을 A/B테스트 할 것인가?
  2. [Metric] 어떤 지표로 결과 측정할 것인가?
  3. [Length] 얼마 동안 테스트 할 것인가?

메타분석이 필요한 이유

메타분석이란
  • 같은 목적을 가지고 실행된 여러 독립적인 연구의 결과를 종합해서 전반적인 효과를 평가하거나 새로운 연구를 계획하는 데 필요한 결론을 얻는 통계적 분석방법이다 [1].
  • 목적이 같더라도, 실험 마다 표본의 크기, 대상자 등 실험 환경과 조건이 달라질 수 있으니까 이런 여러 연구들의 결과를 체계적, 합리적 방법으로 종합하는 것 매우 중요.
  • 따라서 여러 실험으로부터 얻은 p-value 혹은 검정통계량을 결합하고 가정을 검정해 보려고 한다.
  • 핵심: 같은 목적의 연구 -> 결과들 유의확률 결합 -> 종합적인 결론 내리기
분석 절차
  • 유의확률(p-value)의 동질성 검사
  • 유의확률의 결합

적용 결과와 성과

결과 (예시)
NameUpvotesDownvotes
Alice1011
Bob43
Charlie79
Totals2123
코드
성과
향후 개선점

프로덕트 센스: 조직/서비스의 서비스 정확히 이해 ➡️ 문제점 혹은 새로운 시도를 검증/트래킹 할 수 있는 방법 기획 & 적용 ➡️ 성과 대표적인 프로젝트 3가지 - 각각의 프로젝트에서 어떤 기술을 활용하여 어떤 방식으로 개발했는지 구체적으로 설명

프로젝트 진행 중 가장 기억에 남는 트러블 슈팅 경험


© 2021. All rights reserved.

-------Powered by Hydejack-------

Owned by POPLA0428