[코세라] 마케팅 데이터 분석방법 (by Meta) - 광고효과 평가하기
마케팅 데이터 분석방법 (by Meta) (3) 광고효과 평가하기
NOTE
메타에서 제공하는 강의 Data Analytics Methods for Marketing by Meta 리뷰 & 추가노트.
1. 광고/캠페인 성과측정에 필요한 것
- SMART goals 세우기
- S: Specific (구체적이고)
- M: Measuralbe (측정가능하고)
- A: Acheivable (실현가능하며)
- R: Realistic (현실적이고)
- T: Time-bound (기한이 정해진)
- KPI (Key Performance Index) 설정하기
- KPI는 광고/캠페인이 초기 목표에 맞게 가고 있는지 경과 (progress)를 측정하는 역할을 함
2. 광고효과를 측정하는 방법 : 대표적인 방법 2가지
- 실험 (Experimental method) – ⭐️강의 포인트
- 광고효과에 대한 실험 전, 모든 조건이 정해지며 세팅이 끝남
- 관심요인 외의 모든 조건은 동일함
- 키워드:
RCT(Random Controlled Trials),counter-factual outcome,incremental impact
- 관측 데이터 활용 (Observational method) – 🧐강의에서는 넘어감 (나의 석사 연구분야)
- 이미 데이터에 관심요인 외의 다양한 요인들이 결과에 개입됨
- 따라서, 결과의 차이가 교락효과에 의한 것일 수 있음
- 단, 인과추론 분야 (causal inference)에서 관측 데이터를 보정하여 인과적 결론을 내는 많은 연구들이 존재함 (해당 분야로 21년 노벨 경제학 수상한 Rubin 등 저명한 학자 다수)
실험으로 광고효과 측정하기
🔍 순서 : SMART goal ▶︎ Strong Hypothesis ▶︎ Test Hypothesis
- [Strong Hypothesis] 광고/마케팅 분야 강한 가설은 아래 요소 포함한다 :
- Who: 대상(audience)
- What: 대상의 행동
- Where: 장소
- When: 시점(time frame)
- Why: 그렇게 예상하는 이유(논리)
- 실험 가설:
- null & alternative hypothesis (H0, H1)
🔍 예시 1. SMART goal: 올해 온라인 매출 작년대비 20% 성장
2. Strong Hypothesis: 네덜란드 도시지역에 사는 35-44세 여성들은 우리의 크리스마스와 봄 홀리데이 시즌 캠페인에 더 잘 반응할 것이다. 왜냐하면 우리의 크리에이티브는 꽃을 선물하는 기쁨을 강조하고 있으며, 이는 해당 그룹에 어필되기 때문이다.
3. Test Hypothesis:
- H0: 전환율에는 차이가 없을 것이다.
- H1: 해당 시즌 위 그룹은 유의미한 전환율 우세(lift) 보인다. (양/단측 모두 가능)
수식으로 표현하자면,
- H0: diff = (p1-p0) = 0 vs. H1: diff > 0
주의할 점: Intention to Treat (ITT)
🔍 예시: A (대조군)-광고송출X vs. B (실험군)-광고송출O
이때, 연구자가 A/B그룹에 대상자를 랜덤하게 배정했다고 하더라도, B그룹 대상자들이 광고에 노출된다는 보장이 없다.
- WHY? 예를 들어, 사용자가 하필 실험기간 동안 페북을 사용 안 하는 경우.
- 이러한 사용자를 대조군으로 옮기는 것은 절대 취하면 안 됨.
랜덤화전제조건을 만족시켜야 하기 때문.
- 이러한 이유 때문에 잘 설계된 실험은 ITT을 사용한다.
- ITT: 대상자들이 무엇을 보고 행동하든 간에, 처음 할당된 그룹에 그대로 두는 것을 의미한다. 이는 잠재적인 편향효과를 줄여준다.
- 다른 예시로, 어떤 약을 복용하는 실험군 참가자는 먹기 싫어서 혹은 까먹어서 안 먹을 수도 있다. 하지만, 이런 행동과 ‘상관없이’ 모든 실험군 참가자들의 데이터가 결과를 내는 데 사용된다. (
bias발생) - 이렇게 생긴 편향으로 인해, 관측된 증분(incremental impact; 컬리에서
순증이라고 부르는 그것)은 참값보다 작을 수 있다.
실험결과 (simple ver.)
- 결과1. 실험 관측치 (the number of incremental results from the treatment)
- 결과2. 결과의 신뢰 측정 (%) (measure of confidence) : 해당 실험을 같은 조건에서 반복했을 때 같은 결과가 나올 가능성
🔍 참고1: (이 강의에서는 설명이 안 됐지만) 아래 3가지는 반드시 실험전 정해져야 한다.
- 표본수준 (Sample Size) $\n$.
- 유의수준 (Significant level) $\alpha$.
- 이 강의에서는 보통 90% 이상 = Good 이라는 것 보아, $\alpha = .1$ 하나봄.
- 검정력 (power) $1-\beta$.
🔍 참고2: (이 강의에서는 설명이 안 됐지만) 만약 실험결과가 유의미하지 않다고 나왔을 경우 (=
fail to reject H0), 두 가지 상황을 고민할 필요가 있다. (왜 H0를 기각할 만한 증거가 없다고 했을까?에 대한 고민)
* 1안. 정말 효과가 없기 때문이다.
* 2안. 효과는 있지만, 현재 실험조건으로 포착되기에는 그 크기가 너무 작기 때문이다.
▶︎ 이중 무엇이 맞는지 판별하기 위해서는 MDE가 관측치 (incremental result)를 충분히 잡아낼 수 있을 만큼 작은지 확인해야 한다.
▶︎ 만약 충분히 잡아낼 만큼 작다면 1안, 아니라면 2안이다.
▶︎ 2안의 경우, n을 충분히 늘려 재실험, 혹은 (n이 부족하거나 다시 실험할 만큼 중요한 비즈니스 문제 아닌 경우) 종료한다.
3. A/B 테스팅으로 최적화하기 (AB테스트 <> RCT)
- 마케팅에서의 A/B test는 RCT와 달리, 처치를 하지않는 대조군이 없다.
- 따라서, 대조군이 없는 AB테스트 ▶︎ 처치의 효과를 평가할 수는 없다.
- 예를 들어 A > B 라고 해도, A가 아무것도 안 하는 것에 비해 어느정도 효과적인 것인지 평가할 수 없다.
- 대신, A/B test는 (1) 두 가지 다른 처치의 효과를 비교하고 (2) 이중 최적의 선택지를 찾기 위해 실행한다. 이외의 것(랜덤화, 실험설계 및 결론도출 과정 등)은 RCT와 동일하다.
- 많은 회사에서 AB테스트를
test and learn approach로 사용한다.- i번째 AB테스트에서 우세한 옵션을 다시 baseline으로 두고 i+1번째 AB테스트를 진행하는 방식이다. (예. A < B ▶︎ B > C ▶︎ … sequential testing)
Single Cell, Multi-Cell and Nested Tests
Single-Cell: Ads vs. No adsMulti-Cell: “Which campaign generated the greatestincremental results?”- Ad A, Ad B vs. No ads
- incremental impact(result)는 대조군이 있어야 확인할 수 있다.
Nested(부모그룹 내 자식그룹이 내재된 구조) :- Get a baseline understanding of incrmt’l outcomes of your investment
- Measure incremt’l impact of subset of investment
- 예.싱싱해플라워샵
[Parent] Control그룹 (연단위(year-round)광고 X) vs.Test그룹 (연단위(year-round)광고 O)[Child; 연단위광고 Test그룹] Control그룹 (가을시즌 광고 X) vs.Test그룹 (가을시즌 광고 O)
- 주의. 너무 복잡한 디자인은 권장하지 않으며, 필요하다면 순차적인 실험 (sequential tests)을 하는 것이 더 바람직하다.
