[리뷰,직업고찰] 데이터 분석에 대한 생각 - 비즈니스를 위한 실무 데이터 분석 (링크드인 펌)
데이터 분석가 하헌철 님의 링크드인 포스트 - 데이터 분석에 대한 생각.
NOTE
데이터 분석가 하헌철 님의 링크드인 포스트 데이터 분석에 대한 생각 (2022-05)에 매우 공감하며 남기는 리뷰. 혹시나 내려갈 수 있는 글이기에 전문도 같이 남겨 둔다.
- 어느덧 3년차, 이 글을 읽으며 이마를 오조오억번 쳤다.
- 1. 보고서의 숫자들과 결론들이 나오게 된 로직은 단순해야 한다. 아주 중요한 의사결정일 수록 더!
- 2. 데이터 ‘분석’하러 왔는데 이것까지 해야 해?! (🚨삐~ 오답!!🚨)
- 3. 엔지니어링 스킬은 다다익선. 완전공감! 근데 머리가 복잡한 이유는…
어느덧 3년차, 이 글을 읽으며 이마를 오조오억번 쳤다.
이 포스트는 시니어 레벨의 데이터 분석가로서
조직에서 데이터 분석은 무엇이며, 분석가의 역할과 일의 범위는 무엇인가에 대한 고찰을 일목요연하게 세 개의 포인트로 정리한 글이다.3년차에 접어드는 시점이라 그런지 한 글자 한 글자 너무 와닿았다. 대부분의 내용들이 몸소 겪으며 깨달은 것들이거나, 아직 해결단계에 막혀 고민중인 것들이다.
잠깐 딴소리 하자면, 신입~1년차에게 이 글과 같은 내용들을 꼭 온보딩 과정에 녹여주었으면 좋겠다. 데이터 분석가의 RnR이 산업,회사,조직,팀,리더 등에 따라 달라질 수 있겠지만, 일단!
조직에 기여하는 관점으로 일하1는 데이터 분석가가 되어야 한다는 점은 공통이자 본질이라 생각한다.
(‘월급 받고 일하니 조직에 무조건 기여하라고?’가 아니라, 이 관점으로 일을 바라볼 줄 알아야 결국 나도 성장할 수 있다고 생각한다. 나는 이 관점의 중요성을 스스로 크고 작은 시행착오로 깨달아야 했다..💦)입사초, 첫 사회생활에 쭈뼛거리는 것과는 별개로 데이터 분석가로 입사한 대부분의 친구들은 마음에 🔥불꽃🔥이 있기 마련이다. 이런 분석, 저런 분석 해보고 싶다! 혹은 이 분석은 OO방법론/OO모형 써서 해결해야지! 등등.
돌이켜 생각해 보면,무엇을보다는어떻게에 대한 기대가 더 크지 않았나 싶다. 이어떻게에 대한 현실과 이상에 괴리가 클 수록 개인에게 가혹한 회사생활이 된다 (초반에 내가 그랬다 ㅎㅎ).띠라서, 데이터 분석가의 역할을 반드시 비즈니스와 접목해야 함은 물론, 사내의 분석 요청자 (고객, 청자)의 니즈와도 접목할 줄 알아야 한다. 즉, What과 How 모두 ‘사용자 중심’이어야 한다는 것. 물론, 사용자가 원하는 방법보다 더 좋은 것이 있다면 통보가 아니라 설득의 과정이 필요할 수도 있고.. 이 역시 어떻게 보면 비효율적일 수 있지만, 더 나은 것을 더 낫다고 설득하는 것 또한 분석가의 역할인 것이다. 이렇게 사고를 전환하는 것이 정말, 정말 중요하다.
1. 보고서의 숫자들과 결론들이 나오게 된 로직은 단순해야 한다. 아주 중요한 의사결정일 수록 더!
부제: 그러니 “또 쿼리머신 하라고?!” 속상해 말고, 3W를 기억하자. (Zㅔ발~🙏🏼)
1번과 비슷한 경험이 있다. 컬리에서 퍼플박스를 론칭하고 난 후, ‘퍼플박스 구매여부에 따른 고객의 구매순증 효과’를 보고싶다는 것. 입사한지 얼마 안 된 새싹 데이터 분석가는 가슴이 뛰었다. 순증을 보는 문제이므로, 유사도 매칭 알고리즘으로 먼저 유사한 특성의 고객들을 매칭한 후 퍼플박스 구매시점 전후로 이 둘의 구매실적 차이가 유의미한지 통계적 검증을 하고, 플랏도 추가해야 겠다! 위와 같이 분석하고자 한다고 전달드렸으나 내가 생각한 반응이 아니었다. 그리고 원하는 분석방식까지 꽤 구체적으로 전달해 주시는 것 아닌가? 당시에는 두 가지 생각이 들었다. 이런 식으로 분석하면 나는 쿼리머신 그 이상도, 이하도 아니지 않나? 이에 따라오는 생각2. 왜 이렇게 하는 걸까? 가장 좋다고 생각하는 방법이 아니니 사실 보람도 적었던 것 같다.
결국 분석 리포트는 사업적 의사결정을 돕기위한 자료로 충실해야 한다. 그러므로 아래 세 가지를 먼저 생각하고 착수해야 한다. (마감기한은 너무나 당연하니 패스 ^_^)
- ✅ Who: 누가 사용할 자료인가? (예. 마케팅 조직장, 퍼플박스 발주담당 실무자 등)
- ✅ What: 무엇이 필요한가? (예. 엑셀시트에 주요지표 정리만, 인사이트 도출까지 등)
- 여기서 ‘적절한 분석방법’을 결정해야 한다.
- ✅ Why: 어디에, 어떤 용도로 쓰일 자료인가? (예. 단순참고용, 생산확장여부 결정용 등)
- 용도를 알면 결과물 완성도가 올라가고, 결과적으로 요청자-분석가 모두 직업만족도 상승!
퍼플박스 분석의 경우, (Who) 마케팅 조직장님이 (What) 퍼플박스 구매자의 미구매자 대비 매출 임팩트를 보고, (Why) 서비스 초중반에는 실적확인 및 라운드 테이블 보고, 성숙기에 접어들면 임팩트에 따라 생산지속/판촉여부를 결정하는 데 참고자료로 쓰기 위해 필요한 것이었다.
아.. 그때 이렇게 똑부러지게 물어봤으면 얼마나 좋았을까 싶다! ㅎㅎ
그때는 학교에서 배운 통계적 분석방법을 도대체가 쓸 데가 없다는 불만이 앞섰고, 필요한 데이터를 전달해 드렸지만 결국 내가 한 일은 쿼리 타이핑이 아닌가 하는 것에 씁쓸했던 것 같다. (1년차니까 귀엽게 추억으로…)
3년차 나에게 다시 그 일이 주어진다면 어떻게 할까?
다시 해보고 컨플런스에 V2를 남겨봐야 겠다.
2. 데이터 ‘분석’하러 왔는데 이것까지 해야 해?! (🚨삐~ 오답!!🚨)
앞서 데이터 분석은 데이터 제품 아니면 의사결정을 도와줄 보고서라고 했다. 그 말인 즉슨… 위 2가지 업무의 효과 및 효율을 끌어올리는 “분석 외 다른 모든 업무들” 또한 데이터 분석가의 일상업무에 포함될 수 있다는 이야기다.
- ✅ 깔끔한 고객행동로그 설계와 제작
- ✅ 어떤 분석이든 바로 유용하게 사용될 수 있는 데이터 마트를 위한 파이프라인 제작
- ✅ 데이터 관련 문서와 관리도구를 잘 정리하여 사용자의 데이터/정보 접근성과 활용성을 높이는 일
- ✅ 분석에 늘 쓰이는 오픈/클로즈드 소스 도구들을 제작/개선하여 코드 베이스에 기여하는 일 (엔지니어링 역량이 필요하지만 실제로 많이 쓰는 분석가야 말로 어떤 도구가 필요한지 정확히 알고 그것을 구현할 수 있음)
- ✅ 사업 관련 기본 지표들을 찾고 보고서를 자동생산 및 최적 매체 (이메일,메신저,웹 등)로 전달
- ✅ 데이터 품질을 관리하고 최적의 저장형태를 결정하는 일 (단순 테이블 저장조차도 정보가 동적인지, 정적인지에 따라 행,열 선택이 달라짐)
- 이 외에도 분석 자체는 아니지만, 분석업무의 효율을 끌어올리는 수많은 일들이 포함될 수 있다.
3. 엔지니어링 스킬은 다다익선. 완전공감! 근데 머리가 복잡한 이유는…
회사마다 인프라 및 분석가를 지원해주는 팀 & 시스템 상황이 다 다르기에… 소위 “데이터 분석가” 라는 직무는 일하는 모습과 업무경력이 표준화되어 있지 않고 상~ 당히 다르다.
엔지니어링 스킬은 다다익선이라고 한다.
전문 📄 펼치기
📄 데이터 분석에 대한 생각. 비지니스를 위한 실무 데이터 분석에 익숙하지 않은 분들을 위한 글입니다. 1. 데이터 분석가/과학자가 데이터를 가지고 뭔가를 해내는 건 결국 데이터 제품 아니면 의사결정을 도와줄 보고서다. 이 때 "의사결정을 도와줄 보고서" 의 경우 분석가에 대한 신뢰도가 100%라서 "말만해 그대로 따를게!" 라는 상황이 아닌 대부분의 경우, 당연하게도 그 보고서의 숫자들과 결론들이 나오게 된 로직을 충분히 이해하는 상황에서만 의사결정자들이 그 보고서의 결론에 기반하여 의사결정을 내리게 된다. 예를 들어 1천억 짜리 의사결정이 있다고 하자. 당신이 임원이고... 아주 신뢰하는 분석가가 내가 뭔지 잘 모르겠는 어떤 통계모델링에 기반해 A안으로 가는 것이 좋겠다고 한다면, 임원직 걸고 그 데이터만으로 의사결정하는 사람은 상상하기 힘들다. 중요하면 중요한 일일 수록... 사람들은 자기가 자기 머리를 가지고 온전히 이해할 수 있는 증거와 로직들을 찾은 뒤 결정을 내리고 싶어하기 마련이니까. 바로 이 점이 비지니스 현장에서 아주 중요한 결정일 수록 단순한 숫자들과 비율들, 사실들에 기반해서 결정되고 학계의 어썸한 최신 모델들에 기반해서 이루어지지 않는 이유다. (물론 대표님이나 임원분들이 데이터 분석가 출신이라면 이야기가 다를 것이다 ㅋㅋ) 2. 앞서 데이터 분석은 데이터 제품 아니면 의사결정을 도와줄 보고서라고 했다. 그 말인 즉슨... 위 2가지 업무의 효과 및 효율을 끌어올리는 "분석 외 다른 모든 업무들" 또한 데이터 분석가의 일상업무에 포함될 수 있다는 이야기다. (해당 업무에 특화되어 전문적으로 도와주는 분들이 없다면 당연히 분석가가 해야 한다) a. 깔끔한 고객행동로그를 설계하고 만드는 일. b. 어떤 분석에든 바로바로 유용하게 쓸 수 있는 스위스나이프 같은 만능 데이터 마트 및 빌드를 위한 파이프라인을 만드는 일. c. 데이터 관련 문서나 관리 도구를 잘 정리해서 누구나 어떤 정보가 어떤 테이블의 어떤 컬럼에 들어있는지 쉽고 빠르게 알 수 있도록 하는 일. d. 분석에 늘 쓰이는 오픈/클로즈드 소스 도구들을 만들고 개선하고 코드 베이스에 기여하는 일. (엔지니어링 재능이 필요하지만 실제로 쓰는 분석가야 말로 어떤 도구가 필요한지 정확하게 알고 가장 필요한 그 도구를 만들 수 있다) e. 사업 관련 기본 지표들을 찾아내고 보고서를 자동 생산 및 최적 매체 (이메일, 메신저, 웹... 기타 등등) 전달 자동화하여 분석가와 의사결정자들의 시간을 아끼고 휴먼 에러를 없애는 일. f. 데이터 품질을 관리하고 (데이터는 늘 오염된다) 최적의 저장형태를 결정하는 일 (단순한 테이블 저장조차도 어떤 정보가 동적으로 늘어나고 어떤 정보가 정적인지에 따라 행과 열 선택이 달라진다) ... 그 외에도 수많은 일들이 있다. 분석 본업같아 보이지 않아도, 꼭 필요한 일들이고 심지어 다른 모든 분석가들의 효율을 끌어올릴 수 있는 일들이다. 3. 회사마다 인프라 및 분석가를 지원해주는 팀 & 시스템 상황이 다 다르기에... 소위 "데이터 분석가" 라는 직무는 일하는 모습과 업무경력이 표준화되어 있지 않고 상~ 당히 다르다. "엔지니어링 스킬" 이 분석가에게 얼마나 필요한가요? 이 질문에 바로 대답이 나오지 않는 이유 중 하나다. 다다익선이긴 한데... 대충이라도 말해주기가 어렵다. 비슷한 질문으로는 통계 공부하는데 수학지식이 얼마나 필요할까요? 등이 있다 ㅋㅋ... 아무튼 시스템이 아주 잘되어 있는 곳에선 그냥 SQL과 엑셀, 도메인지식과 약간의 통계지식만으로 되는 곳도 있는 반면, 시스템이 없는 곳에서는 시각화 분석용 서버 세팅을 터미널에 붙어서 쉘 스크립트로 직접 처리하기도 한다. 심지어 서버 자체도 비용만 주고 머신이미지 기반으로 클라우드 서비스에서 직접 올리는 일도... 아 이건 생각해보니 요즘은 하도 잘되어 있어서 서버 인스턴스 띄우는게 별로 어려운 일은 아니긴 하다.
