최보경 : 실무자를 위한 인과추론 활용 - Best Practices
발표영상 https://youtu.be/wTPEZDc6fw4
---
PAP가 준비한 팝콘 시즌1에서 프로덕트와 함께 성장하는 데이터 실무자들의 이야기를 담았습니다.
---
PAP(Product Analytics Playground)는 프로덕트 데이터 분석에 대해 편안하게 이야기할 수 있는 커뮤니티입니다.
우리는 데이터 드리븐 프로덕트 문화를 더 많은 분들이 각자의 자리에서 이끌어갈 수 있도록 하는 것을 목표로 합니다.
다양한 직군의 사람들이 모여 프로덕트를 만들듯 PAP 역시 다양한 멤버로 구성되어 있으며, 여러분들의 참여로 만들어집니다.
---
공식 페이지 : https://playinpap.oopy.io
페이스북 그룹 : https://www.facebook.com/groups/talkinpap
팀블로그 : https://playinpap.github.io
2. 이 세션을 통해
인과추론이 비즈니스에 가져다 줄 수 있는 기회는 무엇이 있나요?
인과추론을 실무에 적용할 때 어려움은 어떤 것들이 있나요?
에 대해서 정보를 얻어가실 수 있습니다.
* 사례 위주로 이야기하는 세션으로
용어, 수식에 대한 상세 설명은 생략합니다
3. 발표자
최보경
콴다 데이터 분석가
PAP 커뮤니티 운영진
20년도부터 인과추론에 빠져서 재미있게 공부하는 중
이전 발표 : 스타트업에서의 인과추론, Causal Inference KR
인과추론 포스팅 : https://medium.com/bondata/causal-inference/home
4. 발표 배경
실무
인과추론의
위계
풀 수 있는
문제 유형과
사례 분석
실무에
적용할 때의
어려움
목차 실무자를 위한 인과추론 활용 : Best Practices
6. 스터디를 진행
PAP 커뮤니티 멤버분들과 3달간 인과추론 Advanced 스터디를 진행
스터디 주차별 구성
(2021.10 ~ 2022.01)
w/ 김가연님, 경윤영님, 안민재님, 허현님
§ Microsoft DoWhy Example Notebook (6주)
§ KDD2021 Tutorial – Industrial Use Cases
at TripAdvisor & Uber (2주)
§ 샘플 데이터 또는 실무 데이터에 적용해보기
(3주)
스터디 결과물 : DoWhy Gitbook
https://playinpap.gitbook.io/dowhy/
* DoWhy : 가장 Star가 많은 인과추론 라이브러리, Microsoft Research
7. 한 장으로 요약하면
간결한
DoWhy
인과추론 기법을 위한 가정들
기법 자체에 대한 이해의 어려움
사회과학 연구 관점에서 작성된
수많은 논문들
* DoWhy : 가장 Star가 많은 인과추론 라이브러리, Microsoft Research
8. 오갔던 이야기들
'DML?! 이거 이해하려면 6년 정도 공부하고 와야 할 것 같아요’
‘Ah…저는 수학을 못 하는 사람이었군요’
* DML : Double Machine Learning
9. 어려운 것은 우리만의 문제가 아니다
Challenges : Chicken and Egg Problem
A/B 테스트로 대답이 될 수 없는 실무의 질문들, 테스트가 불가능한 상황들이 존재해 배움의 필요성은 인지하지만..
Analysts / Research Producers
신뢰 가능한 숫자를 도출할 수 있을
정도로 인과추론에 대해
충분히 이해하지 못함
Consumers of Research
분석 결과에 대해서 심문하거나
이해할 수 있을 정도로 인과추론에
대해 충분히 이해하지 못함
출처 : How to Push Causal Inference in Industry?
두 측면은 서로를 강화시킴.
이해할 수 없는 숫자는 결국 간과된다. 굳이 인과추론 기법을 배울 Incentive가 없어지는 문제가 발생.
10. 실무자, 연구자들의 노력
출처 자료
해외 인과추론 라이브러리들 (Python, R)
해외 Data Council / KDD
해외 Causal Data Science 블로그 및 세미나 2021
국내 Summer Session on Causal Inference 2021
국내
세션 (DEVIEW…)
커뮤니티 (Causal Inference KR, PAP…)
해외, 국내 테크 블로그 (Microsoft, Uber, Netflix, NCSOFT…)
* 2021년 5월 기준 인과추론 라이브러리들 (출처 논문)
11. 실무자, 연구자들의 노력
출처 자료
해외 인과추론 라이브러리들 (Python, R)
해외 Data Council / KDD
해외 Causal Data Science 블로그 및 세미나 2021
국내 Summer Session on Causal Inference 2021
국내
세션 (DEVIEW…)
커뮤니티 (Causal Inference KR, PAP…)
해외, 국내 테크 블로그 (Microsoft, Uber, Netflix, NCSOFT…)
* 2021년 5월 기준 인과추론 라이브러리들 (출처 논문)
* 거인들의 어깨를 빌려
널리 내다보자.
* 비즈니스에 가져다 줄 수 있는
기회부터 확실히 알아보자!
제가 여태껏 몰래 올라탄 거인님들께
감사를 표합니다 ..
13. 인과추론의 Best Practice
01. 가능하다면 Randomization을 활용하라.
02. Randomization이 불가능하다면, Natural Experiment를 활용하는 것을 고려하라.
03. Natural Experiment를 활용하는 것이 어렵다면, Conditioning Method를 고려하라.
출처 : Amit Sharma – Causal Inference Tutorial , Session 13-2
* Microsoft
Principal
Researcher 의
슬라이드를 따름
14. 인과추론의 Best Practice
§ A/B 테스트와 같은 의미
§ 현업에서는 Agile한 A/B
테스트 파이프라인을
구축하는 데 최선을 다하자.
§ MAB, Uplift Modeling을
통해서 Randomization의
효율을 높여주거나
추가적인 가치를 더해줄 수
있다.
01 Randomization
§ 실험의 상황에 가까운
부분적인 데이터셋을 찾자는
관점 (As-if-random)
§ 관측되지 않는 변수
(Unobserved
Confounder)도 있으니, 다
통제할 수 없는 문제를 극복
§ 예 : 예전 A/B 테스트,
랜덤하게 적용된 정책, 처치에
가해진 외부 충격 등
02 Natural Experiment
§ 가정들을 기반으로
변수들을 통제하는 관점
§ DoWhy에서 5가지 방식
제공 (본래는 더 다양함)
03 Conditioning Methods
출처 : Session 13-2 , Natural Experiment , Conditioning-based
1. Matching and Stratification
(Propensity Score)
2. Weighting (Propensity
Score)
3. Regression
4. Doubly Robust
5. Synthetic Controls
* 처치 : 효과를 측정하고자 하는 변수, 실험 단위에 가하는
조건 (e.g. 프로모션, 기능 사용, 팝업 조회, 푸시 클릭)
15. 정리해보는
실무 위계
출처 : Amit Sharma – Causal Inference Tutorial , Session 13-2
01 Randomization
A/B test
Multi-Armed Bandits
02 Natural Experiments
Regression Discontinuity
Instrumental Variables
03 Conditioning
Stratification,
Matching Propensity Scores..
Get Additional Values from Randomization
+ Uplift Modeling
* 얼마나 더 신뢰 가능한가?
* 얼마나 더 어려운가?
* Microsoft DoWhy 관점이며, 다르게도 정의 가능함
(비교적 쉬움)
(비교적 어려움)
(비교적 타당함)
(비교적 타당하지 않음)
17. 문제의 유형
문제 데이터 형태 방법론
A/B 테스트를 진행해도, 유저가 처치를 받지 않을 수 있다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
실험 도구변수 (Instrumental Variables)..
비용이 수반되는 A/B 테스트를 진행했다.
어떤 유저에게서 가장 처치의 효율을 극대화할 수 있을까?
실험 업리프트 모델링 (Uplift Modeling)..
A/B 테스트를 진행하지 않았다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
관측 이중차분법, 매칭 (DID, Matching)..
* 처치 : 효과를 측정하고자 하는 변수, 실험 단위에 가하는 조건 (e.g. 프로모션, 기능 사용, 팝업 조회, 푸시 클릭)
* 데이터 형태 실험(Experimental Data) : 처치가 있고 나머지는 통제된 실험군, 대조군 집단의 데이터
* 데이터 형태 관측(Observational Data) : 처치와 통제가 없이 그저 관측된 집단의 데이터
여러 문제 중 현업에서 경험해본 문제 위주로 선택함
18. 다시 보는
실무 위계
출처 : Amit Sharma – Causal Inference Tutorial , Session 13-2
01 Randomization
A/B test
Multi-Armed Bandits
02 Natural Experiments
Regression Discontinuity
Instrumental Variables
03 Conditioning
Stratification,
Matching Propensity Scores..
Get Additional Values from Randomization
+ Uplift Modeling
* 얼마나 더 신뢰 가능한가?
* 얼마나 더 어려운가?
* Microsoft DoWhy 관점이며, 다르게도 정의 가능함
(비교적 쉬움)
(비교적 어려움)
(비교적 타당함)
(비교적 타당하지 않음)
방법론
도구변수 (Instrumental Variables)
업리프트 모델링 (Uplift Modeling)
이중차분법, 매칭 (DID, Matching)
19. 문제의 유형
문제 데이터 형태 방법론
A/B 테스트를 진행해도, 유저가 처치를 받지 않을 수 있다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
실험 도구변수 (Instrumental Variables)..
비용이 수반되는 A/B 테스트를 진행했다.
어떤 유저에게서 가장 처치의 효율을 극대화할 수 있을까?
실험 업리프트 모델링 (Uplift Modeling)..
A/B 테스트를 진행하지 않았다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
관측 이중차분법, 매칭 (DID, Matching)..
* 처치 : 효과를 측정하고자 하는 변수, 실험 단위에 가하는 조건 (e.g. 프로모션, 기능 사용, 팝업 조회, 푸시 클릭)
* 데이터 형태 실험(Experimental Data) : 처치가 있고 나머지는 통제된 실험군, 대조군 집단의 데이터
* 데이터 형태 관측(Observational Data) : 처치와 통제가 없이 그저 관측된 집단의 데이터
여러 문제 중 현업에서 경험해본 문제 위주로 선택함
방법론 01 도구변수 (Instrumental Variables)
A/B 테스트를 진행해도, 유저가 처치를 받지 않을 수 있다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
KDD 2021 TripAdvisor 사례
2021 Roblox 사례
사례 분석 : 문제 정의 – 활용 방식 – 활용 결과
인과추론 배경 지식이 있다? 출처 자료들을 보며 활용 방식에 대해 공부
인과추론 배경 지식이 없다? 문제 정의, 활용 결과만 잘 이해하고 가기
20. KDD 2021 TripAdvisor 사례
문제 정의
TripAdvisor의 멤버십에 가입하는 것이 유저의 관여도를 증가시킬까? (메트릭: 체류시간, 방문일수)
어떤 종류의 유저에게 TripAdvisor 멤버십 가입이 가장 효과적인가?
활용 방식 Recommendation A/B Test, Doubly Robust Instrumental Varible (DRIV) with EconML
활용 결과
멤버십 가입이 1.12배 관여도 증가.. 아이폰 유저와 예약 페이지를 방문한 멤버십 가입 유저가 관여도가
훨씬 더 높음을 발견, 해당 유저들을 대상으로 멤버십 가입 유도 기회를 모색하기 위해 전략을 구상
출처 : KDD 2021 Slides / ALICE Paper (Microsoft Research x TripAdvisor 협업한 사례임) / Notebook
활용 난이도
어떤 종류의 유저에게 가장 효과적인가?
멤버십 프로그램이 효과적인가? YES
21. 문제 정의 : 일반적인 방법론 적용이 불가능한 이유?
1. 멤버십 가입 유저 vs 멤버십 미가입 유저의 체류시간 비교할 경우? Confoundedness 이슈 발생
2. A/B 테스트 진행할 경우? Imperfect Compliance 이슈 발생
Confoundedness
§ 멤버십에 가입한 유저는 가입하지 않은 유저보다 서비스에 대한
유저의 선호도(User Affinity)가 본래 높을 것
§ 서비스에 대한 유저의 선호도가 높으면, 체류시간도 높을 것
Imperfect Compliance
§ A/B 테스트에서의 처치가 ‘멤버십 가입’이라고 했을 때,
랜덤하게 추출된 일부 유저에게 멤버십에 가입하도록 강제할
수 없음
§ 이 문제는 현업에서 빈번함. 유저가 참여 여부를 결정할 수
있는 이벤트의 경우 이 문제가 발생
출처 : KDD 2021 Slides / ALICE Paper / Notebook
22. 활용 방식 : Recommendation A/B 테스트
개념
다른 목적을 위해 진행되었던 A/B 테스트의 실험군, 대조군 할당
여부를 도구 변수로 활용해 알고자 하는 인과관계를 추정할 수 있게 함
특성
§ Imperfect Compliance의 극복 방법
§ 도구변수의 기능? 도구변수를 통해서 원인 변수에서
내생성(Confoundedness, Selection Bias, Error Term과
관계를 가짐)을 가지는 부분을 잘라내고, 외생성을 만족하는
부분으로만 결과 변수를 예측하는 메커니즘
어떤 A/B 테스트?
§ 가설 : 새롭고 더 빠른 멤버십 회원가입 과정이 유저의 리텐션을
향상시키는가? (목표 지표 : 유저 리텐션)
출처 : KDD 2021 Slides / ALICE Paper / Notebook
도구변수
원인변수
원인변수
참고 : 도구변수 설명 블로그
실험군
대조군
23. 활용 방식 : 도구변수의 조건들
1. Relevance : 도구변수(실험군 할당 여부)는 독립변수(멤버십 가입 여부)에 충분히 영향을 주어야 함
2. Exclusion Restriction : 도구변수(실험군 할당 여부)는 독립변수(멤버십 가입 여부)를 통해서가 아닌 다른
경로로 결과변수(유저 관여도)에 영향을 주지 않음
3. Exogenity : 도구변수(실험군 할당 여부)와 결과변수(유저 관여도)에 둘다 영향을 주는 교란변수가 없음
도구변수에 이 예시처럼
Randomness가 있다면?
Golden Standard로 위 가정들(1
제외)을 만족하고, 부분적일 수
있는 인과효과(LATE)를 전체로
일반화할 수 있게 됨(ATE)
참고 : 도구변수 설명 블로그
출처 : KDD 2021 Slides / ALICE Paper / Notebook
도구변수 독립변수
결과변수
알고 싶은 인과관계
교란변수
내생성 제거
24. 2021 Roblox 사례
출처 : Causal Inference Using Instrumental Variables
문제 정의
아바타 샵에서의 체류시간이 커뮤니티 활동에서의 체류시간에 어떤 영향을 주는가?
(A/B 테스트 어려운 요인 : 아바타 샵이 유저 경험에서 중요해서 일부 유저에게서 배제하는 것은 불가능,
Buyer & Seller 있는 Marketplace라 서로 영향 주고 받음)
활용 방식 Recommendation A/B Test, 2SLS (2-Stage Least Squares Regression)
활용 결과
아바타 샵에서의 체류시간이 1% 증가할수록, 커뮤니티 활동에서의 체류시간이 0.08% 증가함
또한 1주 이내로 가입한 신규 유저에게서 더 큰 임팩트가 보임
활용 난이도
25. 활용 방식 : Recommendation A/B 테스트 (Roblox)
출처 : Causal Inference Using Instrumental Variables
어떤 A/B 테스트?
§ 1년 전에, 아바타 샵에 “Recommended for you” 라는 피쳐를 추가해서 A/B 테스트 진행
§ “Recommended for you” 피쳐는 아바타 샵 체류시간에 큰 증가 효과를 줬음 (F-stat > 15000)
“Recommended for you” 실험 여부(Z)는 도구변수의 조건들을 모두 만족하기에, 아바타 샵 체류시간(X)이
커뮤니티 체류시간(Y)에 가지는 인과적 관계를 Direct A/B 테스트가 아닌 방식으로도 추정할 수 있게 되었음.
알고 싶은 인과관계
(도구변수로) 내생성 제거
26. 문제의 유형
문제 데이터 형태 방법론
A/B 테스트를 진행해도, 유저가 처치를 받지 않을 수 있다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
실험 도구변수 (Instrumental Variables)..
비용이 수반되는 A/B 테스트를 진행했다.
어떤 유저에게서 가장 처치의 효율을 극대화할 수 있을까?
실험 업리프트 모델링 (Uplift Modeling)..
A/B 테스트를 진행하지 않았다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
관측 이중차분법, 매칭 (DID, Matching)..
* 처치 : 효과를 측정하고자 하는 변수, 실험 단위에 가하는 조건 (e.g. 프로모션, 기능 사용, 팝업 조회, 푸시 클릭)
* 데이터 형태 실험(Experimental Data) : 처치가 있고 나머지는 통제된 실험군, 대조군 집단의 데이터
* 데이터 형태 관측(Observational Data) : 처치와 통제가 없이 그저 관측된 집단의 데이터
여러 문제 중 현업에서 경험해본 문제 위주로 선택함
방법론 02 업리프트 모델링 (Uplift Modeling)
비용이 수반되는 A/B 테스트를 진행했다.
어떤 유저에게서 가장 처치의 효율을 극대화할 수 있을까?
KDD 2021 Uber Eats 사례
2020 DoorDash 사례
사례 분석 : 문제 정의 – 활용 방식 – 활용 결과
27. KDD 2021 Uber Eats 사례
문제 정의
우버 이츠가 광고주로서 광고를 어떤 유저에게 내보내야, 주어진 예산 하에서 최적의 Performance를 낼
수 있을까? (메트릭: 매출 차원)
활용 방식 Uplift Modeling with CausalML
활용 결과
(예상) 상위 60%의 Uplift Score 를 가지는 유저를 대상으로 타겟팅했을 때, 예산을 40% 줄이면서 수익
효율을 67% 증가시킬 수 있을 것 -> (실제) 온라인 실험 진행시 예산 46% 줄이며, 수익 기준 ROAS
93% 증가함
출처 : KDD 2021 Tutorial * Uplift Score = P(outcome | treatment, x) – P(outcome | no treatment, x)
활용 난이도
28. 활용 방식 : Uplift Modeling 이해하기
개입 여부, 구매 여부로 2x2 매트릭스를 구성
효율을 극대화하기 위해 집중해야 할 세그먼트가 존재함
§ Persuadables(설득 가능)는 개입함
§ Defier(청개구리)는 개입하지 않음
§ Never-taker(무관심), Always-taker(잡은
물고기)는 비용 대비 임팩트를 내기 어려운
세그먼트이므로 비용이 드는 개입은 하지 않음
출처 : KDD 2021 Tutorial / Uplift Modeling 의 기본 소개하는 블로그
광고를 봤을 때(개입 O)
광고를 안 봤을 때(개입 X)
우버이츠 구매 X
우버이츠 구매 X
우버이츠 구매 O
* 개입 : Intervention, 즉 처치가 가해지는 것을 의미
29. 활용 방식 : Uplift Modeling 메커니즘
출처 : KDD 2021 Tutorial, Uber CausalML
§ 인과 효과(증분, Uplift Score)을 모델링
§ A/B 테스트를 통한 실험 데이터를 Input으로 받아서 사용하기 때문에, A/B 테스트로 캠페인의 효과를 비교하는
것에 그치지 않고 실제 Business value를 극대화해줄 수 있는 기법 (관측 데이터를 실험, 대조로 구성할 시 가능)
§ 데이터를 계층화(stratify)하고, 각 계층(strata) 내에서 평균 처치 효과(CATE) 를 머신러닝을 통해 추정함
* Uplift Score = P(outcome | treatment, x) – P(outcome | no treatment, x)
Uplift Modeling in Practice (진행 절차)
30. 활용 결과 : Offline Evaluation → Online Evaluation
Uplift Score(X)가 상위 60%인 유저까지만,
Gain(Y)이 가장 높은 기울기로 증가.
(이 세그먼트까지 타겟팅시 예산을 40% 줄이면서
수익 효율을 67% 증가시킬 수 있을 것으로 예상)
출처 : KDD 2021 Tutorial
실제로
온라인 실험 진행시 예산 46% 줄이며, 수익
기준 ROAS 93% 증가하였음
* Uplift Score = P(outcome | treatment, x) – P(outcome | no treatment, x)
31. 2020 DoorDash 사례
문제 정의 이탈 유저에게 할인을 제공하는 프로모션 캠페인을 더 개인화할 수 있을까?
활용 방식 Uplift Modeling with LightGBM
활용 결과
모델의 결과로, 프로모션에 cost-effectively하게 반응하는 세그먼트를 발견. 해당 세그먼트에게만
프로모션을 집행했을 때 프로모션 비용을 33% 감소시킬 수 있음을 확인.
출처 : Leveraging Causal Modeling to Get More Value from Flat Experiment Results
X축 : 전체 대비 프로모션 audience reach
Y축 : 수익 대비 프로모션 비용(Cost per incremental delivery)
활용 난이도
* DoorDash : Food Delivery Service
32. 문제의 유형
문제 데이터 형태 방법론
A/B 테스트를 진행해도, 유저가 처치를 받지 않을 수 있다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
실험 도구변수 (Instrumental Variables)..
비용이 수반되는 A/B 테스트를 진행했다.
어떤 유저에게서 가장 처치의 효율을 극대화할 수 있을까?
실험 업리프트 모델링 (Uplift Modeling)..
A/B 테스트를 진행하지 않았다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
관측 이중차분법, 매칭 (DID, Matching)..
* 처치 : 효과를 측정하고자 하는 변수, 실험 단위에 가하는 조건 (e.g. 프로모션, 기능 사용, 팝업 조회, 푸시 클릭)
* 데이터 형태 실험(Experimental Data) : 처치가 있고 나머지는 통제된 실험군, 대조군 집단의 데이터
* 데이터 형태 관측(Observational Data) : 처치와 통제가 없이 그저 관측된 집단의 데이터
여러 문제 중 현업에서 경험해본 문제 위주로 선택함
방법론 03
DiD(Difference-in-Differences) / Matching
A/B 테스트를 진행하지 않았다.
이 때 처치의 효과를 어떻게 확인할 수 있을까?
발표자 경험 사례
Microsoft DoWhy 샘플 노트북 사례
사례 분석 : 문제 정의 – 활용 방식 – 활용 결과
33. 자주 마주치는 문제
여러 방식들으로 풀 수 있지만, Industry Survey(2021)에 따르면 실험 > DiD(이중차분법) > Matching > IV 순으로
사용이 많이 되었기에 DiD, Matching 사례를 언급.
출처 : Causal Machine Learning and Business Decision Making, 2021
(n = 234)
34. 발표자 경험 사례
출처 : 스타트업에서의 인과추론, Causal Inference KR
문제 정의
콴다 앱에서 퀴즈퀴즈 기능에 참여하는 것이 유저의 재방문에 어떤 영향을 주는가? (메트릭 : 주별 방문
리텐션)
활용 방식 Look-forward Matching, Difference-in-Differences (SQL, Excel로 진행 가능)
활용 결과
퀴즈퀴즈 기능 출시 직후, 퀴즈퀴즈 사용하는 행동이 유저의 주별 방문 리텐션을 4%p 증가시키는 것을
발견, 다른 국가에 동일한 기능을 출시하는 전략의 우선순위를 높임
자세한 설명은
아래 링크 참고해주세요
활용 난이도
35. Microsoft DoWhy 샘플 노트북 사례
문제 정의 멤버십 리워드 프로그램에 가입하면, 가입 후 지출액이 증가하는가?
활용 방식 Propensity Score Matching with DoWhy (성향점수매칭)
활용 결과 멤버십 리워드 프로그램에 가입할 경우, 평균 115달러의 지출액 증가를 보임
출처 : Estimating the effect of a Member Rewards program
1. Model : 가정을 인과 그래프로 인코딩
2. Identify : 모델의 인과관계를 식별하고 추정할 대상을 공식화
3. Estimate : 식별된 인과관계에 대해 추정치를 구함
4. Refute : 얻어진 추정치에 대해 반박하며 가정을 검증 (장점)
DoWhy 4단계
자세한 설명은
아래 링크 참고해주세요
활용 난이도
38. 1. 인과추론을 위한 가정들 : 참고용 모음집
출처 : Four assumptions of the potential outcomes framework. Image from Jacob (2021). / Mixpanel Causal Inference Whitepaper / 은지님 블로그
SUTVA 내에 2개의 가정 포함
1. No interference among the users
2. Consistency
Ignorability Assumption 내에 2개의 가정 포함
1. Conditional Independence =
Unconfoundedness
2. Overlap Assumption = Positivity
Assumption
39. 1. 인과추론을 위한 가정들 : 참고용 모음집
출처 : Four assumptions of the potential outcomes framework. Image from Jacob (2021). / Mixpanel Causal Inference Whitepaper / 은지님 블로그
SUTVA 내에 2개의 가정 포함
1. No interference among the users
2. Consistency
Ignorability Assumption 내에 2개의 가정 포함
1. Conditional Independence =
Unconfoundedness
2. Overlap Assumption = Positivity
Assumption
§ 현실 관측 데이터에서 어디까지 만족시킬 수 있을까?
§ 만족 여부는 어떻게 검증할 수 있을까? (통계적 검증 불가능한 것들도 존재)
40. 1. 인과추론을 위한 가정들 : 참고용 모음집
출처 : Four assumptions of the potential outcomes framework. Image from Jacob (2021). / Mixpanel Causal Inference Whitepaper / 은지님 블로그
SUTVA 내에는 2개의 가정이 포함
1. No interference among the users
2. Consistency
Ignorability Assumption 내에 2개의 가정 포함
1. Conditional Independence =
Unconfoundedness
2. Overlap Assumption = Positivity
Assumption
Challenges to widescale adoption 중 1가지
Implementation
§ 응답자 중 51%가 실험이 아닌 관측형 데이터에서의 인과추론일 경우
데이터에서 인과추론을 위한 가정을 만족시키기 어렵다고 응답.
출처 : https://www.causalscience.org/blog/causal-data-science-in-practice/
(n = 234)
§ 가정 만족 여부 검증에 집중하기 보다는 다수의 기법들을
사용해 추정 결과를 교차 검증
§ 강한 가정들을 만족시켜야 하는 기법보다, 가정이 비교적
쉽게 만족이 되는 기법을 선택 (실무 인과추론 위계의 상단)
§ DoWhy와 같이 가정들에 대한 Sensitivity
Analysis(Refute)를 많이 제공하는 라이브러리를 활용
§ 사내에 적용해보며 노하우를 쌓고 템플릿화
41. 2. 사람에 대한 데이터가 가지는 본질적 한계
§ 추정된 인과 효과는 Context-dependent 하다는 사실 (플랫폼 종류, 문화, 유저 특성 등)
§ 일반화가 어렵다는 한계를 인정하고 명시할 것 (Non-generalizability에 대해서 투명해질 것)
§ 사람에 대한 데이터가 주로 가지는 4가지 Selection Bias(Confounders)를 소개
출처 : https://causalinference.gitlab.io/kdd-tutorial/largescale-data.html
사람에 대한 데이터에서
인과관계를 분석할 때
주의해야 할 4가지
Bias를 소개
온라인 활동은 나이와 성별과 같은
Demographic 정보에 따라 달라짐
두드러지게 다른 활동 성향을 보이는
사람들끼리는 비교가 되어서는 안됨.
활동에 있어서의 유사한 정도는 특정 이벤트
때문이 아닌 내재적인 선호도 때문일 수 있음.
어떤 이벤트의 수가 증가하는 것은 특정 다른 이벤트의
영향이 아니라, 단순히 당시에 방문자가 그 시점에
Activity가 많았던 것을 의미할 수 있음
42. 3. Educational Gap
Challenges to widescale adoption 중 다른 1가지
Educational gap
§ 다수의 응답자가 조직에 인과추론 기술과 능력이 없다고 응답.
§ 데이터 사이언스 팀 내에서도 주로 소수의 인과추론 전문가에게 지식을 의존함.
§ 궁극적으로 이 교육 격차는 관리자 레벨으로 확장되어, 인과추론 데이터
사이언스 기법들이 의사 결정에 가져다 줄 수 있는 기회를 인지하지 못하게 함.
§ 이 부분은, DS들이 인과효과를 설명하기 어렵게 함
출처 : https://www.causalscience.org/blog/causal-data-science-in-practice/
43. 3. Educational Gap
Challenges to widescale adoption 중 1가지
Educational gap
§ 다수의 응답자가 조직에 인과추론 기술과 능력이 없다고 응답.
§ 데이터 사이언스 팀 내에서도 주로 소수의 인과추론 전문가에게 지식을 의존함.
§ 궁극적으로 이 교육 격차는 관리자 레벨으로 확장되어, 인과추론 데이터
사이언스 기법들이 의사 결정에 가져다 줄 수 있는 기회를 인지하지 못하게 함.
§ 이 부분은, DS들이 인과효과를 설명하기 어렵게 함
출처 : https://www.causalscience.org/blog/causal-data-science-in-practice/
효과적 정보 전달을 위해
§ Mixpanel, Amplitude 에서도 Causal Inference
기법들(비실험)이 기능으로 구현되어 있음. SaaS를 레퍼런스
삼아 인과추론 기법 & 시각화를 선택해도 좋을 것 (하단 이미지)
§ 경험상 DiD를 보여주는 것은 관리자 레벨에게도 직관적이었음
창출할 수 있는 비즈니스 기회에 대한 이해 + 효과적 정보 전달 방식
Mixpanel Impact Report Amplitude Impact Analysis Amplitude가 인수한 Clearbrain의 Causal Analytics
45. 오늘 이야기한 것
§ 실무 인과추론의 위계 (Randomization, Natural Experiment, Conditioning)
§ 실무에서 풀 수 있는 문제 3개의 유형과 사례 분석 (도구변수, 업리프트 모델링, DiD&매칭)
§ 실무에 적용할 때의 어려움 3가지 (가정 만족, 사람 데이터의 한계, 정보 격차)
= 압축된 정보를 25분만에 흡수하기 = 어려움
인과추론 배경 지식이 있다? 출처 자료들을 보며 활용 방식에 대해 공부
인과추론 배경 지식이 없다? 문제 정의, 활용 결과만 잘 이해하고 가기
+ 도구변수에 힘을 좀 더 쏟음. 왜?
Uplift Modeling, DiD, Matching 은 자료가 많은데 이 쪽은
별로 없음. 실무에서 쓰기 좋을 것 같은데 별로 안 알려짐
46. Analysts / Research Producers
실무에서 잘 쓰이는 인과추론 기법
위주로 메커니즘에 대해 확실히
이해함
Consumers of Research
비즈니스에 인과추론이 가져다줄 수
있는 기회에 대해 이해하고 더
활용될 수 있도록 함
거인들의 어깨를 많이 빌리고 많이 공유하자
좋은 순환이 발생하길
