SK ICT Tech Summit 2017 빅데이터 세션에서 발표한 SK Planet 추천 플랫폼 콜로세오 내용을 공유합니다. 추천 로직과 관련된 내용이 아닌 추천서비스 측면에서 추천 플랫폼의 역할에 대해서 기본적인 내용들을 설명 했습니다. Recopick 부터 콜로세오까지 5년 가까이 추천 서비스를 개발/운영하면서 생각해본 기본 적인 내용들로 구성되어 있습니다. 마지막 장 3줄 요약 있습니다. :)

2. 개인화 추천팀
정재훈
SK Planet 추천 플랫폼
콜로세오

3. @uzysjung
Objective-c Ranking
git-awards.com
5 Apps I developed were chosen as
New & Noteworthy, Staff Favorite in
Apple App Store.
정재훈
북미 iPad 교육
카테고리 1등

4. Collaborative
Filtering
추천 관련 발표는
다 추천알고리즘에 대한 발표 뿐…
추천 플랫폼은?
Deep Neural
Networks
Matrix
Factorization
Wide & Deep
Learning
이 발표는 …

5. • 안정적인 데이터 서빙.
• 빠른 응답성
• 알고리즘 생성
• 알고리즘 성능 평가
• 알고리즘 최적화
• 사용자 로그 수집
• 추천 성과 수집
• 추천 성과 분석
• 추천 성과 리포팅
추천 플랫폼
서빙
생성수집
추천 플랫폼의 역할

6. 현황
• 11번가 추천 Recopick  Colloseo 전환. (3월)
• 추천 호출 하루 1억 건, Max RPS 2천 건 (11월)
• A/B테스트를 거쳐 11번가 20개 영역에 추천/광고 상용 서비스 중
• 2,200만 고객에게 7천만 상품에 대해 추천 적용 중
• 전년 대비 11번가 추천 경유거래액 7배 증가
SK플래닛 빅데이터 클러스터 기반 추천 플랫폼.
치열한 추천 알고리즘의 각축 장이 되기를 바라며 ‘IL COLOSSEO’에서 유래
콜로세오

7. 최적화
실시간
ROI
콜로세오 아키텍쳐

8. 상품상세 페이지 최하단
CF , MF , I2V , AR
’Title’ , ‘CollectionView’
추천 최적화 고려 요소
추천/호출 수, 추천수/상품 수
클릭율 , 경유거래액 , 경유거래 수 , 순거래액
서비스 영역
UI Component
적용 알고리즘
추천 커버리
지
성과 지표
Optimization

9. Optimization
추천에서 최적화 대상은?
알고리즘? , 서비스 영역?

10. 서비스영역에 적용되어 있는
추천 알고리즘들 + UI
Optimization : 최적화 대상은?

11. RNN 상품상세 장바구니CF
알고리즘을 여러영역에 적용 서비스 영역에 알고리즘들을 적용
1. 알고리즘을 만든다.
2. 알고리즘이 적합한 영역을 찾는다.
1. 추천이 들어갈 서비스 영역을 선정한다.
2. 영역에 적합한 추천알고리즘을 고민한다.
3. 적용한다.
Optimization : 접근법
VS
Now배송
긴급공수
쇼킹딜
상품상세
장바구니
MF
CF
RNN
I2V

12. 어떤 알고리즘이 좋을까?
커버리지 : 50%
평균 CTR 10%
각각의 추천 알고리즘은 개별적인 특성과 한계를 가짐.
Optimization : 어떻게 최적화 하지?
A
커버리지 : 100%
평균 CTR 5%
B
다양한 알고리즘의 조합으로 서비스 영역에 적용 가능
VS
+A B
커버리지 : 100%
평균 CTR 7.5%

13. 그럼 어떻게 조합하지?
추천 Timeout
Optimization : 대안 알고리즘
A B C D추천
요청

14. BuyTogether : CF 기반 추천 로직 (Coverage : 29% )
BuyNext : CategoryToItem 기반 추천 로직 (Coverage : 100% )
PC 장바구니 A/B/C 테스트 (2017.9.11 ~ 12)
보완재 추천 알고리즘
BuyTogether BuyNext BT+BN
노출CTR (비율) 1.5 1 1.15
구매건수(비율) 1.52 1 2.1
Optimization : PC 장바구니 추천
<11번가 PC 장바구니 화면>

15. 메인 알고리즘 대안 알고리즘
Optimization : AB테스트
A
A’
A’’
추천
요청
B
B’
AB테스트 결과
AB
A’B
A’’B
AB’
A’B’
A’’B’
메인 알고리즘의 로직
향상으로 이어짐.
적용결과
B’
A

16. ex) Norm * 0.3 + Vector * 0.7
Optimization : NOW배송 개인화 추천
Harald Steck et al, Interactive Recommender Systems: Tutorial, Proceedings of the 9th ACM Conference
on Recommender Systems, September 16-20, 2015, Vienna, Austria
While the orientations of the vectors reflect similarity, their
norms reflect the items’ popularity.
플랫폼 상에서 서비스 영역의 지속적인 무중단 A/B테스트
를 통해 최적값을 찾을 수 있음.
콜로세오
MF 서비스 영역적 특성에 맞게 Norm 과 Vector 비중을 최적화
“
“

17. 영역 클릭 장바구니 구매
추천 없음 1 1 1
인기도 기반 1.17 1.34 1.2
유사도 기반 1.24 1.26 1
NOW배송 탭 개인화 MF A/B 테스트
2017.9.5 ~ 2017.9.15 (비율 5: 2.5: 2.5 )
Matrix Factorization - Norm (인기도) VS Vector (유사도)
Optimization : NOW배송 개인화 추천
<11번가 Now배송 탭 >

18. 연관 상품 광고 AB테스트
2017.03.20 ~ 2017.03.21
플랫폼 기반 추천 로직 최적화
CF
Item
MAB
CF
Category
앙상블
사용자
플랫폼 지원 영역
사용자반응 추천결과
광고 추천 기존 광고
클릭 1.47배 1
광고매출 1.25배 1
Optimization : 연관 상품 광고
<11번가 상품상세 하단 영역>

19. User’s interest In Realtime – eCommerce 특성
Implicit feedback
(User action)
Explicit feedback
(User rate)
E-Commerce
>>
E-Commerce는 사용자 성향을 명시적으로 Feedback 받기 어렵다.
오픈마켓 특성 상 뚜렷한 목적을 가지고 방문하는 고객이 많다
생필품 사는데 사용자 성향이 반영될 수 있을까?

20. 실시간 개인화 추천
영속성 단발성
그럼 개인화 추천은 어떻게 되야 할까?
+
현재 사용자의
쇼핑을 돕는 추천
(구매의도, 가격)
사용자의 성향에
기반한 추천
User’s interest In Realtime

21. User’s interest In Realtime : 콜로세오
Colloseo 특징
비로그인 상태 사용자 행동 수집
가족 계정에 대한 추론을 통해 각 사용자 추천 로직 대응 (동일 계정에 여러 핸드폰)
+App
Mobile
Web
PC
Web
+
Colloseo 실시간 로그 수집

22. 실시간 개인화 추천 2차 5:5 A/B테스트 결과
기간 : 2016.12.13 ~ 2016.12.16
응답속도 개선( 평균 50ms )
커버리지 향상 ( 98% )
구분
노출 대비
CTR 비율
빌보드 3
긴급공수 1
개인화추천 8
쇼킹딜 2
User’s interest In Realtime : 콜로세오
Colloseo 개인화 추천
1.향상된 풍부한 사용자 로그
2. 실시간 연산 로드 분산
- 코드 최적화 , 인프라 개선 CTR
(Clicks/Views)
CTR
비율
경유 구매
비율
Recopick 0.41% 1(기준) 1(기준)
Colloseo 1.566% 3.819 3.459
구분
노출 대비
CTR 비율
기획전 1
개인화추천 5

23. Near Realtime Matrix Factorization
- Item Feature 시간 단위 연산
- User Latent Feature 실시간 연산
매 시간 학습
추천 호출 시점
사용자 히스토리 기반 계산
추천 결과 생성
추천 요청
K-Mean MF-NRT 성과
CTR 1 1.07 7%↑
CVR 1 1.04 4%↑
홈탭 쇼킹딜 5:5 A/B테스트
기간 : 2017.08.26~09.6 (7일간, App)
User’s interest In Realtime : NRT MF
Item Latent
Feature
User Latent
Feature
<11번가 홈탭 긴급공수, 쇼킹딜>

24. 기존 로직 대비 10% 성능 향상 된
알고리즘 무조건 적용해야 될까?
Return On Invest

25. A 알고리즘 : Deep Neural Network 기반 CTR 5.5% , CVR 1%
B 알고리즘 : Thompson Sampling 기반 CTR 5 % , CVR 1%
- A/B 테스트 결과 : A가 B보다 10%↑
- 추천 상품 Pool : 500개
알고리즘 클릭 건수 구매 전환
A (DNN) 550 Click 5.5건
B (TS-MAB) 500 Click 5건
Return On Invest
ex) 기획전 페이지 (PV : 1만/일)
A
(DNN)
학습 + 인퍼런스 장비
(GPU 장비 필요)
>>
B
(TS-MAB)
서버 Only
시스템 복잡도

26. A (수동, 5) B (MAB, 5) 성과
CTR 1 1.94 94.39%↑
CVR 1 1.71 70.88%↑
A/B테스트
07.27~07.30 (4일간, Android)
- 1년 약 4천개의 기획전.
- 상대적으로 적은 노출
- 상품 변경이 잦음.
- 상품Pool 한정적 (100 ~ 2,000 개)
11번가기획전
성/연령 13개 Segment
Thompson Sampling
기반 최적화
ROI : 기획전

27. CF 배치시간 최적화
6천만 상품에 대한 시간단위 배치  15% 추천 성능 향상
11번가 가장 PV가 높은 영역
고객 충성도가 높은 영역
ROI는 ?
상품상세
ROI : 이 상품과 함께 본 상품

28. - 추천 서비스 영역은 특성 존재
- 한정된 상품 내에서는 추천알고리즘은 한계를 가지게 됨. (기획전의 경우 상품 Pool 이 한정)
- 한정된 조건  아무리 좋은 알고리즘도 고만 고만 해짐.
매출 뿐 아니라 Retention, Session 유지등 다양한 지표를 통해 효율 측정 고려 필요!
Return On Invest
ROI 고려하여 해당 영역의 최적화!

29. Summary
2
1
3
Commerce 추천은 실시간 사용자의 관심사가 중요!
추천은 알고리즘 연구가 아니다. 추천은 고객을 위한 서비스!
궁극적인 최적화 대상은 ‘고객을 위한 서비스 영역임’을 잊지 말자.
추천도 비즈니스 ! 추천도 투자 대비 수익을 생각해야 한다.

30. SKPlanet 개인화 추천팀
정재훈
감사합니다!