Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

de

2012 platform day_nowcom Slide 1 2012 platform day_nowcom Slide 2 2012 platform day_nowcom Slide 3 2012 platform day_nowcom Slide 4 2012 platform day_nowcom Slide 5 2012 platform day_nowcom Slide 6 2012 platform day_nowcom Slide 7 2012 platform day_nowcom Slide 8 2012 platform day_nowcom Slide 9 2012 platform day_nowcom Slide 10 2012 platform day_nowcom Slide 11 2012 platform day_nowcom Slide 12 2012 platform day_nowcom Slide 13 2012 platform day_nowcom Slide 14 2012 platform day_nowcom Slide 15 2012 platform day_nowcom Slide 16 2012 platform day_nowcom Slide 17 2012 platform day_nowcom Slide 18 2012 platform day_nowcom Slide 19 2012 platform day_nowcom Slide 20 2012 platform day_nowcom Slide 21 2012 platform day_nowcom Slide 22 2012 platform day_nowcom Slide 23 2012 platform day_nowcom Slide 24 2012 platform day_nowcom Slide 25 2012 platform day_nowcom Slide 26 2012 platform day_nowcom Slide 27 2012 platform day_nowcom Slide 28 2012 platform day_nowcom Slide 29 2012 platform day_nowcom Slide 30 2012 platform day_nowcom Slide 31 2012 platform day_nowcom Slide 32 2012 platform day_nowcom Slide 33 2012 platform day_nowcom Slide 34 2012 platform day_nowcom Slide 35 2012 platform day_nowcom Slide 36 2012 platform day_nowcom Slide 37 2012 platform day_nowcom Slide 38 2012 platform day_nowcom Slide 39 2012 platform day_nowcom Slide 40 2012 platform day_nowcom Slide 41 2012 platform day_nowcom Slide 42 2012 platform day_nowcom Slide 43 2012 platform day_nowcom Slide 44

2012 platform day_nowcom

  1. 1. Main_한글 두줄 타이틀 클라우드 컴퓨팅 기술 활용 사례 AfreecaTV Notification System 서비스 기술연구소 | 기반기술팀 봉승태 1
  2. 2. Company 2
  3. 3. 기반기술팀 모바일/웹/플랫폼 등 서비스 기반이 되는 기술과제 수행 3
  4. 4. 목차 BigData Platform 도입전략 Notification System 4
  5. 5. BigData Platform 도입전략 5
  6. 6. BigData 서비스 가치의 변화 = 데이터 >> 인프라, SW(오픈소스) 6
  7. 7. BigData 서비스 가치의 변화 과거 관념의 데이터 = 데이터 >> 인프라, SW(오픈소스) 결과 개개인의 값이 중요함 과거 데이터 정규화된 디비 데이터 3월 매출 / 어제 별풍선 선물 개수, 아이디 별 통계 트랜드 분석, 내부 리포팅 Big Data 결과 + 현상,과정 + etc 과거 데이터 + 개별보다 전체가 중요한 현재 발생 데이터 Database 데이터 + 로그 데이터 타 서비스 데이터 (Twitter, Facebook…) 현재 채팅 및 별풍선 등이 빈번히 일어나는 방송 리포팅 외 이용자 행태 기반 신규 서비스 7
  8. 8. BigData Platform 도입의 어려움 8
  9. 9. BigData Platform 도입의 어려움 9
  10. 10. BigData Platform 도입의 어려움 10
  11. 11. BigData Platform 도입의 어려움 11
  12. 12. BigData 웹 서비스(AfreecaTV)도입 전략 컴퓨팅의 5대 기능 = 서비스 기본 5대 기능 개발/서비스 의 범주는 모두 같을 것이라 판단 = 5단계로 나눔 • Collector : 데이터 수집 입력 입력 저장 • Storage : 데이터 저장 출력 연산 • Analysis : 데이터 분석 연산 출력 • Notification : 데이터 제공 제어 저장 제어 • Operating : 클러스터 멤버십 12
  13. 13. BigData 웹 서비스(AfreecaTV)도입 전략 입력 • Collector 저장 • Storage 연산 • Analysis 출력 • Notification 제어 • Operating 5가지 기능 to 서비스 13
  14. 14. BigData 웹 서비스(AfreecaTV)도입 전략 Collector 네트워크 트래픽 혹은 분산된 장비상 존재하는 파일 및 디비의 변 동 사항을 수집하는 플랫폼 14
  15. 15. BigData 웹 서비스(AfreecaTV)도입 전략 Collector FTP RCP,RSYNC ETC… 네트워크 트래픽 분산된 파일 변경 Database 변경 }수집! 15
  16. 16. BigData 웹 서비스(AfreecaTV)도입 전략 Storage File || Data { 분산된 장비의 하드디스크 분산된 장비의 메모리 16
  17. 17. BigData 웹 서비스(AfreecaTV)도입 전략 Analysis • 데이터 수집과 동시에 분석 • 전체 또는 부분 데이터에서 복잡하고 다양한 분석을 수행 17
  18. 18. BigData 웹 서비스(AfreecaTV)도입 전략 Notification • 분산된 장비로 연결된 특정 이용자를 찾아서 응답 18
  19. 19. BigData 웹 서비스(AfreecaTV)도입 전략 Operating • 다수의 시스템간 연동 • Scale-out/Failover 자동화 상태 확인 19
  20. 20. BigData 웹 서비스(AfreecaTV)도입 전략 무언가 빠진듯한.. 20
  21. 21. BigData 웹 서비스(AfreecaTV)도입 전략 분석기법 재료 가져와서 가공하는 인프라는 만드는데, 대체 뭘 어떻게?? 21
  22. 22. BigData 웹 서비스(AfreecaTV)도입 전략 분석기법 = Data Scientist 내부 양성/작은 시행(착오) 부터.. 22
  23. 23. BigData 웹 서비스(AfreecaTV)도입 전략 AfreecaTV 5가지 기능 Data Flow 23
  24. 24. BigData 웹 서비스(AfreecaTV)도입 전략 Storage 웹접속 Collector 로그인 대용량 분산 저장 대용량 분산 저장 (Hadoop) (NoSQL,Search) 방송선택 Agent-Tier 시청자 Data-Flow형성 방송시청 (원하는곳으로) 방송종료 실시간 데이터 채팅 분석 결제 ㆍBJ 아무개의 방송 보시겠습니까? ㆍ최근 시청한 LOL 방송 시작되.. ㆍ홍대 스타일 VOD 어떻세요? Suggestion, ... Analytics, … Notification Analysis -실시간 Push Data Analysis -사용자 인터렉션 제공 20120813 방송 Report ㆍ시청자수(avg/max) : 3004명 ㆍ시청성별 : 남:85%, 녀:70% ㆍ시청나이 : 평균 24세 ㆍ시청지역 : 서울-35%, 부산-21%... ㆍ카테고리별 방송 분석 ㆍ방송유입경로 : ~~~~ BJ ㆍ시청 패턴 분석(시간, 채팅빈도, 방 :나이,성별,광고클릭수,시청시간,지역 ㆍ시청분석 송 평규시청시간) Statistics, … ㆍ유입경로 분석 관리자 ㆍ이상패턴 알림(고액결제자 등등) 24
  25. 25. BigData 웹 서비스(AfreecaTV)도입 전략 Storage 웹접속 Collector 로그인 대용량 분산 저장 대용량 분산 저장 (Hadoop) (NoSQL,Search) 방송선택 Agent-Tier 시청자 Data-Flow형성 방송시청 (원하는곳으로) 방송종료 실시간 데이터 채팅 분석 결제 ㆍBJ 아무개의 방송 보시겠습니까? ㆍ최근 시청한 LOL 방송 시작되.. ㆍ홍대 스타일 VOD 어떻세요? Suggestion, ... Analytics, … Notification Analysis -실시간 Push 분산된 장비로 연결된 유저중 특정 20120813 방송 Report -사용자 인터렉션 제공 Data Analysis 이용자를 찾아 응답하는 플랫폼 ㆍ시청자수(avg/max) : 3004명 ㆍ시청성별 : 남:85%, 녀:70% ㆍ시청나이 : 평균 24세 ㆍ시청지역 : 서울-35%, 부산-21%... ㆍ카테고리별 방송 분석 ㆍ방송유입경로 : ~~~~ BJ ㆍ시청 패턴 분석(시간, 채팅빈도, 방 :나이,성별,광고클릭수,시청시간,지역 ㆍ시청분석 송 평규시청시간) Statistics, … ㆍ유입경로 분석 관리자 ㆍ이상패턴 알림(고액결제자 등등) 25
  26. 26. Notification System 26
  27. 27. Notification System 정의 1. 분산된 장비로 2. 특정 이용자를 찾아 3. 응답하는 플랫폼 27
  28. 28. Notification System 기능 • 쪽지(초대)알림 1:1 • 개인별 추천 1:N • 게시판 신규 글 갱신 1:ALL • 전체 알림 그림 출처 pubnub.com 28
  29. 29. Notification System 필요성 6시간 분석  10~30초 분석 29
  30. 30. Notification System 필요성 10~30 초? 서비스 투입 가능? – 로그인 완료 후 추천을 한다면? 30
  31. 31. Notification System 필요성 배치성/실시간 모두 분석된 데이터가 미리 저장(캐쉬)되어 있지 않으면 지연발생  (비동기로) 준비된 데이터가 있으면 그 때 해당 유저에게 데이터 전달 31
  32. 32. 알려진 오픈소스 32
  33. 33. 웹 서비스 운영 정상 구동 시 Process1 WEB Process2 Process(n) 33
  34. 34. 웹 서비스 운영 일반 장애 상황 Process1 WEB Process2 장애 Process(n) 34
  35. 35. 웹 서비스 운영 부하에 의한 추가 투입 Process1 WEB Process2 장애 Process 추가 (new) Process(n) 35
  36. 36. 웹 서비스 운영 36
  37. 37. 웹 서비스 운영 절차를 체계화 37
  38. 38. 웹 서비스 운영 38
  39. 39. 웹 서비스 운영 절차를 체계화  절차를 자동화 Process1 WEB - Cluster Management - Failure Detection 장애 - Node Discovery Process2 - Auto Restart Process 추가 (new) Process(n) 39
  40. 40. Notification DataFlow Hash(Key) and EventServer consistent EventServer Event trigger Non-Blocking SessionManager WebServer (Memory Base) EventServer (RESTful,SSL,log) observer Non-Blocking H ClusterMembership A SessionManager L4 WebServer (Zookeeper) S (Memory Base) (RESTful,SSL,log) H observer observer observer Non-Blocking Sender SessionManager WebServer (Memory Base) (RESTful,SSL,log) Find and Sender Event Invoke 각 단위 모듈 Dynamic Scale-out Sender 실시간 성능 표시(웹기반 그래프 어드민) Hash(Key) or ALL 데이터 RRD 누적 40
  41. 41. Notification Demo 41
  42. 42. 시연 http://youtu.be/9Lrh-mLr7dU 42
  43. 43. 시연 43
  44. 44. 끝 감사합니다 iceluna@nowcom.co.kr 44
  • YeongsooKim2

    Oct. 17, 2015
  • ssuserf6e631

    Nov. 18, 2012
  • chanshiklim

    Nov. 15, 2012
  • architectj

    Nov. 15, 2012

Vistas

Total de vistas

970

En Slideshare

0

De embebidos

0

Número de embebidos

2

Acciones

Descargas

31

Compartidos

0

Comentarios

0

Me gusta

4

×