0
© 2015 EN-CORE. All rights reserved.
4차 산업혁명의 핵심
데이터 경제 Data Scientist : ㈜엔코아 데이터 서비스 센터장 김옥기
Data Mining Consulting, Data Driven Strategy Consulting
okkim@en-core.com

1
아는 것과 그것을 행동하는 것은 다르다
생각하는 하는 백성이야 산다
Contents
1. 4차 산업 혁명의 본질은?
2. 데이터 유통과 중개의 역할?
3. 한국 기업과 정부 무엇을 해야 하나?

2
1. 4차 산업 혁명
2. 데이터 유통과 경제
3. 한국의 데이터 시장 현황
4차 산업혁명의 핵심
데이터 경제

데이터 활용 성공사례

ㅋ
© 2016 EN-CORE. All rights reserved.
산업혁명4.0 : 데이터의 연결화
1차 산업혁명
기계화
2차 산업혁명
대량화
3차 산업혁명
자동화(S/W)
4차 산업혁명
데이터의 연결화
1.0
2.0
3.0
4.0
Ubiquitous sensors and big data analytics
connected together into cyber-physical systems.
The invention of microprocessors brought
Automaion into plants on a large scale.
Water and steam power ushered in
the era of mechanized production.
Era of division of labor and mass production,
Epitomized most famously by Henry Ford.
What is industry 4.0

ㅋ
© 2016 EN-CORE. All rights reserved.
Internet : WEB 의 발전
발신자 수신자웹사이트
발신자 수신자웹사이트
WEB 3.0
WEB 1.0
WEB 2.0
WEB 3.0
I Do
You Do
We Do
게시
상호작용
자동화
상호연동
사물인터넷
스마트 시티

ㅋ
© 2016 EN-CORE. All rights reserved.
가공한 Clean 데이터의 연결들

ㅋ
© 2016 EN-CORE. All rights reserved.
Internet of Everything
Internet of
Everything is 사람,
프로세스, 사물을
연결하는 라인으로
데이터와 정보가 서로
교통하는 것이다.

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 활용 프로세스
기업, 기관의 운영 속도와 효율성 높여 수익 극대화 및 최적화 제공이 핵심
데이터 플랫폼 통합수행 내역(용역 측면)
전사운영데이터:
고객,오라클,SAP 등
구매데이터:
실시간 구매, 배치 구매
웹 데이터:
정형, 비정형 데이터
기계, 위치 데이터:
정형, 비정형 데이터
데이터 수집(Extract) 웹 서비스. 소켓(Sockets), FTP, SQL., SAP
데이터 가공(Transform)
데이터 저장(data store)
SAS, Hadoop, 구매 ETL 툴, 자체 개발 툴
Hadoop, 인 메모리, RDBMS
데이터 신호, 패턴 구별
정제된 데이터베이스
데이터 신호, 패턴 선택
분석모형,기계학습 개발
모형(Model) 적용, 수행
분석 결과 데이터베이스
시계열, 통계, 이벤트, 지리 위치 등
NOSQL, 인 메모리, RDBMS
PCA, Decision tree, Chart, Clustering, 감성 분석, Regression, Outlier 등등
SVM, Neural Nets, Regression, K-NN, SVD, Matrix Factorization, GEO- Distance 등등
분석 모형 결합( Ensembles)
OLAP, RDBMS, Mem/Cashed
브라우저, 모바일 디바이스, 배치 작업 웹 서비스, FTP, Sockets
시각화, 대시보드, 시뮬레이션(Human Action) Score, Decision, Alerts, Curricula (Machine Action)
숙
련
된
경
험
이
있
는
인
력
만
이
수
행
가
능
데이터 소스
ETL, 가공
신호 생성
분석
접근
조치(Action)
융통성 있는 데이터 수집 인터페이스
데이터에 맞는 툴 사용
현업에 맞는 환경 구축
신호 생성 알고리즘 들
데이터 접근의 최적화
의사결정을 위한 비즈니스 룰
대량 데이터의 최적화 접근
정제 → 가공 → 신호, 패턴(인사이트) → 분석 모형 개발 → 모형 적용 → 수행 프로세스 정립 → 평가

ㅋ
© 2016 EN-CORE. All rights reserved.
Data Science vs. Artificial Intelligence vs. Big Data(IOT) 관계
기계화
대량화
자동화
데이터
연결화
ANALYTICS
BUSINESS
INTELLIGENCE
STATISTICS
DATA
VIZ
머신러닝 데이터 마이닝
DNN
(Deep Neural
Network )
딥 러닝
인공지능 빅데이터
• Computer vision
• Natural language processing
• General models
EMPLOYS
ENABLES
FACILITATES
PUSHES POST
FUTHER
INSIGHTDATA
INSPIRES
데이터 과학

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 관련 산업의 본질 파악이 최우선
1. 우리가 보는 성공 사례들은 B2C 영역
2. 빅데이터 관련 산업은 B2B 영역(플랫폼, 데이터 유통)
3. 빅데이터 수요자(중간자 B)가 아직 준 내부활용 미진한 상태(기업이나 기관)1

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 산업 구분
D ata
C ollection
D ata
Management
P latform
S ervice
Management
P latform
A nalytics
Management
P latform
IoT, Cloud, Big Data,
Mobility...
AI, Web service,
Smart factory,
Mkt service, BI...
공장, 도시, 홈, 쇼핑,
건강, 병원, 엔터테인먼트,
운송 등 일상의 변화 주도
만물인터넷을 통한
광범위 네트워킹
데이터 활용 서비스를 위한 데
이터 분석 플랫폼 서비스
데이터 분석을 위한
데이터 가공 서비스 플랫폼
Business analyst,
Data Scientist,
Analytic tool...
Data Scientist,
Data engineer,
Data Architecture...
기술 및 인력 활용 주요 벤더
활용
분석
가공
수집

ㅋ
© 2016 EN-CORE. All rights reserved.
기업의 데이터 활용 5단계
1단계 2단계 3단계 4단계 5단계
비전
(Vision)
없음 생산 성과 비전 시도 각 영역별 채널의 효율성 전사 내부 통합 연결된 가치 부여 및 인식
전략
(Strategy)
없음
고립적 프로젝트,
아래로부터시도
좀더 협력적 생각,
여전히 사일로 존재
전사적 통합 CRM
프로그램
서로의 이익을 위해
협력하는 가치 인식
고객 경험
(Customer
Experience)
개념 없음 개념 없음
이해하는 사일로
수준에서 집중
각 영역별 연결된 비즈니스
로 이해하고 집중
좀더 넓은 영역 이해, 협력
협력
(Collaboratio
n)
내부 영역별로 집중,
사일로(Silo)구조
초기 편협적고객 위주,
사일로적
문화나 동기의 변화,
여전히 사일로적
고객 중심,
분야별,
영역별,
재 구조 조정
고객 중심 공유,
목표 연합적 협력
프로세스
(Process)
내부 영역별로 집중,
사일로적
초기 자동화시기,
사일로적
사일로 수준에서
비용과 가치의 최적화
전사 수준에서 비용과
가치의 최적화
초기부터 끝까지 실제적 최
적화 프로세스
정보 공유
(Information)
기본적 정보의 산재
팀 기준, 산재,
최소의 인사이트
사일로 수준 정보 공유,
인사이트 발전 과정
전사 관여 정보 공유 및
인사이트
기업을 넘어선 인사이트와
정보 공유, 외부 데이터 활
용
기술
(Technology)
몹시 산재되고 미미한 기술
산재 존재,
한정된 역할과 집중
사일로 내에서
높은 수준의 역할
전사 통합 수준의
높은 수준의 역할
기업을 넘어선 높은 수준의
역할
집중 영역
(Metrics)
적은 내부적 집중 영역
산재되고 한정된 집중 영역,
운영 내부적 집중
사일로 내에서 효율적,
고객 집중 부족
전사적 고객 집중/
균형 있는 구조
목표 공유, 균형 있는 구조,
잘 연결, 정리된
한국
미국
미국 2000년 초 빅데이터(IOT, 외부 데이터, 소셜)
기업 내 데이터 활용 프레임 워크와 발전 단계

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 생성 주체에 따른 종류
파트너: 소셜 데이터

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 공장(Data Factory, Data Refinery): 데이터 정제, 가공 전문회사
© 2015 EN-CORE. All rights reserved.

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 생태계-개인 데이터 + 사물 데이터

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 생태계-개인 데이터 + 사물 데이터
정보 브로
커
협력사
신용
정보
리스트
브로커
DATA BROKERS
(Service Platform Area)
광고
분석
의료
분석
미디어
자료집
카달
로그
DATA COLLECTORS
ICBM
INDUSTRIAL 4.0

ㅋ
© 2016 EN-CORE. All rights reserved.
한국 데이터 가공시장 현황(2016년)
회사이름
주 사업
형태
보유 가공 데이터 근황
SK 텔레콤
지오 비젼
영업 조직 위주
통신 유동인구
상권 데이터
모바일 검색어
공공 기관 POC
와 사업 수행
30 여건 진행 중,
하도 업체 활용
(분석, 데이터 가공)
신한 카드
빅데이터 센터
분석 조직
위주
카드, 은행
SK 지오비젼과
협력사
BC 카드
데이터 사업부
데이터
가공, 판매
업무만
카드 소비정보
데이터
네이버 +
인터넷 포탈
다음, 네이버
소셜 데이터
분석
위주
소셜 데이터
소셜 분석 및
전략, 트렌드
컨설팅 위주
KCB
영업, 분석,
데이터 가공
부동산, 금융,
국가 통계 데이터 등
기본 데이터 인프라
금융기관 위주 영업
나이스
빅데이터 사업부
영업, 분석, 데이터 가공
FA 데이터 수집,
상권 데이터,
시장 특성 데이터
공공기관, 유통업
위주 영업 주력
LG CNS 데이터 와 마케팅 채널 소셜 판매 데이터, 공공데이터 마케팅 위주 성과

ㅋ
© 2016 EN-CORE. All rights reserved.
외부 , 구매 데이터의 기업 설립 역사
1969
액시엄
마케팅 서비스 회사
1956
신용 평가 서비스 회사
피코
1923
하트행크스
마케팅 서비스 회사
마케팅 서비스 회사
엡실론
1975
소비자 신용 보고,분석 회사
에퀴팩스
1899
1902
메레디스
마케팅 서비스 회사
1988
머클
마케팅 서비스 회사
소비자 신용 보고,분석회사
엑스페리안
1996
2003
인텔리우스
정보 거래 회사

ㅋ
© 2016 EN-CORE. All rights reserved.
Acxiom(액시엄)
현재 Acxiom 최고상품 개발 담당
(2012년 4월 입사)
전 구글 최고 상품 개발 담당
전 마이로 소프트 상품 개발 담당
Acxiom은세계최대개인정보(개인1인당1,500가공정보와1,000개의추정정보:
정형빅데이터)보유하고 다국적 글로벌 회사에데이터판매와컨설팅

ㅋ
© 2016 EN-CORE. All rights reserved.
미국의 데이터 가공 및 브로커 산업 역할

ㅋ
© 2016 EN-CORE. All rights reserved.
미국의 데이터 가공 및 브로커 산업 역할
공공 오픈
데이터 보유 기관
고객 데이터
보유 기업
검색/소셜
데이터 보유 기업
모바일/위치
보유 기업
빅데이터
H/W, S/W 기업
기존 전통 기업
IBM, 오라클, SAP HP, MS, 테
라 데이터, 델, SAS
최신 전문 기업
팔렌티어, 스플렁크,
유시그마, 호튼웍스
마케팅서비스
기업
데이터유통플랫폼
기업
마케팅분석
기업
데이터수집/가공/
융합기업
글로벌데이터서비스업체현황(출처:LUMAScape)
미국 DMA에따르면전체:156b,675,000고급전문일자리창출캘리포니아:21b,90,000일자리창출
산업구분 미국 한국 비교
GDP(경제규모) $18.1조 $1.4조 약13배
데이터가공및유통산업 $2,020억 - -
빅데이터산업 $380억 0.3억원 약150배
산업 분야별 한국과 미국 비교현황 (2015년 기준)
- 경제 규모 비교 : 미국은 한국의 약 13배 수준
(2015년 GDP – 미국 : 18.1조 $, 한국 1.4조$)
- 빅데이터 시장 : 380억(약46조원) 수준
 한국(약 3천억원)의 약 150배 수준
- 데이터 가공 및 유통산업에서 2,020억불 경제적 효과와
약 97만개의 일자리를 창출
* 출처
GDP – 2015 GDP 현황 IMF(International Monetary Fund) 제공
빅데이터 시장(미국) – Wikibon 2015
데이터 가공 및 유통산업(미국) –The value of Data 2015, DMA, DDMI
빅데이 시장(국내) – NIA, 2015

ㅋ
© 2016 EN-CORE. All rights reserved.
미국의 데이터 가공 및 브로커 산업 역할

ㅋ
© 2016 EN-CORE. All rights reserved.
활용사례(수요측면)-IOT

ㅋ
© 2016 EN-CORE. All rights reserved.
미국의 데이터 가공 및 브로커 산업 역할(스마트 시티)
데이터 표준, 가공 필요

ㅋ
© 2016 EN-CORE. All rights reserved.
제조에서의 데이터 활용의 역사(GE 케이스)
Six SigmaLean
Deming
Quality Improvement Tools
Reduce Variation
TQM
Six SigmaLean
Production
Just in Time
Toyota Production
System
Toyota Production
System
Ford
Lean Sigma
10’s
90’s
80’s
70’s
60’s
00’s

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 혁명
전통
기업의
데이터혁명
스타트업
기업의
데이터혁명
농업혁명
물류혁명
제조혁명
유통혁명
의료혁명
금융혁명
DNA 데이터분석
O2O
이상감지,데이터분석
개인자산관리
데이터가공/유통
트위터뉴스

ㅋ
© 2016 EN-CORE. All rights reserved.
데이터 경제 시스템
데이터 사용자
Data compilers
Aggregate and publish data from multiple trading venues
Post-trade
Data products
Data consumers
Constructors of pre- and post-trade data
Accept, verify, aggregate and match orders
to construct market data
오픈 데이터 민간데이터
Data contributors
By sending bids and offers to trading venues
Data consumers
Purchase market directly or indirectly
Brokers
Purchase market data directly (solid arrows) or indirectly (dashed arrows)
Data vendors

ㅋ
© 2016 EN-CORE. All rights reserved.
단계별 데이터 활용 실제 로드맵 사례(제안요청서 정리)
빅데이터 서비스플랫폼 구축
소비자 빅데이터 분석기반 조
성, 시범서비스 구축
소비자피해유형별
정보 큐레이팅 체계 구축
피해유형별 DB구축 &데이터
품질체계 구축
데이터 분석 개방 시스템 구축
및 분석서비스 확대
소비자 피해정보
활용서비스 활성화
[식품분야]
예측분석 기반 구축/
빅데이터 플랫폼 구축
VOC 통합관리, 정보공유포탈
[의약품, 바이오 분야]
예측분석 서비스확대
분석기능,
데이터 통합 확대
[의료기기 화장품 분야]
위해평가 서비스, 예측분석
서비스 고도화 : 위해 노출 영향
평가 분석, 연관 분석, 대국민서비
스, 국민참여 소통강화
1단계 2016 2단계 2017 3단계 2018
소비자
XXX기관

ㅋ
© 2016 EN-CORE. All rights reserved.
2016년 데이터 활용현황 사례
소비자 식약처 – 식품 유해
내부
데이터
소비자
민 원
상담
(750만건) 성별, 연령, 지역, 품목,
신청이유, 처리결과 등
사건명,
사건내용 통합 식품 안전 정보망
12개 대분류, 78개 중분류, 175종 정보
(부처활용 116종, 식약처·지자체 보유정보 59종)
* 별첨
- 식품행정통합 시스템
- 식품정보활용시스템
- 식품안전정보 포털
피해구제
(37만건)
위해정보 (51만 여건)
성별, 연령, 지역, 위해품목,
위해부위, 위해·위험원인 등
사건명,
위해경위
게시정보 - 기관 홈페이지, 스마트 컨슈머, CISS 홈페이지, 어린이안전넷홈페
이지
외부
데이터
소셜 DATA
공공 DATA
SNS(해외직구),
커뮤니티(직구 관련),
쇼핑몰(해외 식품),
뉴스/미디어/시민단체 등(모니터링)
국가기관 발표 정보 관련 정보 수집
식품 유통정보, 판매실적 (농식품부, 업체) 메가 서비스 모니터링(네
이버 트랜드 등)
쇼핑몰의 제품 등록량 모니터링
수집기
(솔루션)
국가기관발표정보(건보-진료내역,,의약품처방정보, 건보-검진정보,
심평원-의료정보현황)
식품유통정보 (망 외 DB)
내부
연계
식품생산지별 기후정보 (기후변화대응식품안전관리연구사업단)
식품판매실적(농촌경제연구원)
메가서비스 모니터링(네이버트랜드)
외부
연계
비정형 데
이터
“상담, 피해구제, 유해정보” - 사건내용,
각 부서 생산자료
위의 외부 데이터 중 수집데이터 (SNS 등)

ㅋ
© 2016 EN-CORE. All rights reserved.
빅데이터 활용 대부분의 문제 > 통합과 가공의 문제
DATA Value
1. 데이터 통합, 관계, 원인 또는 분산 등의 복잡성
2. 빅데이터 기술 수행하기 위한 전문가의 부족
3. 활용 과정의 고비용
4. 빅데이터 기술의 디자인(기획)과 적용을 위한 긴 시간
5. 분석 전문가의 부족
6. 방대한 데이터에서 활용 가능한 데이터의 선택
7. 낮은 데이터 품질
8. 기존의 분석 시스템과의 통합의 어려움
9. 충분하지 않은 컴퓨팅 자원(분석처리)

ㅋ
© 2016 EN-CORE. All rights reserved.
빅데이터와 IOT : 가치 창출 영역
오픈소스의 기술평준화 시대에 고급인력
즉 사람이 답이다!
290
417
830
1192
1306
1691
3085
3647
6148
0 1000 2000 3000 4000 5000 6000 7000
NoSQL
Networking
Infrastructure Software
Cloud
SQL
Applications
Storage
compute
Professional Services
Big Data Revenue by Sub-Type,2013
(In $US millions)(n=$18,814) Figure3- Source : Wikibon 2014

ㅋ
© 2016 EN-CORE. All rights reserved.
빅데이터 플랫폼 생태계(고급 기술인력 mapping)
기간 계
Documents &
Text
Hadoop Cluster
Casual User
Power User
In-memory BI Sandbox
Analytic platform or
Non-relational
database
Ad hoc query
비즈니스 분석가 영역
데이터 과학자 영역
SMP
AMP
Operational
System
Operational
System
Machine
Data
Web Data
Audio/Video
Data
External
Data
Virtual Sandboxes
Data
Warehouse
Streaming/
CEP Engine
Free-
Standing
Sandbox
Dept
Data
Mart
BI
Server
Top down Architecture
Bottom-up Architecture
DBA
데이터 모델러
데이터 아키텍트
데이터 엔지니어
빅데이터 엔지니어
데이터 애널리스트
DBA
데이터 모델러
데이터 아키텍트
DMP
Extract, Transform, Load
(batch, near real-time, or
real-time)

ㅋ
© 2016 EN-CORE. All rights reserved.
한국 데이터 시장 현황(2016년)
정부 민간
- 데이터 유통 가공 필요성 인식
- 데이터 유통 가공 시범 사업 시행 중(정보화진흥원)
- 각종 데이터 융합 사업 추진(인공지능 데이터 구축)
- 기초 융합 빅데이터 제작 및 활용지원(데이터진흥원)
- 내부데이터 통합 및 활용 모색
- 외부 데이터 시범 활용
- 대기업 중심 사업 모델 고민

ㅋ
© 2016 EN-CORE. All rights reserved.
비 식별화 데이터의 합법적 연결, 활용 사례
국가 의료 금융 마케팅
미국
국립 의료기관
(연결, 결합 식별)
CB 사: 신용관리, 마케팅 민간 브로커:개인식별
영국
국립 개별 의료기관
(연결식별)
CB 사: 신용관리, 마케팅
민간 브로커: 개인 비식별
지역단위, 건물단위
일본 익명가공정보사업자 CB 사: 신용관리 익명가공정보사업자
한국 CB 사: 개인이 허락
민간기업:
지역별 시장특성,
지역별 유동인구(통신, 카드사),
법인 단위 소득
Target 지역추천

ㅋ
© 2016 EN-CORE. All rights reserved.
성공적 데이터 경제 생태계를 위한 제언
1. 데이터 보안과 개인정보 활용의 분리(데이터 폐기 및 마케팅활용 규제관련 등)
2. 개인 식별과 비 식별 이전에 개인정보 활용을 위한 공감
(민감데이터 VS. 비 민감데이터, 불법 VS 합법이슈로)
3. 데이터 과학을 위한 민간데이터의 통합과 정제 문제 (데이터 유통산업의 활성화)
4. 공공 개방 데이터의 품질의 문제
5. 데이터 공유 및 거버넌스 관련 정책 프로세스 등 (조직과 문화의 Silo 극복)
데이터 유통 활성화를 위한 범 정부차원의
종합적 전략 수립 필요

ㅋ
© 2016 EN-CORE. All rights reserved.
대한민국 21세기 생존전략 :데이터 경제

Thank you
본 문서는 ㈜엔코아가 기밀정보 및 영업비밀을 포함하고 있으므로, 제공된 목적 외에 무단으로 복제되거나 배포될 수 없습니다.