[2016 데이터 그랜드 컨퍼런스] 5 2(보안,품질). 투비웨이 데이터정제와품질검증을위한mdm 시스템의기능과역할

Simple, Smart, Speedy
데이터 정제와 품질검증을 위한
MDM 시스템의 기능과 역할
- 2016.11 -
(주)투비웨이
박세준 이사(sjpark@tobeway.com)

목차
Simple, Smart, Speedy 1
I. Master Data, Master Data Management
II. MDM 프로젝트 구성
III. 데이터 표준화, 정제, 품질 검증
IV. MDM 시스템의 기능과 역할

Master Data : 기준정보
Master Data = Key to the Process Execution & Analysis
■ 기준정보(Master Data)
 ERP/SCM/MES 같은 트랜잭션 시스템이나 EDW 같은 분석 시스템에서 기준으로 사용되는 비즈니스
데이터
 상당기간 동안 변하지 않는 정적 데이터
 비즈니스 정보의 특성을 기술하는 데이터의 집합
 업무운영 프로세스의 수행을 위해 필요한 기준 데이터
 주로 복수의 전사기준정보의 조합으로 구성
 상대적으로 짧은 Life Cycle 및 유효 시간, 기간을 가짐
 식별코드(ID) + 콘텐트 (Content) 구성
■ 업무코드(Biz Code)
 비즈니스 커뮤니케이션의 신속성, 정확성, 경제성을 높이기 위하여
사용되는 부호화된 데이터
 참조코드, 표준코드, 공통코드
 비즈니스 정보에 대한 집계, 분류코드
 IT코드 : 상대적으로 단순하고, 글로벌/업계 표준 보유
 코드(ID) + 코드명 (Name) 구성

Master Data Management : 기준정보관리
Discipline that provides a Consistent Understanding of master data entities
■ 관리의 구성요소
 WHAT & WHO : 대상, 주체
 HOW : 수단, 방법
 WHY : 목적, 목표
■ 기준정보관리의 대상 및 주체
 고객, 협력사, 제품, 자재, 설비, 사업장, 서비스 …
 기준정보를 다루는 사람, 조직
■ 기준정보관리의 수단
 표준화, 데이터 정제, 품질 검증
 워크플로우
 연계, 배포
■ Discipline that provides a consistent understanding of master data entities
 고품질 기준정보를 정확하게 공유
 비즈니스 수행 및 의사 결정 효율성 증대

MDM 시스템 기능요소
MDM 기능요소 = 검색/조회, 입력/승인, 현황/개선방안. 시스템관리/운영지원
기준정보
검색/조회
기준정보
입력/승인
시스템관리/
운영지원
현황/
개선방안
Governance
Process
QualityIntegration
Service
Meta
Data
MDM 구성요소 MDM 시스템 기능 요소

MDM 프레임워크
성공적인 MDM 구현을 위한 ToBeWAY MDM Framework
 데이터 품질지표
 데이터 품질분석
 지속적 품질개선
 전사기준정보모델
 분류체계/속성체계
 식별체계/표기표준
 데이터 수집
 데이터 검증
 데이터 정제 및 보강
 등록/수정/중지
 수집/통합
 기준정보 관리조직
 역할과 책임
 사용자 권한관리
 검색 및 조회
 리포트
 UI 개인화
 기준정보 저장소
 기준정보 중앙관리
 데이터 배포
 모니터링
 통합서비스
품질관리
(Quality)
거버넌스
(Governance)
프로세스
(Process)
데이터 표준화
(Data Value)
기준정보 모델
(Metadata)
DataApproach
Architecture Approach
ApplicationApproach
사용자 서비스
(User Service)
관리
(Administration)
통합과 연계
(Integration)
G
Q P
M
V
SA
I
 개선과제 수행
 데이터 표준화
워킹그룹
(Working Group)
W
User working group Approach

목차
IV. MDM 시스템의 기능과 역할

MDM 프로젝트 구성
MDM PROJECT =
표준체계혁신
(컨설팅)
시스템구축
(솔루션)
데이터표준화
(클린징)
연계구현
(EAI/ETL)
관련시스템변경
(ERP/Legacy)

As-Is 분석정의 To-Be 설계 구현 테스트 이행/운영
A B C D E F
데이터수집
데이터분석
관리체계
분석
애플리케이션
분석
기준정보
도메인
정의
요구사항
도출
및
제약조건
파악
데이터 표준체계
설계
데이터 이관 구현
프로세스 구현
거버넌스 설계
프로세스 설계
품질체계 설계
관리자/
운영자
교육
운영환경
Setup
Cut-Over
Iterations #1 #2 #N
Phase
Stage Master Data Innovation MDM Implementation
관
리
체
계
G
P
Q
데
이
터
M
V
응
용
시
스
템
S
A
I
개발 및
운영환경 준비
데이터 표준화
방안 설계
이행
계획
수립
통합
테스트
프
로
토
타
이
핑
연계 방안 설계
GAP 분석 및
개발항목 설계
레거시
이행방안 수립
A1 A2
A3
B1
B2
B3
B4
C2
C3
C4
C5
C6
C8
C9
D2
D5
E1 F1 F3
F4 F6
커스트마이징
및 확장기능 구현
연계 구현
레거시 변경
D6
D7
D8
C7
데이터 모델링
품질체계 구현
D3
D4
데이터
이관
F5
거버넌스 구현
D1
안정화
지원
F7
개선기회
도출
개선과제 정의
데이터 표준화
개선과제 수행
사
용
자
W
B5 C1
C10 D9
C11
사용자
교육
F2
8
MDM 구축 프로젝트 방법론

현업 주도의 데이터 표준화/클린징
데이터적 접근 중 데이터 표준화 부분은 주로 현업분들이 참여하는 워킹그룹 형태로 진행
 데이터 품질지표
 데이터 품질분석
 지속적 품질개선
 전사기준정보모델
 분류체계/속성체계
 식별체계/표기표준
 데이터 수집
 데이터 검증
 데이터 정제 및 보강
 등록/수정/중지
 수집/통합
 기준정보 관리조직
 역할과 책임
 사용자 권한관리
 검색 및 조회
 리포트
 UI 개인화
 기준정보 저장소
 기준정보 중앙관리
 데이터 배포
 모니터링
 통합서비스
품질관리
(Quality)
거버넌스
(Governance)
프로세스
(Process)
데이터 표준화
(Data Value)
기준정보 모델
(Metadata)
DataApproach
Architecture Approach
ApplicationApproach
사용자 서비스
(User Service)
관리
(Administration)
통합과 연계
(Integration)
G
Q P
M
V
SA
I
 개선과제 수행
 데이터 표준화
워킹그룹
(Working Group)
W
User working group Approach

데이터 표준화/클린징 in MDM Project
프로젝트 종료 보고서 및 제안서 등의 언급량으로 살펴본 MDM프로젝트 관리체계 구성비의 변화
표준체계(식별)
30%
표준체계(분류/속성)
20%
데이터클린징
35%
거버넌스
2%
프로세스
10%
품질체계
3%
2001~2008
25%
20%데이터클린징
20%
거버넌스
5%
프로세스
20%
품질체계
10%
2009~2012
20%
15%
데이터클린징
5%거버넌스
10%
프로세스
30%
품질체계
20%
2013~2016

데이터 표준화/클린징 in MDM Project
데이터 표준화와 클린징에 대한 문제는 데이터의 품질 문제로 발전
0%
10%
20%
30%
40%
50%
60%
표준체계 데이터표준화 솔루션 기능 연계 관련시스템 기타
MDM 프로젝트 애로사항
2009~2012 2013~2016
관심
문제
데이터 품질

목차
IV. MDM 시스템의 역할

데이터표준화 > As-Is 데이터 분석
• As-Is Data 분석
 데이터 현황 정리
 As-Is 모델링
(분류, 속성, 식별체계)
 데이터 프로파일링
As-Is
Data
수집
B2
As-Is
Data
분석
B3
식별체계
설계
C5-1
분류/속성
설계
C5-2
데이터
표준화방안설계
C6
기회
기회
도출
B5
데이터표준화
D9
데이터
모델링
데이터
이관 구현
D4
D5

데이터표준화 > 표준체계
• To-Be 기준정보 구조 설계
 To-Be 전사기준정보 구조설계
• 식별체계 설계
 To-Be 코드 체계 설계
 Number Range 정의
 구 코드와의 맵핑 규칙 정의
• 분류/속성 설계
 분류체계 설계
 속성체계 설계
 참조코드 정의
As-Is
Data
수집
B2
As-Is
Data
분석
B3
식별체계
설계
C5-1
분류/속성
설계
C5-2
데이터
C6
기회
기회
도출
B5
데이터표준화
D9
데이터
모델링
데이터
이관 구현
D4
D5

데이터정제 > 데이터 표준화 방안
• 데이터 표준화 방안
 명칭체계(표기표준) 정의
 품명, 규격 등에 대한 표기표준
(띄어쓰기, 대소문자, 괄호 규
칙)
 표준용어 정의
• 중복제거 방안 수립
 데이터 중복 정의
 중복원안 파악 및 방안 수립
 중복 제거 처리 방안 수립
• 데이터 정제/보강방안 수립
 정제/보강 대상 속성 결정
 정제/보강 방안 정의
As-Is
Data
수집
B2
As-Is
Data
분석
B3
식별체계
설계
C5-1
분류/속성
설계
C5-2
데이터
C6
기회
기회
도출
B5
데이터표준화
D9
데이터
모델링
데이터
이관 구현
D4
D5

데이터 정제 > 데이터 표준화
데이터 표준체계와 데이터 표준화 방안 설계서를 기반으로 데이터 표준화를 시행합니다.
• 데이터 표준화 방안
 값 표기 표준, 표준 용어
• 중복제거 방안
 데이터 중복 정의, 처리 방안
• 데이터 정제/보강방안
 절차, 역할, 일정
• 클린징 MDM 활용 데이터 정제
 As-Is 데이터 적재
 신규 속성체계 반영
• 현업/워킹그룹 중심 데이터 정제
 시스템을 통한 정제 진행
• 정제 품질규칙을 통한 시스템 검증
PI/컨설턴트 현업 W/G클린징 MDM
As-Is 로딩
W/G 할당
W/G 작업
시스템 반영
품질규칙정의
품질검증
W/G 피드백
W/G 작업
시스템 반영
품질검증
피드백
…
As-Is
Data
수집
B2
As-Is
Data
분석
B3
식별체계
설계
C5-1
분류/속성
설계
C5-2
데이터
C6
기회
기회
도출
B5
데이터표준화
D9
데이터
모델링
데이터
이관 구현
D4
D5

데이터 품질검증 > Master Data Quality
MDM과 DQM은 데이터 품질이라는 공동의 목표를 가지나, 수행방법과 대상 데이터가
■ 기준정보 품질차원
 유일성, 정확성
 일관성, 적시성, 최신성
 완전성, 책임성, 보안성
 유용성, 충분성, 사용성
■ MDM의 (사전)데이터 품질 관리 기능
 데이터가 변경 저장되기 전에 프로그램
(Program)을 통해 품질검사를 수행하는데 중점
■ DQM의 (사후)데이터 품질 관리 기능
 Database에 저장되어 있는 데이터를 SQL를 통
해 품질검사를 수행하는데 중점

목차
III. 데이터 표준화, 정제, 품질 검증 검증
IV. MDM 시스템의 역할

정제용 MDM
현업워킹그룹(Working Group)의 데이터 정제작업을 효과적으로 지원하고 모니터링 할 정제용 MDM이
필요합니다.
반복적이고기계적인작업의자동화
업무변화에따라변경/추가된품질규칙의적용
발견된품질결함에대한용이한수정
진행현황관리
사후 품질검증
• 분류별 품질검증
• 속성별 품질검증
데이터 프로파일링
• 속성값 프로파일링 제공
• 형식, 값 분포 등
속성별 품질검증
• 특정 속성항목에 속한 모든 값에 대한 일괄 검사
• 일괄 수정
관리책임 별 결함현황
• 특정 속성항목에 속한 모든 값에 대한 일괄 검사
• 일괄 수정

- 21 -
속성별 품질검증 – 검증할 속성 선택

- 22 -
속성별 품질검증 – 검증결과 상세

- 23 -
속성별 품질검증 – 검증결과 상세

- 24 -
속성별 품질검증 – 프로파일링

- 25 -
속성별 품질검증 – 프로파일링(결과)

- 26 -
관리책임별 결함현황

- 27 -
관리책임별 결함현황 – 담당자 정보 조회

입력/승인 > Clue (값 추천)
분류 내 다른 마스터가 가지고 있는 값을 통계화해 제공

현황/개선방안 > 정제 제안/지시
품질검증결과 문제가 발견된 기준정보에 대해 담당자에게 정제를 요청하는 프로세스

현황/개선방안 > 속성 프로파일링
입력된 속성값에 대한 프로파일링

현황/개선방안 > 관리책임 별 결함현황
관리책임자, 관리책임부서 별 책임 기준정보건수 및 결함건수, 결함율 제시

- 32 -
관리책임별 결함현황 – PDF파일로 다운로드

- 33 -
관리책임별 결함현황 – 파일 확인

Simple, Smart, Speedy 기준정보 관리
고품질(High Quality) 기준정보, ToBeWAY MDM Suite 8.3

Simple Smart Speedy
35
감사합니다

[2016 데이터 그랜드 컨퍼런스] 5 2(보안,품질). 투비웨이 데이터정제와품질검증을위한mdm 시스템의기능과역할

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a [2016 데이터 그랜드 컨퍼런스] 5 2(보안,품질). 투비웨이 데이터정제와품질검증을위한mdm 시스템의기능과역할

Similar a [2016 데이터 그랜드 컨퍼런스] 5 2(보안,품질). 투비웨이 데이터정제와품질검증을위한mdm 시스템의기능과역할 (20)

Más de K data

Más de K data (20)

[2016 데이터 그랜드 컨퍼런스] 5 2(보안,품질). 투비웨이 데이터정제와품질검증을위한mdm 시스템의기능과역할