Подход Oracle к управлению метаданными для аналитических систем

Управление метаданными
Александр Рындин
Ведущий консультант,
Oracle СНГ
2 декабря 2014г.
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Программа
Обзор новостей технологий интеграции данных Oracle
Новости Oracle GoldenGate
Новинка Oracle Enterprise Metadata Manager
Новости Oracle Data Integrator
Новости Enterprise Data Quality

Big Data Reservoir – видение Oracle
Oracle GoldenGate
ELT Processing
on Hadoop or SQL
In-Memory
Grid
Continuous Availability
4
Перенос в реальном времени
– Минимальное влияние на
источник, stage в Hadoop или
Oracle
– Непрерывная доступность
Трансформация данных
– Пакетный перенос данных
– Обработка данных Pushdown
Федерация данных
– Виртуальные сервисы данных
Качество и проверка данных
– Решаем проблемы на источнике
– Проверяем консистентность
Управление метаданными
– Lineage и Impact анализ
– Семантический бизнес-словарь
Data Governance
Foundation
Oracle Data Integrator
(Трансформация)
Enterprise Data Quality
Fast
Load
(Profile, Cleanse, Match and De-duplicate)
(Перенос)
Data Service Integrator
(Федерация)
GoldenGate Veridata
(Online проверка)
Enterprise Metadata Management Business Glossary
(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)

Отличительные черты Oracle Big Data Reservoir
Oracle GoldenGate
ELT Processing
on Hadoop or SQL
In-Memory
Grid
Continuous Availability
Динамический перенос данных
– Real-time CDC по умолчанию, не
ETL
– Наименее нагружает источник
– Проверенная лучшая скорость
– Integrated Oracle capture/apply
Нет движка ETL
– Перенос обработку к данным, а
не наоборот
– Используем Ваши движки для
выполнения работы
(Hadoop or SQL)
Лучшая гетерогенность
– Используем открытый Hadoop (не
проприетарный)
– Hadoop – вот Hub, а не ETL tools
– Открытые стандарты метаданных
Data Governance
Foundation
(Трансформация)
Enterprise Data Quality
Fast
Load
(Profile, Cleanse, Match and De-duplicate)
(Перенос)
Data Service Integrator
(Федерация)
GoldenGate Veridata
(Online проверка)
Enterprise Metadata Management Business Glossary
(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)

Проверка и
очистка данных
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Гетерогенный резервуар
6
Flume
OODDII
OOoozziiee
Hive on MR, Tez, Spark
Logs
OLTP DB
SQOOP
OGG
Pig on MR, Tez, Spark
SQOOP/
Big Data Connectors/
Big Data SQL Any DW
OOGGGG
Spark
Управление
метаданными
OOEEDDQQ OOEEMMMM
API/File
Hive/HCat,
HDFS,HBase
Hive/HCat,
HDFS,HBase
NoSQL
Flume

Программа

Захват: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах
(online, arc).
Доставка: применяет данные с
транзакционной целостностью
Как работает GoldenGate
Source
Oracle Non-Oracle
Database(s)
Target
Oracle Non-Oracle
Database(s)
Trail: записываем данные для маршрутизации.
«Pump»: передает данные на целевую систему
Маршрутизация: данные могут быть сжаты и зашифрованы
Capture
Trail
Files Pump Delivery
LAN / WAN / Internet
Over TCP/IP
Trail
Files

Режимы работы GoldenGate
• Extract
– Классический (обычный, ALO, на ADG)
– Интегрированный (обычный, real-time downstream, archivelog downstream)
• Replicat
– Классический
– Интегрированный
– Координированный

УУллууччшшееннииее ООппииссааннииее
Integrated Capture
Компрессия Захват изменений сегментов, сжатых EHCC, OLTP сжатием
Transparent Data Encrypt Захват зашифрованных данных
Distributed Transactions XA-RAC, PDML
RAC, XAG, Standby Простое внедрение в RAC, Standby
XML XML as CLOB, XML Object-Relational, XML Binary, XML Type Tables
LOB (basic, secure) Практически все захватывается из журнала
REDO Processing Многопоточная обработка журналов
Deployment Развертывание в локальном и downstream-режиме
DDL Захват DDL-изменений без триггеров
User-Defined Types ANYDATA, SDO_GEOMETRY

Integrated Extract – локальный режим
База данных и процесс Integrated Capture на одном сервере
User/Application changes
Record
changes
Capture
changes
Redo Logs
Capture
Integrated
Oracle Database Extract
Trail
File
…..
Source Machine
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records

Integrated Extract –Downstream режим, real-time
База данных источника и Integrated Capture на разных серверах
Continuous …..
Record
changes
Redo Logs Integrated
Extract
Oracle Database
Trail
File
Source Machine
Standby
Redo Logs
Oracle Database
Downstream Machine
REDO
Shipping
Capture
changes
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Capture

Integrated Extract – Downstream в архивном режиме
База данных источника и Integrated Capture на разных серверах
Record
changes
Redo Logs
Cap
ture Integrated
Extract
Oracle Database
Trail
File
Source Machine
Archive Logs
Oracle Database
Downstream Machine
…..
Capture
changes
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Capture

Prior to OGG 12c - High Volume Replication
Trail
Files
Delivery
Delivery
Delivery
Delivery
Customer
defined
split
SQL
SQL
SQL
SQL
Target
Oracle and Non-Oracle Databases
GoldenGate
Delivery
14
MAP sales.acct1, TARGET sales.acct1;
MAP sales.acct2, TTAARRGGEETT ssaalleess..aacccctt22;;
MAP sales.acct3, TARGET sales.acct3;

CCaatteeggoorryy DDeessccrriippttiioonn
Integrated Replicat
Parallel Apply Многопоточный процесс
Full Transaction Consistency Многопоточное применение транзакций не отменяет согласованность
DDL+DML DDL корректно применяется в многопоточном режиме
User-Defined Types ANYDATA, SDO_GEOMETRY

Inbound Server
Integrated Replicat
Replicat
• Читает trail file
• Создает logical change records
(LCRs)
• Передает LCRs в Oracle Database
через Lightweight Streaming API
Inbound Server (Database Apply Process)
• Receiver: Читает LCRs
• Preparer: Вычисляет зависимости между транзакциями (первичный ключ,
уникальный индекс, внешний ключ) , группирует транзакции, сортирует с учетом
зависимости
• Coordinator: Координирует транзакции, управляет порядком работы applier
• Applier: Применяет назначенные транзакции, включая разрешение конфликтов и
обработку ошибок.
Trail
Files
Replicat
Lightweight
Streaming
API
Receiver Preparer Coordinator
Applier N
Applier 2
Applier 1
Oracle Database

Coordinated Delivery для сторонних баз данных
Trail
Files
Thread
Thread
Thread
Thread
Админ
определяет
распределение
SQL
SQL
SQL
SQL
С точки зрения
администратор
один процесс
GoldenGate
координирует
потоки для
барьерных
операций
Target
Oracle and Non-Oracle Databases
GoldenGate
Delivery
MAP sales.acct1, TARGET sales.acct1,
THREAD(2);
MAP sales.acct2, TARGET sales.acct2,
THREAD(3);
MAP sales.acct,3 TARGET sales.acct3,
THREADANGE(4-9);

Тесная интеграция с Oracle Coherence
Обзор
• GoldenGate Coherence Adapter
запускает на базе данных источника
• Зафиксированные изменения
реплицируются в реальном
времени из источника в Coherence
через адаптер
• Интеграция с Coherence
обеспечивается с помощью TopLink
extensions
Oracle Coherence Grid Edition 12.1.2
Oracle TopLink
Capture
Oracle Non-Oracle Database(s)
Coherence
Adapter
Trail
Files
Reads/Writes Initiated
By Coherence
Third Party
DML Operations

Oracle GoldenGate Veridata 11.2/12c Components Flow
Communications and Startup
TCP/IIP
Сравнение меняющихся данных происходит в два этапа:
1. Начальное сравнение
2. Подтверждение расхождения
Source
Database
Target
Database
Veridata
Repository
Web Client
VVVeeerrriiidddaaatttaaa AAAgggeeennnttt
VVVeeerrriiidddaaatttaaa AAAgggeeennnttt
JDBC
JDBC
Veridata
Web Server
Command Line
(Vericom)
JDBC
TCP/IIP
TCP/IIP
HTTP
Agent Hashes Row
Sends PK + Hash
Server Sorts Rows,
Compares Hash,
Generates COOS
OGG

New for Veridata 12.1.3
• Восстановление гетерогенных данных
• WLS 12.1.3 / Single Sign on
• SSL and IPv6 for Agents
• Шифрование отчетов (.rpt, .oos, .oosxml)
• Удаление старых отчетов
• Инструмент для скриптования (Load config API)
Oracle Veridata - Now Later
Veridata Today
• Высокоскоростное, гетерогенное сравнение
• Низкое влияние: не блокирует; хэширование и сортировка не в базе
• Подмножество строк/столбцов; хранит историю аудита; визуализирует

Программа

Ценность Enterprise Metadata Management
Решает большое количество серьезных задач для различных бизнес-пользователей и
технических специалистов
22
ETL
BI
Dashboards
Какие отчеты
используют
информацию о
клиенте?
App
ETL
ETL
Каким образом
рассчитывали
объем продаж?
Что будет если я
изменю эту
таблицу?
Какие отчеты
используют
данные
мэйнфреймов?
Системный
администратор
Руководитель
BI Разработчик
Откуда пришли
эти данные?
Пользователь
приложений
CDC
Hadoop
Data Lake
Data Steward
Могу ли я доверять
этой информации
о клиенте?
ETL
разработчик
Я хочу спроектировать
эксперимент, для измерения
успешности регистрационной
страницы. Какими данными я
располагаю?
Data Scientist
GG

Oracle Enterprise Metadata Management
Доверие к данным
Руководители Информационные панели / Отчеты
!!!!====
???????????? !!!!!!!!!!!!
•Информационные панели не совпадают с отчетами?
•Откуда эти данные?
•Могу ли я доверять другим отчетам?

Oracle Enterprise Metadata Management
Происхождение данных и взаимосвязи
DBA’s / ETL / BI разработчики Управление данными / Среда
разработки
???????? !!!!!!!! ????????
•Что если я изменю этот столбец?
•Какое влияние имеет мой ETL маппинг?
•Где мне брать данные?

Представляем Oracle Enterprise Metadata Management

Что такое метаданные
• Метаданные – это данные о данных.
• Метаданные создаются, когда данные
создаются, извлекаются, добавляются,
удаляются, изменяются в любом источнике
данных
• Метаданные – неотъемлемая часть хранилищ
данных, особенно Big Data хранилищ
26

Ценность метаданных
• Повысить доходность и ценность
• Создать «продаваемый» информационный продукт
• Использовать информационные активы для новых продаж
• Лучше понимать клиентов и продукты
• Сократить стоимость и сложность
• Снизить дублируемость данных
• Снизить дублируемость процессов обработки данных
• Снизить вероятность ошибки
• Снизить риски и повысить уверенность
• Повысить уверенность бизнеса в данных
• Снизить стоимость аудита
• Снизить репутационные риски
27

Oracle Metadata Management Логическая архитектура
Полезная информация
Big Data События BI - Отчетногсть
ППррооииссххоожжддееннииее ддаанннныыхх
ААннааллиизз ввллиияянниияя
Интеграция данных
ETL Качество данных
Потоки данных Интеграция Исследование
Файлы Облака
Источники данных
Big Data Реляционные Приложения
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 28
Управление
Бизнесс
глоссарий
Семантически
е карты
Репозиторий
метаданных

Возможности Oracle Metadata Management
Исследование Метаданных
Текстовый поиск и Браузер Метаданных
Визуализация моделей/Диаграм, Общий
обзор, Отчетность по метаданным
Анализ потоков и происхождения данных
Соответсвие закону Сарбейнса Оксли
Версионность и сопоставление моделей
Обратный вызов по URI из отчетов BI или
бизнес-приложений
Стратегическое управление
Комментарии, обратная связи и
экспертный совет
Связка метаданных с ярлыками
Мультимедийные приложения
(документы, видео, презентации, коды)
URL референсные ссылки на e-mail, блоги,
социальные сети
Управление жизненным циклом
Сбор метаданных из любых DM, DW, ETL/DI, BI
инструментов и Big Data/Hadoop
Управление Корпоративной Архитектурой
(Управление конфигурацией метаданных)
Оценка влияния изменений
Стандартизация и управление данными
Поддержка различных стандартов управления
Аннотации и метки
Бизнес-глоссарий и происхождение данных
Интегрированно с продуктами Oracle
Oracle Database
Oracle Data Integrator, Oracle GoldenGate
Oracle Business Intelligence Enterprise Edition
Oracle Business Intelligence Applications
(ODI and older Informatica based OBIA)

Oracle : Наиболее открытый и гетерогенный
Операционная интеграция (Перемещение и трансформации) Сбор метаданных (Глоссарии, взаимосвязи, анализ влияния))
30
Hadoop HBase
Hadoop Hive/Flume
HP Enscribe
HP NonStop
HP Neoview
Hypersonic SQL
IBM DB2 i Series
IBM DB2 UDB
IBM DB2 z Series
IBM Informix
IBM Netezza
JMS / MQ
Microsoft Access
Microsoft SQLServer
MySQL
Pivotal Greenplum
PostgreSQL
Salesforce.com
SAP BW / BI
SAP ERP / ECC
SAS
SQL/MP
SQL/MX
Sybase ASE
Sybase IQ
Teradata
Adaptive
Altova
Apache Hcatalog
Apache Hive/HQL
Borland
CA ERwin
Cloudera Impala
COBOL Copybook
DataStax
Embarcadero
EMC ProActivity
GentleWare
Google BigQuery
Grandite
Hadapt Hive
Hortonworks Hive
IBM Cognos
IBM DB2
IBM DataStage
IBM Discovery
IBM Federation Server
IBM Lotus Notes
IBM Netezza
IBM Rational Rose
IBM Rational Architect
Informatica Metadata Mgr.
Informatica PowerCenter
CoSORT
ISO SQL Standard (DDL)
MapR Hadoop Hive
MicroFocus
Microsoft Access
Microsoft Office Excel
Microsoft Visio
Microsoft SQL Server
Microsoft SSIS
Microsoft Visual Studio
Microstrategy
Magic Draw
OMG CWM Standard
OMG UML Standard
Oracle BI Answers
Oracle BI Enterprise Edition
Oracle BI Server
Oracle DAC
Oracle Data Modeler
Oracle Database
Oracle Designer
Oracle Hyperion Applications
Oracle Hyperion Essbase
Oracle Warehouse Builder
Pivotal Greenplum
PostgreSQL
QlikView
SAP BO Crystal Reports
SAP BO Designer
SAP BO Desktop Intelligence
SAP BO Repository
SAP BO Data Integrator
SAP BO Data Steward
SAP Master Data Management
SAP Sybase PowerDesigner
SAP Sybase ASE Database
SAS Data Integration Studio
SAS BI Server
SAS Information Map
SAS Metadata Management
SAS OLAP Server
Select
Sparx Architect
Syncsort
Tableau
Talend
Teradata
Tigris
Visible
W3C DTD XSD Schema
Oracle Database
Oracle Exadata
Oracle Big Data Appliance
Oracle TimesTen
Oracle OLAP
Oracle Business Intelligence
Oracle BI Applications
Oracle E-Business Suite
Oracle JD Edwards Enterprise One
Oracle JD Edwards World
Oracle Fusion Applications
Oracle Governance Risk and Compliance
Oracle Fusion AIA
Oracle Retail Applications
Oracle Agile BI / DW
Oracle Agile PLM for Process
Oracle iFlex FlexCUBE
Oracle iFlex Mantas
Oracle Hyperion Applications
Oracle PeopleSoft
Oracle Siebel CRM / OnDemand
Oracle Communications
Oracle WebLogic Server
Oracle Coherence Data Grid
Oracle SOA Suite
Oracle Enterprise Service Bus
+ open APIs and standards
based meta-model

Metadata Harvesting from all Popular Platforms

OEMM Домашняя страница с панелью репозитория и
закладками
Веб-приложение
с
прикрепленным
репозиторием

Графический браузер диаграмм моделей данных
Просмотрщик
позволяет
получить как
общую картину
так и детали
zoom-in / zoom-out
по по всей
комплексной
модели

Поиск по ключевым словам по всем метаданным
Полноценный
текстовый
поиск
позволяет
легко
осуществлять
навигацию по
большим
моделям

Версионность моделей и возможность сопоставления
Легко
группировать и
сравнивать
модели данных
однородных баз
данных или
между
различными
версиями для
определения
значимых
изменений

Портал для совместной работы разработчиков
Полнофункци
ональная
работа
команд
включает
поддержку
Анализа
жизненного
цикла условия
и домены

Архитектура потоков данных от начала и до конца
Визуализация
взаимодействая
систем
Графическое
представление
аннотаций и
границ систем

Визуализация расчетов систем визуализации
Детализация
формул и
расчетов,
отображенные
напрямую из
движков ETL и
BI отчетов

Просмотр истории происхождения данных
Визуализация
колонок и
зависимости на
уровне шагов
расчета
показателей
между
различными
системами,
базами данных
и отчетных
форм

Встроенный Бизнес-глоссарий (не отдельный модуль)
Выходя за
пределы
словарей
базы данных,
ссылается на
бизнес-
термины
и систем

Политики бизнес глоссария и референсных данных
Для ключевых
таблиц и
диапазонов
значений ,
ассоциирует с
глоссарием
метаданных с
актуальными
терминами
данных,
типами и
взаимосвязей

Подход Oracle к управлению метаданными для аналитических систем

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (11)

Similar a Подход Oracle к управлению метаданными для аналитических систем

Similar a Подход Oracle к управлению метаданными для аналитических систем (20)

Más de Andrey Akulov

Más de Andrey Akulov (12)

Подход Oracle к управлению метаданными для аналитических систем