Más contenido relacionado
La actualidad más candente (20)
Similar a Подход Oracle к управлению метаданными для аналитических систем (20)
Más de Andrey Akulov (12)
Подход Oracle к управлению метаданными для аналитических систем
- 2. Управление метаданными
Александр Рындин
Ведущий консультант,
Oracle СНГ
2 декабря 2014г.
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
- 3. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Программа
Обзор новостей технологий интеграции данных Oracle
Новости Oracle GoldenGate
Новинка Oracle Enterprise Metadata Manager
Новости Oracle Data Integrator
Новости Enterprise Data Quality
- 4. Big Data Reservoir – видение Oracle
Oracle GoldenGate
ELT Processing
on Hadoop or SQL
In-Memory
Grid
Continuous Availability
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
4
Перенос в реальном времени
– Минимальное влияние на
источник, stage в Hadoop или
Oracle
– Непрерывная доступность
Трансформация данных
– Пакетный перенос данных
– Обработка данных Pushdown
Федерация данных
– Виртуальные сервисы данных
Качество и проверка данных
– Решаем проблемы на источнике
– Проверяем консистентность
Управление метаданными
– Lineage и Impact анализ
– Семантический бизнес-словарь
Data Governance
Foundation
Oracle Data Integrator
(Трансформация)
Enterprise Data Quality
Fast
Load
(Profile, Cleanse, Match and De-duplicate)
(Перенос)
Data Service Integrator
(Федерация)
GoldenGate Veridata
(Online проверка)
Enterprise Metadata Management Business Glossary
(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)
- 5. Отличительные черты Oracle Big Data Reservoir
Oracle GoldenGate
ELT Processing
on Hadoop or SQL
In-Memory
Grid
Continuous Availability
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Динамический перенос данных
– Real-time CDC по умолчанию, не
ETL
– Наименее нагружает источник
– Проверенная лучшая скорость
– Integrated Oracle capture/apply
Нет движка ETL
– Перенос обработку к данным, а
не наоборот
– Используем Ваши движки для
выполнения работы
(Hadoop or SQL)
Лучшая гетерогенность
– Используем открытый Hadoop (не
проприетарный)
– Hadoop – вот Hub, а не ETL tools
– Открытые стандарты метаданных
Data Governance
Foundation
Oracle Data Integrator
(Трансформация)
Enterprise Data Quality
Fast
Load
(Profile, Cleanse, Match and De-duplicate)
(Перенос)
Data Service Integrator
(Федерация)
GoldenGate Veridata
(Online проверка)
Enterprise Metadata Management Business Glossary
(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)
- 6. Проверка и
очистка данных
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Гетерогенный резервуар
6
Flume
OODDII
OOoozziiee
Hive on MR, Tez, Spark
Logs
OLTP DB
SQOOP
OGG
Pig on MR, Tez, Spark
SQOOP/
Big Data Connectors/
Big Data SQL Any DW
OOGGGG
Spark
Управление
метаданными
OOEEDDQQ OOEEMMMM
API/File
Hive/HCat,
HDFS,HBase
Hive/HCat,
HDFS,HBase
NoSQL
Flume
- 7. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Программа
Обзор новостей технологий интеграции данных Oracle
Новости Oracle GoldenGate
Новинка Oracle Enterprise Metadata Manager
- 8. Захват: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах
(online, arc).
Доставка: применяет данные с
транзакционной целостностью
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Как работает GoldenGate
Source
Oracle Non-Oracle
Database(s)
Target
Oracle Non-Oracle
Database(s)
Trail: записываем данные для маршрутизации.
«Pump»: передает данные на целевую систему
Маршрутизация: данные могут быть сжаты и зашифрованы
Capture
Trail
Files Pump Delivery
LAN / WAN / Internet
Over TCP/IP
Trail
Files
- 9. Режимы работы GoldenGate
• Extract
– Классический (обычный, ALO, на ADG)
– Интегрированный (обычный, real-time downstream, archivelog downstream)
• Replicat
– Классический
– Интегрированный
– Координированный
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
- 10. УУллууччшшееннииее ООппииссааннииее
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Integrated Capture
Компрессия Захват изменений сегментов, сжатых EHCC, OLTP сжатием
Transparent Data Encrypt Захват зашифрованных данных
Distributed Transactions XA-RAC, PDML
RAC, XAG, Standby Простое внедрение в RAC, Standby
XML XML as CLOB, XML Object-Relational, XML Binary, XML Type Tables
LOB (basic, secure) Практически все захватывается из журнала
REDO Processing Многопоточная обработка журналов
Deployment Развертывание в локальном и downstream-режиме
DDL Захват DDL-изменений без триггеров
User-Defined Types ANYDATA, SDO_GEOMETRY
- 11. Integrated Extract – локальный режим
База данных и процесс Integrated Capture на одном сервере
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
User/Application changes
Record
changes
Capture
changes
Redo Logs
Capture
Integrated
Oracle Database Extract
Trail
File
…..
Source Machine
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
- 12. Integrated Extract –Downstream режим, real-time
База данных источника и Integrated Capture на разных серверах
Continuous …..
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
User/Application changes
Record
changes
Redo Logs Integrated
Extract
Oracle Database
Trail
File
Source Machine
Standby
Redo Logs
Oracle Database
Downstream Machine
REDO
Shipping
Capture
changes
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Capture
- 13. Integrated Extract – Downstream в архивном режиме
База данных источника и Integrated Capture на разных серверах
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
User/Application changes
Record
changes
Redo Logs
Cap
ture Integrated
Extract
Oracle Database
Trail
File
Source Machine
Archive Logs
Oracle Database
Downstream Machine
…..
Capture
changes
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Capture
- 14. Prior to OGG 12c - High Volume Replication
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Trail
Files
Delivery
Delivery
Delivery
Delivery
Customer
defined
split
SQL
SQL
SQL
SQL
Target
Oracle and Non-Oracle Databases
GoldenGate
Delivery
14
MAP sales.acct1, TARGET sales.acct1;
MAP sales.acct2, TTAARRGGEETT ssaalleess..aacccctt22;;
MAP sales.acct3, TARGET sales.acct3;
- 15. CCaatteeggoorryy DDeessccrriippttiioonn
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Integrated Replicat
Parallel Apply Многопоточный процесс
Full Transaction Consistency Многопоточное применение транзакций не отменяет согласованность
DDL+DML DDL корректно применяется в многопоточном режиме
User-Defined Types ANYDATA, SDO_GEOMETRY
- 16. Inbound Server
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Integrated Replicat
Replicat
• Читает trail file
• Создает logical change records
(LCRs)
• Передает LCRs в Oracle Database
через Lightweight Streaming API
Inbound Server (Database Apply Process)
• Receiver: Читает LCRs
• Preparer: Вычисляет зависимости между транзакциями (первичный ключ,
уникальный индекс, внешний ключ) , группирует транзакции, сортирует с учетом
зависимости
• Coordinator: Координирует транзакции, управляет порядком работы applier
• Applier: Применяет назначенные транзакции, включая разрешение конфликтов и
обработку ошибок.
Trail
Files
Replicat
Lightweight
Streaming
API
Receiver Preparer Coordinator
Applier N
Applier 2
Applier 1
Oracle Database
- 17. Coordinated Delivery для сторонних баз данных
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Trail
Files
Thread
Thread
Thread
Thread
Админ
определяет
распределение
SQL
SQL
SQL
SQL
С точки зрения
администратор
один процесс
GoldenGate
координирует
потоки для
барьерных
операций
Target
Oracle and Non-Oracle Databases
GoldenGate
Delivery
MAP sales.acct1, TARGET sales.acct1,
THREAD(2);
MAP sales.acct2, TARGET sales.acct2,
THREAD(3);
MAP sales.acct,3 TARGET sales.acct3,
THREADANGE(4-9);
- 18. Тесная интеграция с Oracle Coherence
Обзор
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
• GoldenGate Coherence Adapter
запускает на базе данных источника
• Зафиксированные изменения
реплицируются в реальном
времени из источника в Coherence
через адаптер
• Интеграция с Coherence
обеспечивается с помощью TopLink
extensions
Oracle Coherence Grid Edition 12.1.2
Oracle TopLink
Capture
Oracle Non-Oracle Database(s)
Coherence
Adapter
Trail
Files
Reads/Writes Initiated
By Coherence
Third Party
DML Operations
- 19. Oracle GoldenGate Veridata 11.2/12c Components Flow
Communications and Startup
TCP/IIP
Сравнение меняющихся данных происходит в два этапа:
1. Начальное сравнение
2. Подтверждение расхождения
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Source
Database
Target
Database
Veridata
Repository
Web Client
VVVeeerrriiidddaaatttaaa AAAgggeeennnttt
VVVeeerrriiidddaaatttaaa AAAgggeeennnttt
JDBC
JDBC
Veridata
Web Server
Command Line
(Vericom)
JDBC
TCP/IIP
TCP/IIP
HTTP
Agent Hashes Row
Sends PK + Hash
Server Sorts Rows,
Compares Hash,
Generates COOS
OGG
- 20. New for Veridata 12.1.3
• Восстановление гетерогенных данных
• WLS 12.1.3 / Single Sign on
• SSL and IPv6 for Agents
• Шифрование отчетов (.rpt, .oos, .oosxml)
• Удаление старых отчетов
• Инструмент для скриптования (Load config API)
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Veridata - Now Later
Veridata Today
• Высокоскоростное, гетерогенное сравнение
• Низкое влияние: не блокирует; хэширование и сортировка не в базе
• Подмножество строк/столбцов; хранит историю аудита; визуализирует
- 21. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Программа
Обзор новостей технологий интеграции данных Oracle
Новости Oracle GoldenGate
Новинка Oracle Enterprise Metadata Manager
- 22. Ценность Enterprise Metadata Management
Решает большое количество серьезных задач для различных бизнес-пользователей и
технических специалистов
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
22
ETL
BI
Dashboards
Какие отчеты
используют
информацию о
клиенте?
App
ETL
ETL
Каким образом
рассчитывали
объем продаж?
Что будет если я
изменю эту
таблицу?
Какие отчеты
используют
данные
мэйнфреймов?
Системный
администратор
Руководитель
BI Разработчик
Откуда пришли
эти данные?
Пользователь
приложений
CDC
Hadoop
Data Lake
Data Steward
Могу ли я доверять
этой информации
о клиенте?
ETL
разработчик
Я хочу спроектировать
эксперимент, для измерения
успешности регистрационной
страницы. Какими данными я
располагаю?
Data Scientist
GG
- 23. Oracle Enterprise Metadata Management
Доверие к данным
Руководители Информационные панели / Отчеты
!!!!====
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
???????????? !!!!!!!!!!!!
•Информационные панели не совпадают с отчетами?
•Откуда эти данные?
•Могу ли я доверять другим отчетам?
- 24. Oracle Enterprise Metadata Management
Происхождение данных и взаимосвязи
DBA’s / ETL / BI разработчики Управление данными / Среда
разработки
???????? !!!!!!!! ????????
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
•Что если я изменю этот столбец?
•Какое влияние имеет мой ETL маппинг?
•Где мне брать данные?
- 26. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Что такое метаданные
• Метаданные – это данные о данных.
• Метаданные создаются, когда данные
создаются, извлекаются, добавляются,
удаляются, изменяются в любом источнике
данных
• Метаданные – неотъемлемая часть хранилищ
данных, особенно Big Data хранилищ
26
- 27. Ценность метаданных
• Повысить доходность и ценность
• Создать «продаваемый» информационный продукт
• Использовать информационные активы для новых продаж
• Лучше понимать клиентов и продукты
• Сократить стоимость и сложность
• Снизить дублируемость данных
• Снизить дублируемость процессов обработки данных
• Снизить вероятность ошибки
• Снизить риски и повысить уверенность
• Повысить уверенность бизнеса в данных
• Снизить стоимость аудита
• Снизить репутационные риски
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
27
- 28. Oracle Metadata Management Логическая архитектура
Полезная информация
Big Data События BI - Отчетногсть
ППррооииссххоожжддееннииее ддаанннныыхх
ААннааллиизз ввллиияянниияя
Интеграция данных
ETL Качество данных
Потоки данных Интеграция Исследование
Файлы Облака
Источники данных
Big Data Реляционные Приложения
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 28
Управление
метаданными
Бизнесс
глоссарий
Семантически
е карты
Репозиторий
метаданных
- 29. Возможности Oracle Metadata Management
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Исследование Метаданных
Текстовый поиск и Браузер Метаданных
Визуализация моделей/Диаграм, Общий
обзор, Отчетность по метаданным
Анализ потоков и происхождения данных
Соответсвие закону Сарбейнса Оксли
Версионность и сопоставление моделей
Обратный вызов по URI из отчетов BI или
бизнес-приложений
Стратегическое управление
Комментарии, обратная связи и
экспертный совет
Связка метаданных с ярлыками
Мультимедийные приложения
(документы, видео, презентации, коды)
URL референсные ссылки на e-mail, блоги,
социальные сети
Управление жизненным циклом
Сбор метаданных из любых DM, DW, ETL/DI, BI
инструментов и Big Data/Hadoop
Управление Корпоративной Архитектурой
(Управление конфигурацией метаданных)
Оценка влияния изменений
Стандартизация и управление данными
Поддержка различных стандартов управления
метаданными
Аннотации и метки
Бизнес-глоссарий и происхождение данных
Интегрированно с продуктами Oracle
Oracle Database
Oracle Data Integrator, Oracle GoldenGate
Oracle Business Intelligence Enterprise Edition
Oracle Business Intelligence Applications
(ODI and older Informatica based OBIA)
- 30. Oracle : Наиболее открытый и гетерогенный
Операционная интеграция (Перемещение и трансформации) Сбор метаданных (Глоссарии, взаимосвязи, анализ влияния))
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
30
Hadoop HBase
Hadoop Hive/Flume
HP Enscribe
HP NonStop
HP Neoview
Hypersonic SQL
IBM DB2 i Series
IBM DB2 UDB
IBM DB2 z Series
IBM Informix
IBM Netezza
JMS / MQ
Microsoft Access
Microsoft SQLServer
MySQL
Pivotal Greenplum
PostgreSQL
Salesforce.com
SAP BW / BI
SAP ERP / ECC
SAS
SQL/MP
SQL/MX
Sybase ASE
Sybase IQ
Teradata
Adaptive
Altova
Apache Hcatalog
Apache Hive/HQL
Borland
CA ERwin
Cloudera Impala
COBOL Copybook
DataStax
Embarcadero
EMC ProActivity
GentleWare
Google BigQuery
Grandite
Hadapt Hive
Hortonworks Hive
IBM Cognos
IBM DB2
IBM DataStage
IBM Discovery
IBM Federation Server
IBM Lotus Notes
IBM Netezza
IBM Rational Rose
IBM Rational Architect
Informatica Metadata Mgr.
Informatica PowerCenter
CoSORT
ISO SQL Standard (DDL)
MapR Hadoop Hive
MicroFocus
Microsoft Access
Microsoft Office Excel
Microsoft Visio
Microsoft SQL Server
Microsoft SSIS
Microsoft Visual Studio
Microstrategy
Magic Draw
OMG CWM Standard
OMG UML Standard
Oracle BI Answers
Oracle BI Enterprise Edition
Oracle BI Server
Oracle DAC
Oracle Data Integrator
Oracle Data Modeler
Oracle Database
Oracle Designer
Oracle Hyperion Applications
Oracle Hyperion Essbase
Oracle Warehouse Builder
Pivotal Greenplum
PostgreSQL
QlikView
SAP BO Crystal Reports
SAP BO Designer
SAP BO Desktop Intelligence
SAP BO Repository
SAP BO Data Integrator
SAP BO Data Steward
SAP Master Data Management
SAP Sybase PowerDesigner
SAP Sybase ASE Database
SAS Data Integration Studio
SAS BI Server
SAS Information Map
SAS Metadata Management
SAS OLAP Server
Select
Sparx Architect
Syncsort
Tableau
Talend
Teradata
Tigris
Visible
W3C DTD XSD Schema
Oracle Database
Oracle Exadata
Oracle Big Data Appliance
Oracle TimesTen
Oracle OLAP
Oracle Business Intelligence
Oracle BI Applications
Oracle E-Business Suite
Oracle JD Edwards Enterprise One
Oracle JD Edwards World
Oracle Fusion Applications
Oracle Governance Risk and Compliance
Oracle Fusion AIA
Oracle Retail Applications
Oracle Agile BI / DW
Oracle Agile PLM for Process
Oracle iFlex FlexCUBE
Oracle iFlex Mantas
Oracle Hyperion Applications
Oracle PeopleSoft
Oracle Siebel CRM / OnDemand
Oracle Communications
Oracle WebLogic Server
Oracle Coherence Data Grid
Oracle SOA Suite
Oracle Enterprise Service Bus
+ open APIs and standards
based meta-model
- 31. Metadata Harvesting from all Popular Platforms
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
- 32. OEMM Домашняя страница с панелью репозитория и
закладками
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Веб-приложение
с
прикрепленным
репозиторием
метаданных
- 33. Графический браузер диаграмм моделей данных
Просмотрщик
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
метаданных
позволяет
получить как
общую картину
так и детали
zoom-in / zoom-out
по по всей
комплексной
модели
метаданных
- 34. Поиск по ключевым словам по всем метаданным
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Полноценный
текстовый
поиск
позволяет
легко
осуществлять
навигацию по
большим
моделям
метаданных
- 35. Версионность моделей и возможность сопоставления
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Легко
группировать и
сравнивать
модели данных
однородных баз
данных или
между
различными
версиями для
определения
значимых
изменений
- 36. Портал для совместной работы разработчиков
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Полнофункци
ональная
работа
команд
включает
поддержку
Анализа
жизненного
цикла условия
и домены
- 37. Архитектура потоков данных от начала и до конца
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Визуализация
взаимодействая
систем
Графическое
представление
аннотаций и
границ систем
- 38. Визуализация расчетов систем визуализации
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Детализация
формул и
расчетов,
отображенные
напрямую из
движков ETL и
BI отчетов
- 39. Просмотр истории происхождения данных
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Визуализация
колонок и
зависимости на
уровне шагов
расчета
показателей
между
различными
системами,
базами данных
и отчетных
форм
- 40. Встроенный Бизнес-глоссарий (не отдельный модуль)
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Выходя за
пределы
словарей
базы данных,
ссылается на
бизнес-
термины
метаданных
и систем
- 41. Политики бизнес глоссария и референсных данных
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Для ключевых
таблиц и
диапазонов
значений ,
ассоциирует с
глоссарием
метаданных с
актуальными
терминами
данных,
типами и
взаимосвязей