Weitere ähnliche Inhalte Ähnlich wie Big Data Discovery + Analytics = Datengetriebene Innovation! (20) Big Data Discovery + Analytics = Datengetriebene Innovation!1. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Big Data Discovery + Analytics =
Datengetriebene Innovation!
DOAG Konferenz
Nürnberg, 17.-19. November 2015
Harald Erb
ORACLE Business Analytics, EMEA
2. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
• Harald Erb
• Principal Sales Consultant
• Business Analytics Architecture
Domain Lead - DE/CH Cluster
• Kontakt
+49 (0)6103 397-403
• harald.erb@oracle.com
Referent
3. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
3
4. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 4
Digital Business – in Echtzeit und überall möglich
Lufthansa setzt z.B. im Flughafen Frankfurt
iBeacons ein, iPhone-Nutzer erhalten nun
ortsspezifische Hinweise (nächste Lounge,
Kundencenter, voraussichtliche Wartezeit bei
Sicherheitskontrollen)
Die Postkarte kann von überall nach überall
verschickt und je nach Handelspartner per
Kreditkarte, Lastschrift oder PayPal bezahlt
werden. Produziert und verschickt wird die
Postkarte von Deutschland aus. Digital
Disruption vom Strand / Pool?
Verkauf von Datenprodukten Vorsprung durch mehr Service Bessere Kundenbindung
Das Smartphone als neue Loyality-Karte:
Mobil bezahlen, Guthaben verwalten, Frei-
getränke als Bonus einlösen. Service: Store-
Finder, Öffnungszeiten, etc. Personalisierung:
Verknüpfen mit Facebook-/Twitter-Accounts,
Kaufempfehlungen sollen folgen
5. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 5
Ein Beispiel: „Hijack Campaign“ – In den Läden der Wettbewerber Geschäfte anbahnen
Digital Disruption
Video: „HIJACK - MEAT PACK GUATEMALA“Cannes Lions Winner of Bronze & Silver (Mobile Category)
6. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 6
Ein Beispiel: „Hijack Campaign“ – In den Läden der Wettbewerber Geschäfte anbahnen
Digital Disruption
7. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 7
They ‘Reframe’ Challenges
Looking at them from new
perspectives and multiple angles
They Sprint
They work at pace - researching,
testing and evaluating current
ideas while generating new ones
They Appreciate That
Failure Can Be Good
and are not afraid of new ideas
They Convert Data Into Value
They invest heavily in analyzing
their own data and data from
external sources to establish
patterns and un-noticed
opportunities
Digital Business Leaders – auffällige Merkmale
8. Konzept: Data Lab
Die benötigten analytischen, technischen und fachlichen
Skills sind nur schwer in einer Person zu vereinen. Als
Alternative bietet sich ein Teamansatz an, der vor-
handene fachliche und technische Expertise nutzt und
neue Skills (Big Data Architektur, Data Science) entwickelt
Beginnt mit dem Auftrag zu einer analytischen Aufgabe
(neues Modell/Datenprodukt, Location-based Services,
etc.). Datenbeschaffung, -untersuchung, Modellbildung,
Prototyping, Validierung, Verwertung der Ergebnisse
sind weitere Phasen in einem Data Analytics Zyklus
Datenprojekt: Team & RollenProzess
9. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 9
Data Analytics Lifecycle
Data
Understanding
Data
Preparation
Model
Planning
Model
Evaluation
Communicate
Results
Operationalize
& Monitor
Ist die Aufgabenstellung präzise
genug und liegen alle
Informationen für den Entwurf
eines analytischen Plans vor?
Liegen die notwendigen
Daten in ausreichender
Qualität vor, damit mit
dem Modellentwurf
begonnen werden kann?
Gibt es eine Vorstellung bzw.
Idee welche Art von Modell
ausprobiert/ verwendet
werden kann? Läßt sich der
analyt. Plan konkretisieren?
Ist das gefundene Modell
robust genug und sind die
Ergebnisse überprüft?
War das Datenexperiment ein
Fehlschlag oder erfolgreich?
Business
Goals
10. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 10
Bereits bekannt aus dem täglichen Projektgeschäft
Datenprojekt: Rollenverteilung / Team
» Projektsponsor: Oft verantwortlich für die Entstehung des Projektes, gibt den Impuls und definiert die zu
lösende Aufgabenstellung bzw. das zu bearbeitende Geschäftsproblem. Projektfinanzierung, Zielvorgaben,
Priorisierung und Meßgrößen für die Ergebnisbewertung werden hier ebenfalls festgelegt.
» Projektmanager: Stellt sicher, dass wichtige Meilensteine und Ziele während des Projektverlaufs zeitgerecht
und in der erwarteten Qualität erreicht werden. Verhandelt und organisiert möglichst vor Projektbeginn die
Bereitstellung zusätzlicher Ressourcen.
» Business Intelligence Analyst: Unterstützt das Projekt einerseits mit Fachwissen zu den Geschäftsbereichen
und tiefgehendes Verständnis zu Key Performance Indikatoren (KPI), den Inhalten der vorhandenen BI-Lösung
und mit den zugrundeliegenden Datenquellen. Sofern in der Unternehmensorganisation etabliert, kann diese
Rolle von einem Mitglied des BI Competence Centers (BICC) wahrgenommen werden – mit dem Vorteil, dass
das BICC von Anfang an involviert ist und zu Projektende aktiv bei der Operationalisierung der
Analyseergebnisse mitwirken kann.
» Datenbank Administrator: Für die im Datenprojekt benötigte Analytics Sandbox provisioniert und konfiguriert
der DBA gemäß Anforderung die für die Datenexperimente benötigte Datenbank. Zu den Verantwortlichkeiten
gehören hier auch das Einräumen von Zugriffsrechten für wichtige Quellsysteme, Tabellen, Repositories unter
Einhaltung vorgegebener Sicherheitsstufen.
11. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 11
Die neue Rollen bzw. Schlüsselrollen
Datenprojekt: Rollenverteilung / Team
» Fachexperte/Domainspezialist: Personen, die das Fachgebiet verstehen und üblicherweise auch von den
Ergebnissen eines solchen Projektes profitieren. Sie beraten das Team hinsichtlich des Projektkontextes,
welchen Mehrwert die angestrebten Ergebnisse liefern sollen und wie diese später im Erfolgsfall
operationalisiert werden können. Häufig nehmen Fachverantwortliche, Business Analysten oder Line Manager
solche Rollen ein.
» Data Engineer: Verantwortet Planung und Design der Analytics Sandbox und von Big Data- Architekturen, setzt
hoch-performante Hadoop-Anwendungen auf Java-Basis um. Ferner gehört die Datenextraktion aus
bestehenden Systemen sowie die Datenaufnahme und –aufbereitung in der Analytics Sandbox zu den
Aufgabenschwerpunkten. Als Lead-Developer entwickelt und berät diese Funktion auch das
Projektmanagement in technischen Fragen.
» Data Scientist: Bringt zur Lösung des gestellten Geschäftsproblems bzw. Aufgabenstellung für das
Datenexperiment das Fachwissen zur Auswahl der passenden analytischen Techniken mit, leitet die
Datenmodellierung sowie die Ausführung und Ergebnisüberprüfung der analytischen Methoden an.
12. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 12
Oracle Information Management Referenzarchitektur – Konzeptansicht
Arbeitsumgebung für Datenprojekte schaffen
13. Konzept: Data Lab
Werkzeuge unc Mittel zur
interaktiven Datenanalyse von
beliebigen Kombinationen
strukturierter und
unstrukturierter Datenquellen
Enthält alle für das Daten-Projekt
benötigten Kopien vorhandener
Unternehmensdaten und extern
beschafften Data Sets
Anwendung geeigneter statistischer
Verfahren , Optimierung der
Parameter und Auswahl eines
Modells, das die Aufgabenstellung
am besten erfüllt
Data DiscoveryAnalytical Sandbox Data Science
14. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 14
Überblick
Data Lab
» Datenerkundung Data Scientist sind im Lead
» Domänen-/Fachwissen ein kritischer Erfolgsfaktor
» Große Daten- und Werkzeugvielfalt
» Datenaufbereitung eine erhebliche Herausforderung
» Data Mashup & “ETL on the fly” agile Analysen
15. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 15
Eigenschaften und Rahmenbedingungen
Analytical Sandbox
» Bereitstellung aller vorhandenen Daten in
unverarbeiteter Form für Datenexploration,
Predictive Modeling, Data Mining, usw.
» Workspace für störungsfreie Datenexperimente
(unternehmenskrit. Systeme bleiben unberührt)
» Art des Datenprojekts bestimmt Aufbau und
Größe der Sandbox:
̶ Hadoop-Architektur und/oder Datenbank und/
oder viel Plattenplatz; In-Memory/Speziallösungen
̶ 5..10-fachen Platz pro original Data Set einplanen
Datenkopien oder neue Data Sets entstehen
durch Anreicherung von Daten durch das
Verschneiden mit zusätzlichen Datenquellen.
̶ Umgang mit semistrukturierten und unstruk-
turierte Daten
» Bestreben des Data Lab-Teams nach Exploration
aller verfügbaren Daten steht im natürlichen
Konflikt zu aufwendigen IT-Prozessen, die
Datenqualität und Datenschutz sicherstellen
» Herausforderungen:
̶ Angemessener Umgang mit sensiblen
personenbezogenen Daten, z.B. durch
Anonymisierung/Pseudonymisierung
̶ Sicherstellung der zweckgebundene Verwendung
̶ Ausreichender Zugriffsschutz und Auditing
» Enterprise IT, Data Owner/Data Stewards müssen
bei Datenbeschaffung, -bereitstellung und
qualitätssicherung kooperieren, um moderne
Analyseansätze zu ermöglichen
16. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 16
Datenversorgung
Analytical Sandbox Analysis Processing & Delivery
Data Lab & Development Environment
Data
Science
(Primary
Toolset)
Statistics Tools
Data & Text Mining Tools
Faceted Query Tools
Programming & Scripting
Data Modelling Tools
Query & Search Tools
Pre-Built
Intelligence
Assets
Intelligence
Analysis
Tools
Ad Hoc Query
& Analysis Tools
OLAP Tools
Forecasting &
Simulation Tools
Reporting Tools
Virtualisation&
InformationServices
Versorgung von
Datenprojekten
Data Quality & Profiling
Graphical rendering tools
Dashboards & Reports
Scorecards
Charts & Graphs
Sandbox – Project 3
Sandbox – Project 2
Sandbox – Project 1
Data store
Analytical
Processing
Versorgung der BI
Plattform
1
2
17. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 17
Hadoop-Technologie kann dabei helfen Big Data Herausforderungen zu meistern
Analytical Sandbox vs. Hadoop
“The Apache Hadoop software library is a framework that allows for the
distributed processing of large data sets across clusters of computers using
simple programming models. Hadoop is designed to scale up from single
servers to thousands of machines, each offering local computation and
storage. Rather than rely on hardware to deliver high-availability, the library
itself is designed to detect and handle failures at the application layer, so
delivering a highly-available service on top of a cluster of computers, each of
which may be prone to failures.“
18. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
» Vergleichsweise niedrige Kosten bei guter
horizontaler Skalierbarkeit der Infrastruktur
» Speicherung von mehr Daten, mehr Details und über
längere Zeiträume möglich
» Kostengünstige Möglichkeit, um große
Datenmengen zu analysieren
» Das "Schema-on-Read" Prinzip erlaubt die
Anwendung innovativer Analysestrategien
bei der Nutzung der neuen Datenvielfalt
» Komplementär zu bestehenden Data Warehouse-
Technologien
18
Vorteile von Hadoop im Analysekontext
Analytical Sandbox vs. Hadoop
19. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Analytical Sandbox - Technologieauswahl
Beispiel mit möglichen Anforderungen & Entscheidungskriterien
0
1
2
3
4
5
Tooling maturity
Stringent Non-Functionals
ACID transactional
requirement
Security
Variety of data formats
Data sparsity
ETL simplicity
Cost effectively store low
value data
Ingestion rate
Straight Through Processing
(STP)
Hadoop
Relational
My Application
20. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 20
Aktivitäten im Rahmen des Analyseprozesses
Data Discovery
Quelle: O’Reilly Article : ”Data Analysis: Just one component of the Data Science workflow”
Data Discovery Modeling
Analytical
Apps
Ingest &
Clean
Manage &
Update
Aquire
Store &
Expose
Visual
Analysis
Wrangle
Featurize
Interactive
Queries
Train
Update
Model
Evaluate
Deploy
Monitor
Build
Train
Data Insights Models
Enrichments Features Vectors
Zeitaufwändig
(50...80% von der Gesamtzeit)
21. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 21
Mit Hadoop-Bordmitteln: HDFS und Hive Command Line Tools
Data Discovery
Unix / Linux – ähnliche Befehle für Dateioperationen im
Hadoop Distributed File System (HDFS) SQL-Abfragen mit der Hive Command Line (Hive CLI)
22. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 22
Mit Cloudera-Bordmitteln: Impala MPP*) SQL Engine und HUE **)
Data Discovery
**) Grafische Benutzeroberfläche HUE (Hadoop User Experience) von Cloudera:
SQL Abfrage einer Hive-Tabelle mit Ergebnisdarstellung als Diagramm
*) Impala erlaubt interaktive
Ad-hoc-Abfragen mit SQL-
Syntax. Anstelle von
MapReduce wird eine massive
Parallelverarbeitungs-
(Massive Parallel Processing –
MPP) Engine verwendet, die
derjenigen in herkömmlichen
relationalen (RDBMS) ähnelt.
Bei dieser Architektur können
die Daten in HDFS- oder
HBase-Tabellen schneller als
mit Hive abgefragt werden
23. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 24
Oracle Big Data Discovery: “The Visual Face of Hadoop”
Find Explore Transform Discover Share
24. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery
25
Unterstützt den Team-Ansatz – anstatt von Data Scientists allein abhängig zu sein
DWH /
OLTP
Databases
Database
Administrator
(Enterprise IT)
Hadoop
ETL/ELT
Specialist
(Enterprise IT ,
member of
Data Factory)
Data
Engineer
Data
Science
Discovery
Output
Business
Analyst
New KPI, Report
Requirement
Data
Scientist
New Data Set
(cleaned / enriched)
25. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 26
Per Datei-Upload und Direktzugriff auf Datenbanken aus der Analytical Sandbox
Oracle Big Data Discovery mit Daten versorgen
26. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 27
Automatisiertes/manuelles Laden mit dem BDD Command Line Tool (EDP_CLI)
Oracle Big Data Discovery mit Daten versorgen
19
20
;
; ;
Dateien liegen im Hadoop Distributed File System,
passend dazu wird eine Hive Tabelle angelegt und
mit Daten geladen (z.B. via HUE)
Beispiel für einen manuellen Aufruf des Ladeprozesses mit dem Oracle Big Data Discovery Command Line Tool
Ergebnis:
Nach erfolgreichem Ladeprozess mit dem Oracle
Big Data Discovery Command Line Tool ist das neue
Data Set in der BDD Studio Anwendung verwendbar
27. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 28
Data Sets aus der Analytical Sandbox – gut organisiert und leicht auffindbar
Oracle Big Data Discovery
29. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Find Explore Transform Discover Share
Oracle Big Data Discovery by Example
Teil 1
31. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 32
Explore
32. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 33
Explore
33. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 34
Explore
34. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 35
Explore
35. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 36
Transform
36. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 37
Transform
37. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 38
Transform
38. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 39
Transform
39. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 40
Transform
40. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 41
Transform
41. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 42
Transform
42. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 43
Wie Daten(-Samples) aus Hadoop verarbeitet werden
Oracle Big Data Discovery – Blick hinter die Kulissen
43. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 44
Oracle Big Data Discovery – Deployment (Variante #1)
Diagram adopted from RittmannMead 2015
Commodity Hadoop Cluster
44. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 45
Direkt installierbar auf der Oracle Big Data Appliance
Oracle Big Data Discovery – Deployment (Variante #2)
B
Node 1 Node 2 Node 3 Node 4 Node 5 Node 6 … n
Balancer
CM Agent
DataNode
Failover Controller
JournalNode
NameNode
NodeManager
Puppet
Puppet Master
ZooKeeper
CM Agent
DataNode
Failover Controller
JournalNode
MySQL Backup
NameNode
NodeManager
Puppet
ZooKeeper
CM Server
CM Agent
DataNode
JobHistory
JournalNode
MySQL Primary
NodeManager
Puppet
ResourceManager
ZooKeeper
CM Agent
DataNode
Hive, Hue, Oozie, Solr
NodeManager
ODI Agent
Puppet
ResourceManager
Weblogic Server
Dgraph
HDFS Agent
CM Agent
Puppet
CM Agent
DataNode
NodeManager
Puppet
• One Dedicated Big Data Discovery Node:
Runs BDD-specific processes only, no Hadoop services run on this node, provides storage for Dgraph
• Ab Big Data Appliance Softwareversion 4.3 automatisch mit Mammoth installierbar
45. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 46
Big Data
Appliance
» Exalytics Steckbrief (Modell X5-4)
– 4 Intel Xeon© E7-8895 v3 Serie, 8- 72 CPU-Kerne
– 2…3 TB RAM, 4,8TB PCI Flash
– Zwei 40 GB/s infiniband ports und Ethernet port
» Das Beste aus beiden Welten:
– Exalytics beschleunigt explorative Analysen
– Hadoop skaliert bei Datentransformationen und
Datenanreicherungsprozessen
» Skalierbar
– Zusätzliche User und Daten können störungsfrei
hinzugenommen werden
» Einfache Bereitstellung
– Big Data Discovery auf Exalytics = Analyse-Engine
– Mit Oracle Big Data Appliance kombinierbar
B
Oracle Exalytics = Edge Server mit Infiniband-Anbindung an Oracle Big Data Appliance
Oracle Big Data Discovery – Deployment (Variante #3)
46. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Find Explore Transform Discover Share
Oracle Big Data Discovery by Example
Teil 2
47. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 48
Discover
48. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 49
Discover
49. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 50
Discover
50. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 51
Discover
51. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 52
Discover
55. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Data Lab: Data Discovery und Analytics im Zusammenspiel
Oracle
Advanced Analytics
Oracle Big
Data Discovery
Statistische Modelle entwickeln/testen
Keine unnötige Datenbewegung; die
Algorithmen zu den Daten bringen
Oracle R und Data Mining für massiv-
parallele Berechnungen in Hadoop oder
in der Oracle Datenbank
Direkt abfragbar via SQL und mit Oracle
BI Werkzeugen
Unbekannte Datensets für Analytics &
Datenprojekte auffinden
Art und Qualität der Daten inspizieren
Daten für weitere analytische Aufgaben
transformieren und anreichern
Zusammenhänge in den Daten erkennen
Erkenntnisse mit Fachkollegen teilen
Ergebnisse in das
Tagesgeschäft
übertragen
Interpretieren & Evaluieren
Selektion, Aufbereitung &
Transformation
56. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Oracle R Enterprise (ORE)
» Erlaubt verteilte Verarbeiung großer Datenmengen
» Profitiert von DB Funktionen, z.B. Security & SQL-Zugriff
» R Studio = GUI für Data Analysten
57
Oracle Data Mining (ODM)
» Implementiert im Oracle Databank-Kernel
» Direkter Zugriff via PL/SQL API & SQL-Operatoren
» Oracle Data Miner GUI ist Bestandteil vom SQL Developer
Data Science mit Oracle Advanced Analytics
59. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Schritte bis zum Analyseergebnis
dokumentieren
Ergebnispräsentation:
Wahrscheinlichkeiten erklären/
Risiken klar benennen
60
Ergebnisse in nachvollziehbare
Story „verpacken“
Data Lab: Resultate interpretieren und verständlich machen
Result of 1000 simulations of a $100 million investment in a
new factory: Estimation expects an annual return of 20%
over a 10-year lifespan, but the risk to loose invested money
is still 8%
Big Data Discovery – Gallery feature documents all discovery
steps taken to achieve new insights
Example of individually created Infographics explaining
key findings of new insights
61. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Auf dem Weg zum erkenntisorientierten Unternehmen
62
Perf.
Mgmt.
Knowledge
Discovery
Dynamic Dashboards
& Ad hoc Reports
Standardberichtswesen
Intelligente Geschäftsprozesse
Top-Entscheider / Executives
Entscheidungen und Maßnahmen
aufgrund von KPI’s, Scorecards, etc.
Business Analysten:
Analysen zur Untstützung des
operativenTagesgeschäfts
Berichtskonsumenten:
Benötigen ggf. Detailinformationen bis
hin zu Einzelvorgängen und Transaktionen
Automatisierte Prozesse:
Z.B. Echtzeitempfehlungen,
Intelligente Steuerung von
Einzeltransaktionen, etc.
BI Competence
Center
Data Scientists / Analytics Team
Informationsanalyse zur
Erreichung strategischer Ziele
Analytical
Competence Center Neue
Erkenntnis
62. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 63
Erkenntnisse aus dem Data Lab operationalisieren
63. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 64
Übernimmt das Management der Datenflüsse innerhalb und zwischen den Plattformen
Data Factory
» Verschiedene Deployment-Optionen:
̶ Organisationsweiten Lernprozess unterstützen
̶ Events, Kundeninteraktion “intelligent” automatisieren
̶ Risikoindikatoren, Alarmsystem, Scoring, Segmentbildung
» Deployment-Option bestimmt Technolgieauswahl
̶ Self-Service BI, Visualisierung, operational BI in Applikation
̶ Recommendation Engine, Event Processing
64. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 65
Versorgt neben dem Data Warehouse auch Data Reservoir und Analytical Sandboxes
ODI 12c: Integrationswerkzeug für die Data Factory
65. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Von den Rohdaten bis zu aussagekräftigen Informationen
66
Signal Data Information Knowledge Wisdom
Source Systems L0 - Ingestion L1 - Cleansed L2 - Normalised
Accounts
Parties
Account
Parties
Party
Addresses
Party
Contacts
Party IDs
Party
Events
Party
Ratings
Account
Limits
Party
History
Collaterals
Account
Collaterals
Party
Collaterals
Account
Balances
Account
Relations
L3 – Presented
Customer
Dimension
Account
Dimension
Currency
Dimension
Product
Dimension
Organization
Dimension
Calendar
Dimension
Account Daily
Facts
Account
Transactions
Transaction
Types
Channel
Dimension
CoA
Dimension
Company
Dimension
Longitudinal Customer view
• Format checks
• Completeness checks
• Domains checks
• Duplicates detection
• Not null validations
• Enrichment
• Record level cleansing
and business rules
• Referential integrity
• Context based business rules
and quality checks
• Aggregate level checks
• Derived and enriched data
• File validation
• Row completeness
Know nothing Know what Know how Know why
66. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Mehr Agilität durch Bereitstellung aller vorhandenen Daten
67
Data Reservoir Curated & Modelled DataData Lake
Know nothing Know what Know how Know why
Source Systems L0 - Ingestion L1 - Cleansed L2 - Normalised
Accounts
Parties
Account
Parties
Party
Addresses
Party
Contacts
Party IDs
Party
Events
Party
Ratings
Account
Limits
Party
History
Collaterals
Account
Collaterals
Party
Collaterals
Account
Balances
Account
Relations
L3 – Presented
Customer
Dimension
Account
Dimension
Currency
Dimension
Product
Dimension
Organization
Dimension
Calendar
Dimension
Account Daily
Facts
Account
Transactions
Transaction
Types
Channel
Dimension
CoA
Dimension
Company
Dimension
Longitudinal Customer view
Signal Data Information Knowledge Wisdom
67. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 68
Erkenntnisse aus dem Data Lab operationalisieren
68. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 69
Zielgenaue Informationsbereitstellung
Oracle Business Intelligence Foundation BI und
Reporting
69. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Oracle Visual Analyzer
70
Intuitive und anspruchsvolle Analysen durchführen
» Visuelle Datenerkundung über
neuen Analyse-Client auf Basis
der bewährten Oracle BI Plattform
» Umfangreiche Diagrammauswahl
mit automatischer Empfehlung
geeigneter Ergebnisdarstellungen
» Einfaches Verschneiden interner
Unternehmens-/DWH-Daten mit
eigenen Daten (MS Excel Datei)
» Anspruchsvolle Analysen mit
wenigen Klicks (R-Integration)
» Auf Tablet-Geräten verwendbar
Oracle
BI 12c
70. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 71
Erkenntnisse aus dem Data Lab operationalisieren
71. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Real-Time Data Engine: Logische Ansicht
72
Real-time
Data Engine
72. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Real-Time Data Engine: Komponenten
» Message mediation service
» Privacy filter for event data. i.e. apply customer specified privacy and
preference filters to the data stream
» Transformation of the message data to outbound form
» Apply declarative rules and models to the data stream to detect events
for further downstream processing
» Next Best Activity (NBA) event detection and processing. NBA typically
also includes control group management and global optimisation of rules
» Business Activity Monitoring
» Local data store – local persistence of rules and metadata
73
Mediation
Privacy Filter
Data Transform
Rules & Models
Next Best Action
BAM
Real-Time Data Store
73. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Logische Ansicht*)
Information Management – Big Picture
Ingestion layer includes
methods and processes to
load data and manage Data
Quality. Shape represents
the relative cost of these
processes. i.e. from none
for HDFS to lots in APL.
Raw Reservoir is typically at
the lowest level of grain.
Often lower than the
enterprise cares about.
Interpretation layer shows the
relative cost of reading data
depending on its location
An immutable store that may
be physically implemented in
relational or non-relational
technologies
* ) Based on Oracle Information Management Reference Architecture
74. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 75
Actionable Events: Intelligente Customer Experience
iBeacons
» Bluetooth Low Energy (BLE)
» Optimized for small bursts of data.
» Impressive battery Life
» Ideal for sensors
Requirements
– Find purchase pattern from data of shopper’s purchase history
– Leverage all the data, including real-time context from Beacon, CRM data, purchase
history data, to improve the relevance of the offer
– Leverage predictive models to alleviate the reliance on the rule based models
– Being able to understand customer’s feedback on Beacon marketing
Beispiel
(1/2)
75. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Actionable Events: Intelligente Customer Experience
Lösungsarchitektur
Analysis and Offering
Decision Engine
Unstructured Text Analysis
(VoC analysis)
Rule Based
Statistical
Model-based
Modeling Processing
Real Time Offering
Qualitative indices
Text Mining
Data Dictionary
Text Analysis
Collection
Batch
collection
Real Time
Collection
Web Crawling
Open API
Storage and processing Utilization
ETL
TreatmentStore
Hadoop
File
Reduce
Map
HDFS
Datafile#1 HDFS
Datafile#2 HDFS
Datafile#n HDFS
NoSQL DB
Transaction
(Key-Value)
Stores
Big Data Connectors
Mobile Apps
Unstructured Data
Visualization
Coupon
Mileage
…..
New
information
Keywords
Visualization
Search Vigan
Visualization
Dash
Board
Mobile
Real
Time
Formal &
Informal
Integration
Source system
Other internal and external
systems
Beacon
Time
Phone Number
Distance
Beacon MAC
Customer
…..
Martial Status
Customer Type
Customer ID
…..
Num of Children
Occupation
Gender
Purchase
Amount
Product
Customer ID
…..
Quantity
Date
Smart App
Web
VOC
SNS
ODS DW
Advanced
Analytics on
Purchase
Pattern
Beispiel
(2/2)
76. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Actionable Events: Intelligente Customer Experience
Lösungsarchitektur – mit Oracle Produktmapping
Analysis and Offering
Decision Engine
Unstructured Text Analysis
(VoC analysis)
Rule Based
Statistical
Model-based
Modeling Self-Learning
Real Time Offering
Qualitative indices
Text Mining
Data Dictionary
Text Analysis
Collection
Batch
collection
Real Time
Collection
Web Crawling
Open API
Storage and processing Utilization
ETL
TreatmentStore
Hadoop
File
Reduce
Map
HDFS
Datafile#1 HDFS
Datafile#2 HDFS
Datafile#n HDFS
NoSQL DB
Transaction
(Key-Value)
Stores
Big Data Connectors
Mobile Apps
Unstructured Data
Visualization
Coupon
Mileage
…..
New
information
Keywords
Visualization
Search Vigan
Visualization
Dash
Board
Mobile
Real
Time
Formal &
Informal
Integration
Source system
Other internal and external
systems
Beacon
Time
Phone Number
Distance
Beacon MAC
Customer
…..
Martial Status
Customer Type
Customer ID
…..
Num of Children
Occupation
Gender
Purchase
Amount
Product
Customer ID
…..
Quantity
Date
Smart App
Web
VOC
SNS
ODS DW
Advanced
Analytics on
Purchase
Pattern
Oracle Big Data Appliance
Oracle Event
Processing
Endeca
Information
Discovery
Oracle
Advanced
Analytics
OracleDatabase
Oracle Big Data
Connectors
Oracle Data
Integrator
Oracle Golden Gate
Oracle Data
Integrator
Beispiel
(2/2)
77. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Takeaway Message
„Um als Unternehmen die Transformation hin zu einem daten- und erkenntisorientierten
Unternehmen erfolgreich zu bewältigen, müssen Sie viel Althergebrachtes auf den
Prüfstand stellen und Ihre BI-Strategie an die neuen Gegebenheiten anpassen.
Am Anfang steht dabei ein Umdenken, eine Änderung von Kultur und Einstellungen. Nur
dann können moderne Ansätze zu Business Intelligence und Big Data Analytics ihr volles
Potenzial entfalten und Unternehmen von neuen Insights für ihr Geschäft wirklich
gewinnbringend profitieren.“ *)
78
*) Aus dem Artikel „In 7 Schritten zu einer zukunftsfesten Business-Intelligence-Strategie“ von Rüdiger Eberlein, Capgemini
Oracle unterstützt als Technologiepartner mit abgestimmten und skalierbaren
Hardware-/Softwarelösungen dabei, vorhandenes IT Know-how (SQL, ETL, etc.) auch
bei der Umsetzung von neuen Konzepten einsetzen und für Big Data Analytics
weiterentwickeln zu können.
78. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 79
Big Data mit dem Oracle Exa* Product Stack selbst erleben!
Wie weiter?
www.ise-informatik.de
ISE Information Systems Engineering
Hauptsitz in Gräfenberg,
NL in München und Nürnberg
IT-Services / Consulting für Großunternehmen
und den Mittelstand
Schwerpunkte:
Oracle Core Technology Database (RAC),
Application Server (WebLogic)
Oracle Exadata / Big Data Appliance / Exalytics
eXtreme Performance
Oracle Data Warehousing, Business Intelligence
und Analytics
Oracle Exadata Migrations
Performance Analysis & Optimization
79. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Wie weiter?
Get Your Hands Dirty mit Oracle‘s Big Data Lite Developer VM
www.oracle.com/technetwork/community/developer-vm
Video Streaming Company Beispiel
„Oracle MoviePlex“
Free
80. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
» BI Community Event im Rahmen der DOAG K+A
Di. 17.11.2015 ab 18:30, Landbierparadies Nürnberg Wodanstr. 15
» Unconference: OWB – Was Nun?
Di. 17.11.2015 / 15 Uhr
» Data Vault Forum
Mi. 18.11.2015 / 15 Uhr Galileo Lounge, Ebene 3
» Data Integration Day 2015
Mi. 9.12.2015 / 10 Uhr, Sulzbach (Taunus)
» DOAG BI Konferenz
8.-9.6.2016, Bonn, Kameha
DOAG BI Community - Veranstaltungen
81
81. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 82