In jedem Unternehmen fallen in rapide steigendem Umfang Daten auf operativen IT-Systemen an. Bisher wird nur ein kleiner Teil dieser Maschinendaten zu Auswertungen herangezogen. Die klassische Business Intelligence stößt aber bei den wachsenden Datenmengen an ihre Grenzen und ist nicht auf die Bearbeitung unstrukturierte Daten ausgerichtet. Mit modernen Werkzeugen kann jetzt jedes Unternehmen seine Datenschätze erschließen, auswerten und effektiv für die Weiterentwicklung ihres Geschäfts nutzen. Der Vortrag wird an einem konkreten Use Case aufzeigen, wie modernes Log Management mit Splunk und Hadoop aus dem Rohstoff Maschinendaten geldwerten Nutzen zieht.

1. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

2. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Verborgene Datenschätze heben
Mit Hunk und Hadoop von Maschinendaten zu
geschäftsrelevanten Einsichten
Big Data User Group
Stuttgart, 27.02.2014
Johannes Feulner, Geschäftsführer
fun communications GmbH

3. Log Management
und Big Data
Analytics save
the World

4. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Agenda
 Big Data
 Log Management
 Success Story
 Creating a Big Data Platform

5. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Wir über uns
Johannes Feulner
Geschäftsführer, Gesellschafter
Mitgesellschafter 35 MitarbeiterGründung Firmensitz

6. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
DATA

7. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Big Data – Die Herausforderung
Datenvielfalt Datenmenge
Herkömmliche Werkzeuge
Erwartete Antwortzeit
Genau hier setzen
wir an!

8. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Strukturierte vs. unstrukturierte Daten
Quelle: http://www.yalescientific.org/2012/03/hadapt-yale-startup/

9. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Log Management

10. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Grundanforderungen im Log Management
Sammeln
Zentrale
Speicherung
Langzeit-
speicherung
SucheAnalyse
Reporting
Skalierbarkeit

11. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Wie baue ich eine Big Data Plattform?
Ingestion
Wo sind meine
Datenquellen?
Wie kann ich darauf
zugreifen?
Persistenz
Müssen historische
Daten verfügbar
sein?
Gibt es durch-
laufende Daten?
Rechte/Rollen
Welcher Nutzer darf
welche Daten
sehen?
Monitoring/Alerting
Wie werden
Erkenntnisse in
bestehende
Betriebsabläufe
integriert?
Compliance
Welche Audits
müssen
revisionssicher
unterstützt werden?
Analytics
Welche Tools sollen
integriert werden?
Reaktionszeit
Wie schnell müssen
Auswertungen
erfolgen? Batch
oder Echtzeit?
Technologie
Welche
Technologien
decken meine
Anforderungen am
besten?
Datenschutz
Wo sind
schutzwürdige
Daten zu
anonymisieren oder
pseudonymisieren?

12. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Die Herausforderung: Auswahl der richtigen Werkzeuge
HP ArcSight Logger
LogLogic

13. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Unsere Sichtweise …
Log Management ist der zentrale Enabler mit Mehrwert für
viele Bereiche im Unternehmen.

14. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Success Story

15. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Problem
 Mail-Empfänger
 Spam und Phishing-Mails auf den ersten Blick
erkennen
 Mail-Versender
 Mails sollen Posteingang erreichen
 Vertrauen des Kunden
 Kennzahlen über Mail-Empfang

16. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Lösung
 Versender signiert E-Mails
 E-Mail Provider prüft Signatur
 E-Mail Provider kennzeichnet
vertrauenswürdige Mail
 Zentrale Plattform zur
Auswertung und Abrechnung

17. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Eckdaten
 Dezentrale Absender-Authentifizierung und
Integritätsprüfung
 Zentrale Analyse der „Logo-Events“ aller beteiligten Provider
 Mehr als 2 Mrd. Logo-Events monatlich; Tendenz stark
wachsend
 15 zentrale Server
 4 Mail-Provider -> Reporting
 Dutzende Newsletter-Versender -> Reporting

18. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Historie
 Klassischer Start mit einer Oracle-basierten Lösung
 Bis 150 Mio. Logo-Events pro Monat
 Berechnungszeit pro Tagesreport: > 24 h

19. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Big Data Plattform
aufbauen

20. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Revolution
Migration auf Hadoop
 Cluster aus 7 Rechnern, 1 Master Node, 6 Slave Nodes
 Mehrere Hive- und MapReduce-Skripte (Python)
 Import der verdichteten Daten in Oracle DB
 2 Mrd. Logo-Events pro Monat
 Berechnungszeit pro Tagesreport: 3 h

21. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
… so what about ?
Then there came new questions …

22. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

23. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

24. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

25. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

26. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

27. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

28. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

29. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

30. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

31. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

32. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

33. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

34. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

35. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!

36. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Neue Fragen? Einfach ausprobieren!
Mail-Öffnungsstatistik nach Domains
earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" cid
= "*" | rename cid as tdcheckid |join tdcheckid
[search tdcheckid="*" earliest="1/1/2012:0:0:0"
latest="1/2/2012:0:0:0" ] | chart count as total by
tddomain
Mittlere Öffnungszeiten
source = "*tdlogos*" | transaction cid keepevicted="true"
maxspan="20m" | stats avg(duration)

37. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Tutorial
Lessons Learned

38. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Evolution
Migration to Hunk
 Hunk = Analytics for Data on Hadoop
 Customizing instead of Programmierung
 Implementing 5 times faster
 Free exploration, asking new questions
 Graphic Reports out of the box
 Roles and User Management out of the box
 Time to calculate the daily reports: 3 h

39. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
„Das sind Abertausende, wenn nicht
Millionen Textzeilen. Aber ich muss
sie nicht alle persönlich durchsehen
… Ich habe eine … Software, die
jeder gratis im Internet bekommt.
Damit kann ich auch große Daten-
mengen verwalten“
(sagt Piero Manzano p. 496 f. und rettet die Welt)
http://www.fun.de/splunk

40. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Johannes Feulner
Geschäftsführer
johannes.feulner@fun.de
+49 721 96448-0
www.fun.de