Predictive Analytics oder Data Science sind in einer Zeit, in der die Menge an Daten stetig zunimmt, wertvolle Hilfsmittel. Die Einsatzbereiche sind vielfältig und reichen von der Vorhersage von Fußballergebnissen über persönliche Kaufempfehlungen in Online-Shops bis zum Ergreifen präventiver Wartungsmaßnahmen in der industriellen Produktion. In diesem Vortrag werden verschiedene Dienste der Azure-Datenplattform vorgestellt, mit denen aus der Datenflut hilfreiche Erkenntnisse gewonnen werden können.

1. //Rebuild
Hätte ich auf der Titanic überlebt?
BigData Analysis End-To-End
Olivia Klose
Technical Evangelist, Microsoft
@oliviaklose

2. Sammeln
Analysieren
Konsumieren
Speichern

4. Was war? Was ist? Was wird?

5. Advanced Analytics – Beyond BI
What
happened?
Why did
it happen?
What will
happen?
How can we
make it happen?
Traditional BI Advanced Analytics

6. Was war? Was ist? Was wird?

7. Sensordaten im Geschäft

8. Sensordaten im Geschäft
ID Kunden ID Interaktionsdaten x- & y-Koordinaten
Product ID

9. Sensordaten im Geschäft
Display ID Display Name x-Koordinaten y-Koordinaten

10. Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
Produkte

11. Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
Produkte
Join
Nach Beliebtheit
sortieren

12. Hadoop

13. HDInsight

14. HDInsight

15. Azure Management Portal
http://manage.windowsazure.com

16. HDInsight

17. HDInsight

18. HDInsight

23. Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren

24. Orchestrieren?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren

25. Orchestrieren?
Azure Data Factory
C#
MapReduce
Hive
Pig
Stored Procedures

28. Azure Data Factory

29. Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren
Azure Data Factory

30. Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables
Nach Beliebtheit sortieren
In SQL DB
kopieren
Azure Data Factory

31. Datasets

32. Pipelines

33. Pipeline #1

34. Pipeline #1

35. Pipeline #1

36. Pipeline #1

37. Linked Services

38. Linked Service #1

39. Linked Service #2

40. Linked Service #3

41. Pipeline #2

42. Und was kam raus?

43. Sammeln
Speichern
Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsight Machine
Learning
Cortana

44. Was war? Was ist? Was wird?

45. Echtzeitdaten von Geschäften

46. Azure Stream Analytics
Azure SQL DB
Azure Event Hubs
Azure Tables
Azure Blob Storage
Azure Blob
Storage
Azure
Event Hubs
Reference
Data
Query runs continuously against
incoming streams of events
Events
Optionally, have a defined
schema and are temporal
(sequenced in time)

47. Azure Stream Analytics – Query

48. Azure Stream Analytics – Query

49. Azure Stream Analytics – Query

50. Azure Stream Analytics – Query
Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt

51. Azure Stream Analytics – Zeitfenster
Tumbling Window Hopping Window
Sliding Window

52. Azure Stream Analytics

53. Beliebte Produkte? In Echtzeit.
Wann, was,
wieviele
Sensordaten Event-Hub
Stream
Analytics
Dashboard

54. Gespeichert in SQL DB

56. Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsight Machine
Learning
Cortana

57. Was war? Was ist? Was wird?

58. Was ist Machine Learning?
“The goal of machine learning is
to program computers to use
example data or past experience
to solve a given problem.”
Introduction to Machine Learning, 2nd Edition, MIT Press

59. Machine Learning – Warum?
1.Zu komplex:
Man kann es nicht programmieren.
(z.B. Natural Language Processing, Handschrifterkennung, Computer
Vision,…)
2.Zu viel: Man kann es nicht skalieren.
(z.B. Spam & Betrugsaufdeckung, Medizin)
3.Zu speziell: Man will
personalisierte Programme schreiben.
(z.B. Amazon, Netflix)
4.Autonomes Lernen
(z.B. Robotik)

60. Azure Machine Learning
Machine Learning für alle
Unternehmen, Data Scientists,
Entwickler, Analysten und Nutzer
überall auf der Welt zugänglich machen

61. Azure Machine Learning
HDInsight
SQL Server VM
SQL DB
Blobs & Tabellen
Cloud
Desktopdateien
Exceltabelle
Andere…
Lokal
ML
Studio
IDE für ML
Web Service
M
Monetarisieren
Speicherkonto

62. Azure Machine Learning

66. Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Data Factory HDInsight Machine
Learning
Cortana
Dashboard

67. Wrap Up
Was haben wir gemacht?

68. Was war? Was ist? Was wird?

69. Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsight Machine
Learning
Cortana

70. Machine Learning
Muss ich jetzt
Machine Learning lernen?

71. Azure Marketplace – Empfehlungsdienst

72. Build
Was ist neu?

73. Azure Data Lake
http://azure.com/datalake

74. Machine Learning API
http://gallery.azureml.net

75. Project Oxford
http://projectoxford.ai

77. Kostenloses E-Book
http://aka.ms/MLbook

78. Blog-Serie zu Machine Learning
http://aka.ms/MLSerie

79. Kostenlose Video-Serie zu Azure ML
http://aka.ms/AzureML-MVA

80. Weitere Informationen
http://aka.ms/startHDInsight
http://aka.ms/MVABigData
http://aka.ms/startADF
http://aka.ms/startASA
http://aka.ms/MLserie
http://aka.ms/AzureML-MVA

81. http://aka.ms/TechWiese

82. Danke! 
aka.ms/azurenow
oliviaklose.com
@oliviaklose