Cloud Wars – what‘s the smartest
data platform
Vergleich Microsoft Azure, Amazon Web
Services und Google Cloud Platform
Stefan Kirner & Thomas Neureuther Karlsruhe, 22.6.2016

• Teamleiter BI Solutions bei der inovex GmbH
• Langjährige Erfahrung mit dem Microsoft BI Stack
• Data Management Lösungen in der Cloud
2
• inovex Lab für den Researchim Cloud Bereich
• Spezialist für die Implementierung vondata-driven-business
Lösungen
• Erfahrungen im Microsoft SQLServer BI Stack.
Stefan Kirner
Teamleiter BI Solutions bei der inovex GmbH
Werkstudent bei der inovex GmbH
Thomas Neureuther

3NIST
Was ist Cloud Computing?
“Cloud computing is a model for
enabling ubiquitous, convenient, on-
demand network access to a shared
pool of configurable computing
resources (e.g., networks, servers,
storage, applications, and services) that
can be rapidly provisioned and released
with minimal management effort or
service provider interaction”

4http://cavdar.net/cloud-computing/#/1
Warum Cloud Computing?

Hier im Focus
5Microsoft (Thierry Gasser)
I/P/S-as-a-Service
(On-Premises)
Storage
Servers
Networking
O/S
Middleware
Virtualization
Data
Applications
Runtime
You manage
Infrastructure
(as a Service)
Storage
Servers
Networking
O/S
Middleware
Virtualization
Data
Applications
Runtime
Other Manages
You manage
Platform
(as a Service)
Other Manages
You manage
Storage
Servers
Networking
O/S
Middleware
Virtualization
Applications
Runtime
Data
Software
(as a Service)
Other Manages
Storage
Servers
Networking
O/S
Middleware
Virtualization
Applications
Runtime
Data

6Albert Barron (Ibm) https://www.linkedin.com/pulse/20140730172610-9679881-pizza-as-a-service
Analogie der “as a Service“ Schichten

7http://www.adslzone.net/app/uploads/2014/09/cloud.jpg
Welche Public Cloud?

10Amazon Web Services
Public Cloud Anbieter
• Seit 2006
• Iaas Marktführer
• Dogfood für viele eigene Dienste (Amazon
Store, Video…)
• “PaaS like services with the option of IaaS-
like control in some cases”
- Dan Sullivan - Tom's IT Pro

Amazon Web Services
9Screenshot ConsoleAWS

Public Cloud Anbieter
• Seit 2010
• Als PaaS gestartet wurde seit 2013
sukzessive erweitert mit IaaS-
Komponenten
• Starke SaaS Komponenten
• Dogfood für viele SaaS Dienste (Skype,
XBox etc)
Microsoft Azure
13

Azure Platform Services „Landscape“
11https://i-msdn.sec.s-msft.com/dynimg/IC831231.png

http://www.infoworld.com/article/3051017/cloud-computing/the-importance-of-dogfooding-in-the-cloud.html
Public Cloud Anbieter
• Seit 2008– IaaS, PaaS
• No “Dogfooding“ – Googles Dienste
basieren nicht auf GCP
• Cloud SDK und CLI, Console als
WebFrontend
• Go, Java, Python
Google Cloud Platform
15

Google Cloud Platform
13
Storage and Databases Big Data and Analytics Machine Learinig
Compute
Cloud ML
Cloud SpeachAPI

14Forrester- https://d0.awsstatic.com/analyst-
Marktsituation
“The cloud wars betweenAmazon, Google, and Microsoft are
heating up, with the three working tirelessly to attract the
large business customers that bring in the big bucks.
From a technological perspective, though,the three cloud
platforms are basically equal, and offer a similar sales pitch.”
Business Insider, April 2016

15Forrester- https://d0.awsstatic.com/analyst-
Marktsituation
Gartner: 2015 Magic
Quadrant for Cloud
Infrastructure as a
Service, Worldwide

16https://www.gartner.com/doc/reprints?id=1-2G45TQU&ct=150519&st=sb
Marktsituation
Gartner: 2016 Magic
Quadrant for Enterprise
Application Platform as a
Service, Worldwide

17Synergy Research Group - https://www.srgresearch.com/
Marktsituation

18Synergy Research Group - https://www.srgresearch.com/
Marktsituation

19http://searchcloudcomputing.techtarget.com/tip/Compare-AWS-vs-Azure-vs-Google-big-data-services
„The cloud market is evolving quickly, with
an ever-changing set of big data services.
While this makes cloud vendor comparisons
difficult, it's worth the attempt, because the
offerings from the top three cloud providers -
- Amazon Web Services, Microsoft Azure and
Google -- aren't created equal.“
Jim O'Reilly

20
Fazit Marktsituation
• Einheitliches Bild zu PaaS eher schwierig
• Unterschiedliche Definitionen
• Technologien nicht immer vergleichbar/bekannt
• Qualitative Vergleiche decken nur spezielle Use
cases ab
Da müssen wir selber ran!

• Web Interface und Bedienung
• SDK‘s und Programmiersprachen
• Tooling und Integration in
Entwicklungsumgebung
• Dokumentation
21
Web Interface & Handhabung
Vergleich der Cloud Provider Services

22
Web Interface & Handhabung
• Übersichtlich und minimalistisches
Web Interface mit Übersicht über
Dienste
• Tooling
• Plugins für Eclipse und
Visual Studio vorhanden
• AWS Command Line
Interface
• AWS SDK
• S3 Browser
(Desktopanwendung)
AWS Management Console

23Azure Portal
Web Interface & Handhabung
• Web Portal mit sehr verschachtelter
Kacheloptik
• Altes und neues Portal
• Tooling
• Befehlszeilentools über
Power Shell
• CLI auch für Linux & Mac
• Azure SDK -Mit passendem
Toolkit für Visual Studio
• Azure Explorer
Azure Portal

24GCP Console
Web Interface & Handhabung
• Schlichtes Web Interface
• Tooling
• gcloud Tool - CLI für
GCP Produkte und
Services
• Cloud SDK
• Wenig IDE
Unterstützung

25
DEMO TIME

AWS Portal und S3 Bucket
26

Azure Ressourcengruppe und Speicherkonto
27

GCP Storage Bucket
28

29
Web Interface & Handhabung
Dienst Web Console Azure Portal GCP Console
Bewertung Portal:☆☆☆
SDK: ☆☆
Tooling: ☆☆
Dokumentation: ☆
CLI: ☆☆☆
Portal:☆☆
SDK: ☆☆
Tooling: ☆☆
Dokumentation:
☆☆☆
CLI: ☆☆
Portal:☆☆
SDK: ☆☆
Tooling: ☆
Dokumentation: ☆☆
CLI: ☆☆
Vergleich der Cloud Provider Services

30
Big Data /Analytics Use-Case
Data Presentation
Visualisierung und Dashboard
Analytics and Computation
Aggregation und Analyse
Collection and Storage
Event Broker und Stream Prozessor
Data Generation / Extraction
App, IoT oder Sensordaten

31http://lambda-architecture.net/
Lambda Architecture
1. Weiterleitender ankommenden
Daten zu Speed und Batch Layer
2. Batch-Layer
1. Berechnen der Batch Views
2. Rohdaten aufbewahren
3. Serving Layer indexiert die Batch
Views
4. Speed-Layer erlaubt Echtzeit
Views
5. Querys auf Batch und Echtzeit
Views möglich

32https://blogs.technet.microsoft.com/msuspartner/2016/01/27/azure-partner-community-big-data-advanced-analytics-and-lambda-
Lambda Architektur
Viele Möglichkeiten Lambda
Architektur mit Cloud
Technologien abzubilden
-> Architektur nicht an Dienste
gebunden
Lambda Architecture on Azure
Options for each Layer

33
Big Data /Analytics Use-Case
• Startup ULTRA TENDENCY
aus Japan
• Sensorwerte erfassen und
Strahlenwerte analysieren
• Umsetzung mittels Cloud
basierterAnalyse in Azure

34
Big Data /Analytics Use-Case
• ≈5000 Wetterstationen in
Baden-Württemberg
• Weather Underground API
• Temperatur, Niederschlag,
Luftdruck,
Windgeschwindigkeit
• Aktualisierung ≈ 5 min

35
Pub/Sub Dataflow
Big Query Data
Studio 360
Kinesis
Firehose
S3 Elastic Map
Reduce
Data
Pipeline
Quick Sight
Event
Hub
Stream
Analytics
Data
Factory
PowerBI
Data
Generation
Collection
and Storage
Analytics and
Computation
Data
Presentation
Data Lake
Store
Redshift
Data Lake
Analytics
Data Lake
Store

Collection
36

• Kontinuierlicher Strom von Daten empfangen
und verarbeiten
• Mehrere Publisher/Subscriber
• Skalierbar
• Hoch Verfügbar
• Niedrige Latenzen
• Echtzeit Verarbeitung und Analyse
37
Streaming Dienste
Vergleich der Cloud Provider Services

38
Pub/Sub, Message Broker - Streaming
Dienst Kinesis Event Hub Pub/Sub
Beschreibung • Nahe Echtzeit
• Zeitbasierter Ereignispuffer
• Datastrom von verschiedenen Prozessen oder Geräten
• Vereinfacht das
empfangen und
veröffentlichen von
Datenströmen in Echtzeit
• Datenaufbewahrung bis
7 Tage
• Azure Event Hubs ist ein
hochgradig skalierbarer
Dienst für das
Veröffentlichen und
Abonnieren von
Ereignissen
• Publish/Subscribe
• Hoch skalierbare
Message Queue mit
Push/Pull Delivery

39
Dienste zur Stream Verarbeitung
Dienst Kinesis Firehose
Kinesis Analytics(Beta)
Kinesis & Lambda
Stream Analytics Dataflow
Beschreibung • Echtzeitverarbeitung von Streams
• Kinesis mit SQL basierte
Anfragen
• Lambda Funktionen um
Events zu verarbeiten
• Firehose persistiert
Stream nach S3, ES
(1.5), Redshift
• SQL basierte Abfragen
• Windowing
• Echtzeitdashboards und
Warnungen
• Programmierung von
Dataflows in Java
• Damit Windowing und
quasi jeder Output
möglich

40AWS Kinesis
Streaming Dienste
• Kinesis Firehose
• Schreibt Stream in Blöcken auf
den S3 Storage, Elasticsearch
oder Redshift
• Keine Möglichkeiten der
Programmierung
• Kinesis Streams
• Macht es notwendig einen
Stream Receiver zu
programmieren und diesen zu
deployen
• AWS Lambda Funktionen
• KinesisAnalytics(Beta)

41
Streaming Dienste
• Leistungsstarkes Modell
• Eingabe
• Event Hub, Blob, IoT Hub
• Mehrere Eingaben möglich
• Abfrage
• SA-QL: SQL Ähnliche Syntax
• Window Operationen möglich
• Ausgabe
• Blob, SQL, PowerBI ....
• Mehrere Ausgaben möglich
Azure StreamAnalytics

42Google DataFlow
Streaming Dienste
• Programmiermodell
– Batch und Stream
Workload
– Pipelineing als DAG
– Arbeiten auf Collections
• Google Dataflow als Runner
für das Dataflow
Programmiermodell
Google Dataflow

43
Dienste zur Stream Verarbeitung
Dienst Amazon Kinesis Stream Analytics Dataflow
Bewertung Bedienung:☆☆
Lifecycle Management: ☆
Möglichkeiten: ☆☆
+ Simple Bedienung
- Für gleiche Funktionalität wie bei
Azure coding erforderlich
- Firehose eingeschränkte
Funktionsumfang
- Kinesis Stream benötigt selbst
implementierten und deployten
Receiver (z.B: AWS Lambda)
Bedienung:☆☆☆
Lifecycle Management:
☆
Möglichkeiten: ☆☆☆
+ Simple Bedienung
+ Hohe Funktionalität mit
geringem Aufwand
+ SQL Syntax für Abfrage
- Schlecht zu versionieren oder zu
Managen
Bedienung:☆☆
Lifecycle
Management: ☆☆
Möglichkeiten:
☆☆☆
Programmcode mit allen Vor- und
Nachteilen
+ Sehr gute Skalierbarkeit und Big
Data Fähigkeit
- Höherer Einarbeitungsaufwand

44
Kosten Message Broker /Stream Verarbeitung
Dienst Amazon Kinesis Stream Analytics Dataflow
Preise Shard Stunde 1,7ct
Put Nutzlast pro 1 Mio
Puts (25KB) 1,65ct
Verlängerte
Datenaufbewahrung
2ct/h
Beispiel: 2 Events a 35KB
pro Sekunde
≈13€/Monat
Unit Stunde 3,1ct
Nutzlast 0,1ct pro GB
Beispiel: 2 Events a 35KB
pro Sekunde
≈20€ Stream
Analytics/Monat
≈9€ Event Hub/Monat
Pub/Sub
1 Milion Operationen
40ct
Halbiert sich ab 250M
Operationen
Batch 1ct GCEU/h
Stream 1,5ct GCEU/h

45
DEMO TIME

Azure Stream Analytics
46

AWS Kinesis
47

GCP Pub/Sub
48

GCP Dataflow
49

Analytics and Computation
50

• Daten auslesen, ggf. transformieren und schreiben
(Vergleichbar mit ETL)
• Transformation eher schwieriger
• Orchestrierung Dienste
• Zusammenfassen und Orchestrierung von
Verarbeitungsschritten
• Neue Quellen und Ziele
• Cloud und Hybride Szenarien
• Big-Data Fähigkeit
51
OrchestrierungsDienste

52
Orchestrierungs Dienste
• Erstellen in AWS Management
Console
• Designer und Vorlagen
• Properties in Drop-Down
Feldern verwalten
• Recht überschaubarer
Funktionsumfang ohne
Detailfunktionen
• Deckt typische ETL-Szenarien
gut ab
• Keine Entwicklungsumgebung
und Code Management
Data Pipeline

53
Orchestrierungs Dienste – Data Pipeline
• Hive in Data Pipeline
• Ressource Anlegen
• Skript schreiben und
verknüpfen

54
Orchestrierungs Dienste
• Factory Dashboard
• Werkzeuge für das Erstellen
der Factory
• Zustandsüberwachung
• Manuelles Starten von
Vorgängen
• Auslastung und Diagnosen
Data Factory

55
Orchestrierungs Dienste
• Data Factory Projekt
• Templates erlauben
schnelles Erstellen einfacher
Anwendungsfälle
• Deployment aus Visual
Studio oder Factory
Dashboard
• JSON-Dokumente ohne
Toolunterstützung füllen
und verknüpfen
• Design by Copy and Paste
Data Factory

56
Orchestrierungs Dienste
Dienst Data Pipeline Data Factory
Bewertung Bedienung:☆☆
Lifecycle Management: ☆
Möglichkeiten: ☆☆
+ Selbsterklärender Designer
- Keine Code Completion oder
Syntax Highlighting oder
Validierung
- Code kann lediglich über JSON
exportiert und versioniert werden
(händisch)
Bedienung:☆+
Lifecycle Management:
☆☆
Möglichkeiten: ☆☆
+ Templates und Visual Studio
Unterstützung
- Kein Designer sondern
zusammenfügen von JSON
Dokumenten
SSIS weit
voraus

57
DEMO TIME

Azure Data Factory
58

AWS Data Pipeline
59

Horizontal skalierende analytische Datenspeicher
60

• Parallel verarbeitende Instanzen
• Massively Parallel Processing
Architecture
• Skalierbarkeit
• SQL Querys
61
Horizontal skalierende analytische Datenspeicher

62
Analytische Datenspeicher
• Schnelle Skalierung der Cluster
Instanzen über API Aufrufe
• Postgres-Fork nutzt
spaltenbasierte Datenbank und
massive parallele Verarbeitung
Redshift

63
Analytische Datenspeicher
•Data Lake (Beta) – Store &
Analytics
– Verteilter Speicher- und
Analysedienst großer Daten
– U-SQL – TSQL und C#
– Visual Studio Unterstützung
– Dynamische Skalierung
– Verteilte Hardware und
Parallelisierung gänzlich
abstrahiert
Data Factory - Data LakeAnalytics (Beta)

64
Analytische Datenspeicher
• Unabhängige Skalierung von
Compute- und
Speicherressourcen innerhalb
von Sekunden
• Vielfältige SQL Server-
Funktionalität mit T-SQL
Abfragen
SQL Data Warehouse (Beta)

65
Analytische Datenspeicher
•SQL Querys auf Terabyte von
Daten
•Import/Export Mechanismen
•Bezahlung nach Datenmenge
der Query
•Keine Server
•Browsertool vorhanden (sonst
REST oder CLI) - SDK für .Net,
Java, Python, Go
Google Big Query

66
Analytische Datenspeicher
Dienst AWS Redshift Azure Data Lake Big Query
Beschreibung • Postgres Fork
• Massiv Parallel
• Store und Analytics
• U-SQL als Mischung
von C# und T-SQL
• Serverless
• Pay per Query
Preise • $0.25 pro Stunde für
dc1.large
• $0.85 pro Stunde für
ds2.xlarge
• Analytics Einheit
0,017$/Minute
• Abgeschlossener Auftrag
0,025$
SQL-DWH: ab 0,70$/h
• $5 pro queryed TB
• $0.02 per GB Speicher
• $0.01 per 200 MB Insert

Dienst Amazon Redshift Azure Data Lake Big Query
Bewertung Bedienung:☆+
Lifecycle Management:
☆☆
Möglichkeiten: ☆☆
- Keine Entwicklungsunterstützung
im Web Interface oder
Entwicklungsumgebung
Bedienung:☆☆☆
Lifecycle Management:
☆☆
Möglichkeiten: ☆☆☆
+ Visual Studio Unterstützung
+ Strukturierte und
Semistrukturierte Daten
Bedienung:☆☆+
Lifecycle Management:
☆☆
Möglichkeiten: ☆☆
+ Web Tooling
67
Analytische Datenspeicher

68
DEMO TIME

AWS Redshift – und Kinesis als Quelle
69

Azure Data Lake Analytics
70

GCP Big Query
71

Data Presentation
72

• Daten Präsentieren
• Umfangreiche Visualisierungen
• Dashboards und Reports über Web
• SaaS
• Anbindung an Datenbanken
• Real-Time Anbindung
73
Datenvisualisierung

74
Datenvisualisierung
Dienst Amazon Quick Sight Microsoft Power Bi
(kein Teil von Azure aber gut integrierbar)
Google Data Studio 360
(beta)
Beschreibung • Beta (nur für
ausgewählte
Kunden)
• Echtzeit BI mit Stream
Analytics möglich
• Anbindung an
Datenbanken und
andere Datenspeicher
• Beta (nur für
ausgewählte Kunden)
• Alternativ gute Integration von BI Tools wie Tableau, Qlik und einigen
anderen

Dienst Amazon Quick Sight Microsoft Power Bi
(kein Teil von Azure aber gut integrierbar)
Google Data Studio 360
(beta)
Bewertung Bedienung:☆+
Möglichkeiten: ☆+
- Closed Beta
Bedienung:☆☆☆
Möglichkeiten: ☆☆☆
+ Viele Datenquellen
+ On-Prem Entwicklung möglich
Bedienung:☆+
Möglichkeiten: ☆+
- Beta
75
Datenvisualisierung

76
DEMO TIME

Power Bi – Daten von Stream Analytics
77

Google Data Studio
78https://datastudio.google.com/#/reporting/0B_U5RNpwhcE6bzVYT2FSNmRBUWc

79http://www.tecchannel.de/a/amazon-web-services-versus-microsoft-windows-azure,2071501,3
„Unterm Strich lässt sich sagen, dass
Microsoft aufgrund seiner PaaS-
Historie technologisch in diesem
Bereich einen deutlichen Vorsprung
hat. Amazon AWS hingegen ist derzeit
noch der unumstrittene Innovations-
und Marktführer im IaaS-Umfeld.“
René Büst - Senior Analyst und Cloud PracticeLead bei Crisp Research

80
Vergleich der Cloud Provider
Amazon Web Services Microsoft Azure Google Cloud Platform
Stream ☆☆ ☆☆☆ ☆☆
Orchestration ☆☆+ ☆☆ -
MPP ☆☆ ☆☆+ ☆☆+
Datenvisualisierung ☆+ ☆☆☆ ☆+
Für diesen Use Case hat Microsoft die Nase vorn

81
Demnächst auch als Artikelserie auf:
blog.inovex.de
Regelmäßige Beiträge zu den aktuellsten Technologie-
Themen rund um Web, Mobile, Analytics, Data Center & Co.

Vielen Dank
Stefan Kirner &
Thomas Neureuther
inovex GmbH
Ludwig-Erhard-Allee 6
76131 Karlsruhe
stefan.kirner@inovex.de
tneureuther@inovex.de
Solche Projekte und
Technologien sind für dich
interessant?
Wir suchen
Cloud Solution
Architects
und Werkstudenten
für Data Management & Analytics
Und viele andere Jobs auf
https://www.inovex.de/de/karriere
/stellenangebote