1. A felhőalapú architektúrák
és szolgáltatások
Kodok Márton
@martonkodok
Google Developer Expert
REEA.net

2. ● angolul „cloud computing”
● a szolgáltató eszközein (Google GCP, Amazon AWS, Microsoft Azure)
● a szolgáltatás üzemeltetési részleteit a felhasználótól elrejtve
● adatközpontok - data center - távoli hozzáféréssel irányítható
● nincs szükség dedikált hardver vásárlására
● Idényjellegű is lehet (“per second billing”, “black friday”)
● gyorsan változtatható az allokált erőforrások mérete is
● Helyfüggetlen - Méretezhető - Nagy rendelkezésre állás - Költségkímélő
● Rendszeres biztonsági frissítések
Felhőalapú számítástechnika
A felhőalapú architektúrák és szolgáltatások @martonkodok

3. A felhőalapú architektúrák és szolgáltatások @martonkodok
Hogy is néz ki valójában egy
szerverház, data center?

4. ColoCrossing @martonkodok

5. ColoCrossing @martonkodok

6. REEA.net uses GCP
Build on the same infrastructure
that powers Google

7. Google Cloud Platform (GCP)
Compute Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Datalab
Cloud
Pub/Sub
Genomics
Storage & Databases
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Cloud
Spanner
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Cloud
Vision API
Cloud
Speech API
Cloud Natural
Language API
Cloud
Translation
API
Cloud
Jobs API
Data
Studio
Cloud
Dataprep
Cloud Video
Intelligence
API
Advanced
Solutions Lab
Compute
Engine
App
Engine
Kubernetes
Engine
GPU
Cloud
Functions
Container-
Optimized OS
Identity & Security
Cloud IAM
Cloud Resource
Manager
Cloud Security
Scanner
Key
Management
Service
BeyondCorp
Data Loss
Prevention API
Identity-Aware
Proxy
Security Key
Enforcement
Internet of Things
Cloud IoT
Core
Transfer
Appliance

8. Google Cloud Platform (GCP)
Compute Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Datalab
Cloud
Pub/Sub
Genomics
Storage & Databases
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Cloud
Spanner
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Cloud
Vision API
Cloud
Speech API
Cloud Natural
Language API
Cloud
Translation
API
Cloud
Jobs API
Data
Studio
Cloud
Dataprep
Cloud Video
Intelligence
API
Advanced
Solutions Lab
Compute
Engine
App
Engine
Kubernetes
Engine
GPU
Cloud
Functions
Container-
Optimized OS
Identity & Security
Cloud IAM
Cloud Resource
Manager
Cloud Security
Scanner
Key
Management
Service
BeyondCorp
Data Loss
Prevention API
Identity-Aware
Proxy
Security Key
Enforcement
Internet of Things
Cloud IoT
Core
Transfer
Appliance

9. 1. Free for all - Learn and build on GCP for free.
https://cloud.google.com/free/
2. Codelabs - will step you through the process of building a small app
https://codelabs.developers.google.com
3. Qwiklabs - Become a cloud expert with hands-on training $$$
https://qwiklabs.com/home?locale=en
GCP pályakezdőknek
A felhőalapú architektúrák és szolgáltatások @martonkodok

10. A felhőalapú architektúrák és szolgáltatások @martonkodok
Free for all 1/3

11. Google Compute Engine - Virtual Machines
A felhőalapú architektúrák és szolgáltatások @martonkodok

12. General use > Compute Engine and REST
A felhőalapú architektúrák és szolgáltatások @martonkodok
iOS
Android
Web
Mobile Services REST API
Compute Engine
Flexibility for Every Workload
● High-Performance, Scalable VMs
● Custom Machine Types
● CentOS, Ubuntu, Windows
● Persistent Disks or SSD (local or
network based)
● Per-second billing
● Networking
● Firewall
● Load balancing
● Compliance & Security

13. App Engine - PaaS
A felhőalapú architektúrák és szolgáltatások @martonkodok

14. App Engine - Websites > API Hosting
A felhőalapú architektúrák és szolgáltatások @martonkodok
API
App EngineREST API
App Engine
Frontend
Container Engine
Multiple
Clients
API Requests
Cloud Load
Balancing
● Fully managed serverless application
platform
● Scale your applications seamlessly from
zero to planet scale
● Automatically scales depending on your
application traffic
● Traffic Splitting (app versions, A/B tests,
incremental rollouts)
● Standard vs Flexible environments
Python, Node.js, Go, Java, Ruby, PHP, .NET

16. A felhőalapú architektúrák és szolgáltatások @martonkodok
Codelabs 2/3

17. Codelabs
A felhőalapú architektúrák és szolgáltatások @martonkodok

18. A felhőalapú architektúrák és szolgáltatások @martonkodok
QwikLabs 3/3

19. QwikLabs
A felhőalapú architektúrák és szolgáltatások @martonkodok

20. QwikLabs
A felhőalapú architektúrák és szolgáltatások @martonkodok

21. A felhőalapú architektúrák és szolgáltatások @martonkodok
How to scale your app to 1 million requests

22. Legacy system: a server from a hosting company
A felhőalapú architektúrák és szolgáltatások @martonkodok
Android
Web
Endpoint
Clients
iOS
Cons:
Shared/Dedicated server
No flexibility
No additional CPU
No additional Disk
Problems:
Heavy caching - unclear code
optimizations
High load - degraded performance
Slow response time
Hosting Company
Local
Compute

23. Moving into cloud
A felhőalapú architektúrák és szolgáltatások @martonkodok
Android
Web
Endpoint
Clients
iOS
Virtual Server
Compute Engine
Vertical scaling
CPU size
RAM
HDD size
SSD
Horizontal scaling
2nd server, 3rd server
Multiple DB nodes
On demand (on campaigns on black
friday etc…)

24. A felhőalapú architektúrák és szolgáltatások @martonkodok
Creating a VM instance steps

25. Creating a VM instance
A felhőalapú architektúrák és szolgáltatások @martonkodok

26. Creating a VM instance - Choosing Region, type
A felhőalapú architektúrák és szolgáltatások @martonkodok

27. Creating a VM instance - OS, boot disk, Network
A felhőalapú architektúrák és szolgáltatások @martonkodok

28. VM instances
A felhőalapú architektúrák és szolgáltatások @martonkodok

29. Virtual Private Network - Firewall rules
A felhőalapú architektúrák és szolgáltatások @martonkodok

30. A felhőalapú architektúrák és szolgáltatások @martonkodok
Autoscaling
with Instance Groups

31. Creating an Instance Group
A felhőalapú architektúrák és szolgáltatások @martonkodok

32. Setting Autoscaling settings
A felhőalapú architektúrák és szolgáltatások @martonkodok

33. CMS with Autoscaling
A felhőalapú architektúrák és szolgáltatások @martonkodok
ZONE B
Content Server
Compute Engine
Autoscaling
ZONE A
Content Server
Compute Engine
Autoscaling
Static Content
Cloud Storage
Dynamic Content
Cloud SQL
Publisher
Cloud Load
Balancing
Cloud
DNS
Content Server
Compute Engine
Autoscaling
Content Server
Compute Engine
Autoscaling

34. A felhőalapú architektúrák és szolgáltatások @martonkodok
Example Architecture for Autoscaling on App Engine

35. App Engine Autoscaling
A felhőalapú architektúrák és szolgáltatások @martonkodok

36. A felhőalapú architektúrák és szolgáltatások @martonkodok
Cloud Endpoints

37. Cloud Endpoints: Develop, deploy and manage APIs
A felhőalapú architektúrák és szolgáltatások @martonkodok
App
Engine
Mobile Backend API
Cloud Endpoints
Android
Web
Endpoint
Clients
iOS
Manages and protects your APIs
● Works with JSON web tokens, API
keys, integration with Auth0,
Firebase Auth
● Provides insight with Stackdriver
Monitoring, Trace and Logging
● Less than 1ms per call
● Works best with Compute engine,
App Engine, and Kubernetes Engine.
● JSON/Rest/gRPC
Pricing: 0-2M $0.00 2M+ req $3/million

38. A felhőalapú architektúrák és szolgáltatások @martonkodok
Data layer design

39. Database Mapping
A felhőalapú architektúrák és szolgáltatások @martonkodok

40. DB multiple zones and Master/Slave topology
A felhőalapú architektúrák és szolgáltatások @martonkodok
Zone 1
us-central 1-a
Instance Group
Compute Engine
Web Applications
Master
Cloud SQL
Zone 2
us-central 1-f
Instance Group
Compute Engine
Web Applications
Read Replica
Cloud SQL
ReplicationCloud Load
Balancing

41. Task Queue - Message Queue systems
A felhőalapú architektúrák és szolgáltatások @martonkodok
Static Content
Cloud Storage
Dynamic Content
Cloud SQL
Dynamic Content
Cloud Datastore
Front End App
App Engine
Autoscaling
Task
Queues
Memcache
Batch App
App Engine
Autoscaling
Cloud Load
Balancing
Cloud
DNS
Workers
Compute Engine
Autoscaling

42. “ Data needs to be processed in
multiple services.
How can we pipe to multiple places?
A felhőalapú architektúrák és szolgáltatások @martonkodok

43. Architecting for The Cloud
On-Premises Servers
Event Sourcing
Frontend
Platform Services
Analyze
Metrics / Logs/
Streaming
Cloud Storage
A felhőalapú architektúrák és szolgáltatások @martonkodok
Cloud
Dataflow
Process
BigQuery
Cloud SQL
Stream
Batch
Data
Studio
Third-Party
Tools

44. “ We have our app outside of GCP.
How can we use the benefits of BigQuery?
A felhőalapú architektúrák és szolgáltatások @martonkodok

45. Data Pipeline Integration at REEA.net
Analytics Backend
BigQuery
On-Premises Servers
Pipelines
FluentD
Event Sourcing
Frontend
Platform Services
Metrics / Logs/
Streaming
Development
Team
Data Analysts
Report & Share
Business Analysis
Tools
Tableau
QlikView
Data Studio
Internal
Dashboard
Database
SQL
Application
ServersServers
Cloud Storage
archive
Load
Export
Replay
Standard
Devices
HTTPS
A felhőalapú architektúrák és szolgáltatások @martonkodok

46. ● SQL language to run BigData queries
● run raw ad-hoc queries (either by analysts/sales or Devs)
● no more throwing away-, expiring-, aggregating old data
● no provisioning/deploy
● no running out of resources
● no more focus on large scale execution plan
Our benefits using BigQuery
A felhőalapú architektúrák és szolgáltatások @martonkodok

47. Architecture: Retail > Real-Time Inventory
Ingest
App Engine
Capture Changes
Events
Cloud Bigtable
Processed Changes
Aggregates
Cloud SQL
Inventory Counts
Analytics
BigQuery
Data Warehouse
Messaging
Cloud Pub/Sub
Streaming Changes
Processing
Cloud Dataflow
Inventory Streams
Services
App Engine
Inventory APIs
Backoffice
Business Applications
Integrations
Google Services
Retail Store
Inventory Changes
A felhőalapú architektúrák és szolgáltatások @martonkodok

48. Architecture: Retail > Recommendation Engines
A felhőalapú architektúrák és szolgáltatások @martonkodok
Data Sources
Machine Learning
Applications
Browsing
Compute Engine
Shopping Cart
App Engine
Outreach
Container Engine
Purchases
Cloud Datastore
Wish Lists
Cloud SQL
Reviews
Cloud Datastore
Inventory Data
Cloud SQL
Analytics
BigQuery
Spark MLlib
Cloud Dataproc
ETL
Cloud Dataflow
Transform Data
Normalized Data
Cloud Storage
Combined Sources
Hosted Models
Cloud Machine Learning
Real-Time
Prediction API

49. Thank you.
Slides available on: slideshare.net/martonkodok
Reea.net - Integrated web solutions driven by creativity to deliver
projects.