Duże zbiory w chmurze - jak z nich skorzystać i wykorzystać

1. 1
https://mollweide.files.wordpress.com/2013/05/big-data.jpg
Co, gdzie, jak i po co?
Duże zbiory danych w chmurze, jak z nich skorzystać i
wykorzystać.
Olga
Budziszewska
Kryminolog
Fan startupów
Lokalna aktywistka
o.budziszewska@mirar.pl
Ryszard
Dałkowski
Kiedyś chyba informatyk
Startupowo sceptyczny
Antyspołeczny indywidualista
ryszard.dalkowski@exertum.pl

2. 2
„One of the most disruptive technology”
http://www.weirdtwist.com/2013/01/storm-cloud-animated-gif.html
Azure
footprint
16 regionów w 2014
Data Center
CDN

3. 3
Wzorce opłacalności
Średnie
użycie
Obciążenie
Czas
“Szybki wzrost”
Obciążenie
Czas
“Włączyć i wyłączyć”
użycieŚrednie
Nieaktywne
Obciążenie
Czas
“Nieprzewidywalne”
Średnie użycie
Obciążenie
Czas
“Przewidywalne”
Średnie użycie
SKĄD WZIĄĆ ZBIORY DANYCH…
https://datamarket.azure.com

4. 4
PARTNERZY
Domena publicznaPłatne
MicrosoftAzureServices
Compute Web & Mobile Data & Storage Analytics Networking
Hybrid Integration Identity & Access
Management
Media & CDN Developer Services Management
Virtual Machines
Cloud Services
Remote App
Batch
Web Apps
Mobile Apps
Mobile Engagement
API Management
Push Notifications
SQL Database
DocumentDB
Cache
Storage
StorSimple
Azure Search
HDInsight
Machine Learning
Stream Analytics
Data Factory
Virtual Network
ExpressRoute
Traffic Manager
BizTalk Services
Service Bus
Backup
Site Recovery
Azure Active Directory
Multi-Factor
Authentication
Media Services
CDN
Application Insights Scheduler
Automation
Operational Insights
Key Vault
App Service
API Apps
Logic Apps

5. 5
Standardowy przepływ danych w e-commerce
Przepływ danych z Big Data

6. 6
Distributed Storage (HDFS)
Query
(Hive)
Distributed Processing
(MapReduce)
DataIntegration
(ODBC/SQOOP/REST)
EventPipeline
(EventHub/
Flume)
Legenda
Red =
Core Hadoop
Blue =
Data processing
Gray= Microsoft
integration points and
value adds
Orange =
Data Movement
Green = Packages
YARN
Compute
Visualisation
Orchestration Storage
Service bus
Event Hub
Data Factory
Power BI
Stream Analytics
HD Insight
Machine Learning
Virtual Machines
Table Storage
Blob Storage
SQL Azure
Document DB
Feeds
IoT
Data Sources
Near real time analysisData Journeys
Azure

7. 7
Compute
Visualisation
Orchestration Storage
Service bus
Event Hub
Data Factory
Power BI
Stream Analytics
HD Insight
Machine Learning
Virtual Machines
Table Storage
Blob Storage
SQL Azure
Document DB
Feeds
IoT
Data Sources
Near real time analysisPredictive Analytics
Azure
Compute
Visualisation
Orchestration Storage
Service bus
Event Hub
Data Factory
Power BI
Stream Analytics
HD Insight
Machine Learning
Virtual Machines
Table Storage
Blob Storage
SQL Azure
Document DB
Feeds
IoT
Data Sources
Near real time analysisNear real time analysis
Azure

8. 8
Azure Portal

9. 9
https://youtu.be/JaW_uACHg10

10. 10
https://youtu.be/tA_Q9-aoD_I?t=28m50s

11. 11
Co to jest Machine Learning (ML)
Rozwiązuje bardzo trudne problemy
Wydobywa większą wartość Big Data
Nowa jakość w analityce biznesowej
Business
Knowledge
Data
Preparation
Modelling
Evaluation
Data
Understanding
Idea
Data
Publish
Machine Learning Process Model
Based on the CRISP-DM Model

12. 12
https://youtu.be/a07guEmVIGs?t=2m33s

13. 13
Myliłby się jednak ten,
kto przymiotnik BIG
w Big Data utożsamiałby wyłącznie z
gigantyczną ilością danych. Oznacza on
przede wszystkim to, co możemy z
tymi danymi realnie zrobić. Łukasz Kapuśniak
Chief Big Data Officer Cloud Technologies
Komputer w Firmie

14. 14
GLOBALNE SONDAŻE
I BADANIA RYNKU ONLINE
(APP)
PONAD MILION
RESPONDENTÓW W CZASIE
RZECZYWISTYM 24/7
MONITOROWANIE OFERT, CEN
I DOSTEPNOŚCI W SKLEPACH
INTERNETOWYCH
21 MILIONÓW OFERT
11 TYSIĘCY SKLEPÓW
OPEN DATA: Z LICZB
INFORMACJE O JAKOŚCI ŻYCIA
W DANEJ DZIELNICY
80 000 UNIKATOWYCH
UŻYTKOWNIKÓW MIESIĘCZNIE
W 5 MIASTACH ŚWIATA

15. 15
NIEMAL
NIEOGRANICZONA
SKALOWALNOŚĆ

16. 16
80 000 UNIKATOWYCH UŻYTKOWNIKÓW
MIESIĘCZNIE
PRZESTĘPCZOŚĆ, TRANSPORT, ZANIECZYSZCZENIA
HAŁAS, DEMOGRAFIA, WYPOCZYNEK, EDUKACJA

17. 17

18. 18
„MIELIŚMY WIELE PYTAŃ, KTÓRYCH PO PROSTU
NIE MOGLIŚMY ZADAĆ NASZYM KLIENTOM”
DANE Z FB, PUNKTÓW SPRZEDAŻY I RAPORTY
POGODOWE
“Before, we thought that people would
choose cold drinks and desserts in hot
weather,” says Cheong. “But contrary
to our assumptions, in certain outlets
we saw an opposite trend.”

19. 19
BizSpark? Dobry początek – bez zobowiązań
Unikalne oferty od Partnerów
Biznes i Marketing Rozpoznawalność i Promocja
Wsparcie techniczne
Podstawowe Elektroniczne
Rozszerzone
2 incydenty
Oprogramowanie i usługi
Narzędzia systemy i aplikacje Systemy operacyjne i aplikacje

20. 20
W prezencie
https://onedrive.live.com/embed?cid=0F87086AEA0E
DBFF&resid=F87086AEA0EDBFF%2136299&authkey=
ALjx-zc6ofB-My8&em=2
http://download.microsoft.com/download/6/E/3/6E
335796-3003-4B2D-BB55-
0A33E003F879/Microsoft_Big_Data_Booklet.pdf