BigData Dive in Minsk / Altoros conference / Windows Azure and BigData- autoscale, Linux, HDInsigh. Options for developers and startups - BizSpark, msdn subscriptions, seed fund

1. Alexey Bokov
abokov@microsoft.com
Windows Azure – BigData,
Hadoop и
многое
другое
BigData Dive : Minsk 19 September 2012
abokov

2. Содержание
Немного про Windows Azure
HDInsight – Hadoop в Azure
Q/A
#bigdataby

3. Windows Azure - инфраструктура
North Central US
South
East Asia
East AsiaNorth Europe Dublin
West Europe
AmsterdamSouth Central US
East US
West US

4. Windows Azure - инфраструктура
Подробнее о датацентрах Azure: ou.gs/wadc

5. Облачные сервисы – вычислительные
ресурсы

6. Облачные сервисы – работа с данными

7. Облачные сервисы – приложения и сеть

8. Windows Azure – немного цифр
Облачное хранилище:
 сейчас вмещает более
4 триллионов объектов
в облачном хранилище
 270 000 обращений в
среднем
 Пиковая нагрузка - 860
000 обращений в сек

10. Немного о том как работает PaaS

11. <ServiceDefinition name="MyService"
xmlns="http://schemas.microsoft.com/ServiceHosting/2008/10/ServiceDefinition">
<WebRole name="WebRole1">
<Startup>
<Task commandLine="Startup.cmd" executionContext="limited"
taskType="simple">
</Task>
</Startup>
</WebRole> </ServiceDefinition>
ServiceDefinition.csdef

12.  Модицифируем WorkerRole1approotstartup.cmd
 На примере ниже мы скачиваем и устанавливаем tomcat, но
ничего не мешает делать git clone или svn co
cscript /B /Nologo %APPROOT%utilunzip.vbs apache-tomcat-6.0.32-windows-x86.zip %APPROOT%
cscript "utildownload.vbs" "http://tcontepub.blob.core.windows.net/packages/jre6.zip"
cscript /B /Nologo %APPROOT%utilunzip.vbs jre6.zip %APPROOT%
copy %APPROOT%foo.war %APPROOT%apache-tomcat-6.0.32webapps
cd %APPROOT%apache-tomcat-6.0.32bin
set JRE_HOME=%APPROOT%jre6
И теперь мы можем делать интересные вещи!

13. Облачная БД SQL Azure

14. Да, теперь у нас:
 Поддержка БД Oracle
 Быстрые (относительно) дисковые
устройства
 Сценарии хостинга десктопных Windows
приложений
 Гибкие и удобные варианты оплаты
 VM Depot с большим выбором образов

15. Теперь у нас есть автомасштабирование!
 Встроенный в платформу сервис
 Мониторинг по утилизации CPU и
длине Azure Queues
 Если нужны более
кастомные настройки – есть
библиотека Wasabi -
ou.gs/wasabi

16. Широкий выбор тулов в IaaS сценариях
 На виртуалке ( Windows, Linux ) поднять можно все что угодно – например Confluence
 В VM Depot (vmdepot.msopentech.com ) есть redmine

17. Open source фреймворки
 SDK for PHP: phpazure.codeplex.com
 Ruby on Rails SDK: rubyonrailsinazure.codeplex.com
 DNN - DotNetNuke CMS: dotnetnuke.codeplex.com
 Lucene.NET на базе блобов: azuredirectory.codeplex.com
 Python for Visual Studio: pytools.codeplex.com
 ASP.NET web stack (MVC, Web API ): aspnetwebstack.codeplex.com

18. Cloud Ninja: cloudninja.codeplex.com
 Open source проект – пример реализации многотенантного приложения
 Может стать отличной основой для вашего кода
 Мониторинг (в том числе входящего/исходящего трафика, транзакций к
хранилищам с разделением данных по тенантам )
 Автоматическое масштабирование
 Идентификация с использованием Access Control Services
 Провижионинг ( выкладывание )
 Красивые диаграммы по данным мониторинга

19. windowsazure.github.io
 .NET SDK – работа с хранилищами, очередями, медиа сервисами
 Java SDK – хранилища, медиа сервисы, service bus
 Node.js – работа с хранилищами, управление ресурсами, БД SQL
 PHP – работа с хранилищами, вычислительными ресурсам
 Python– работа с хранилищами, вычислительными ресурсам
 Ruby – работа с хранилищами, вычислительными ресурсам
 Mobile Services – IOS, Android, Windows Phone, JavaScript, Windows Store
 Библиотеки для командной строки – PowerShell и node.js
 IISNode – хостинг node.js на IIS

20. Как воспользоваться - оплата
 Кредитная карта – Pay-as-you-go, выставляется счет в конце
месяца по фактически использованным ресурсам
 Вариант с предоплатой – MOSP – предоплата (коммитмент) на
определенную сумму, есть скидки
 Оплата по корпоративному соглашению – EA через LAR-ов,
значительные скидки
 Если нужны счета-фактуры или оплата наличными – это можно
сделать через Облакотеку - azure.oblakoteka.ru или
Софтлайн - azure.softline.ru

21. Бесплатные опции
30 дневный триал на windowsazure.com
Триал для MSDN подписчиков
Для стартапов - BizSpark на 3 года – включает в себя 8 MSDN подписок!
Windows Azure Offer $60K – облако на 2 года на $60 000 ( на конкурсной
основе )
При использовании ресурсов облака для BizSpark и MSDN подписчиков (
при необходимости использовать ресурсы больше месячного лимита ) –
скидка на ресурсы от 25%.

22. Программы Microsoft BizSpark
MS BizSpark MS Seed Fund
MS Startup
Accelerator
 Средства разработки
и тестирования ПО
 ИТ-инфраструктура
 Доступ в магазин
приложений
• Денежные гранты на
создание продукта
до $100k  $60k для Windows Azure
 Менторская помощь
 Технологический
консалтинг
 Совместный маркетинг, PR
®®

23. «Идеальный кандидат»
 Компания - разработчик ПО или интернет-сервиса, ориентированного на
большой рынок (более $1млрд), а еще лучше – создает новую большую
рыночную нишу (так называемые «подрывные» (disruptive) продукты и
технологии)
 К моменту подачи заявки компания имеет уже реализованный прототип и
нуждается в финансировании для того, чтобы довести этот прототип до
уровня коммерческого продукта
 Есть понятный бизнес-план, понимание рынка, продукта, целевой аудитории,
модели монетизации. Квалификация команды внушает экспертному жюри
уверенность в том, что продукт будет реализован
 Использование стратегических технологий Microsoft - Windows Azure,
Windows 8 и Windows Phone
Фонд посевного финансирования Microsoft

24. 32 российских стартапа уже получили гранты на сумму около
$1.3M:
ePythia, Wobot, ColorPen, PiratePay, Ajatix, SPEEREO, BodyNova, ShopPoints, Alpha Smart
Systems, Cloud Health Care, ClipClockChoister, SportFort, MoosCool, Car-Fin, RealSpeaker,
MD.Voice, 10tracks, Ubiq Mobile и др.
Прием заявок идет ежеквартально.
Подробнее: ms-start.ru/rusfund
Фонд посевного финансировани

25. KEY TRENDS

26. Internet of things
Audio /
Video
Log
Files
Text/Image
Social
Sentiment
Data Market
Feeds
eGov Feeds
Weather
Wikis / Blogs
Click
Stream
Sensors / RFID /
Devices
Spatial & GPS Coordinates
WEB 2.0Mobile
Advertisin
g
Collaboratio
n
eCommerce
Digital
Marketing
Search Marketing
Web Logs
Recommendation
s
ERP / CRM
Sales
Pipeline
Payables
Payroll
Inventor
y
Contacts
Deal
Tracking
Terabytes
(10E12)
Gigabytes
(10E9)
Exabytes
(10E18)
Petabytes
(10E15)
Velocity - Variety - variability
Volume
1980
190,000$
2010
0.07$
1990
9,000$
2000
15$
Storage/GB
ERP / CRM WEB
2.0
Internet of things
What is Big Data?

27. Big Data, BIG OPPORTUNITY
49% CEOs and CIOs
are planning big
data projects
Software Growth
1.8 2.5 3.4 4.6
0
5
Billio…
34%
compound
annual
growth rate
Services Growth
2.7 3.9 5.1 6.5
0
10
Billio…
39%
compound
annual
growth rate
1. McKinsey&Company, McKinsey Global Survey Results, Minding Your Digital Business, 2012
2. IDC Market Analysis, Worldwide Big Data Technology and Services 2012–2015 Forecast , 2012

28. New workflow in Data Warehousing

29. Devices: Internet and Internet of things

30. Collective Intelligence and Predictive analysis
How do I optimize my services
based on patterns of
weather, traffic. How do I build
a recommendation engine?
What’s the social sentiment
of my product?
How do I better predict
future outcomes?

32. MapReduce: Move Code to the Data

33. So How Does It Work?

35. Traditional RDBMS vs. NoSQL

36. Distributed Storage
(HDFS)
Query
(Hive)
Distributed Processing
(MapReduce)
ODBC
Legend
Red = Core
Hadoop
Blue = Data
processing
Purple =
Microsoft
integration
points and
value adds
Orange = Data
Movement
Green =
Packages

37. Front
end
Front
end
Stream Layer
Partition Layer
HDFS on Azure: Tale of two File Systems
Name Node
de
Data Node Data Node
Front end
HDFS API
DFS (1 Data Node per Worker Role)
and Compute Cluster
Azure Storage (ASV)
…
Azure Blob Storage

38. Azure Storage (ASV)
 Default file system for HDInsight Service
 Provides sharable, persistent, highly-scalable Storage with high
availability (Azure Blob Store)
 Azure storage itself does not provide compute
 Fast access from compute nodes to data in same data center
 Several file systems, addressable via:
asv[s]:<container>@<account>.blob.core.windows.net/<path>
 Requires storage key in core-site.xml:
<property>
<name>fs.azure.account.key.accountname</name>
<value>enterthekeyvaluehere</value>
</property>

40. Programming HDInsight
Hive, Pig, Mahout, Cascading, Scalding, Scoobi, P
egasus…
C#, F# Map/Reduce, LINQ to Hive, .NET
management clients
JavaScript Map/Reduce, Browser hosted
console, Node.js management clients
PowerShell, Cross Platform CLI tools

41. Building Developer Experiences

42. Microsoft Big Data Solution

43. Microsoft Hadoop Vision

44. http://www.windowsazure.com/
http://hadoop.apache.org/
http://nuget.org/packages?q=hadoop
http://hadoopsdk.codeplex.com

45. Изучайте и присоединяйтесь!
Центр разработки
azurehub.ru
Полезные ресурсы
ms-start.ru
rustart@microsoft.com
Контактный емейл для всех
вопросов по Windows Azure
AzureRus@microsoft.com
Сообщество пользователей
facebook.com/groups/azurerus
Последние новости
@windowsazure_ru

46. Ваши вопросы…

48. © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the
part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.