La presentación brinda nuestra experiencia instalando y configurando clusters de Datastax Analytics en Azure. Lessons Learned. Blog post: http://arjon.es/2016/11/16/usando-azure-templates-para-instalar-datastax-cassandra-y-spark/

1. Instalando Datastax Analytics en Azure
Azure Templates, Cassandra y Spark
Gustavo Arjones
gustavo@socialmetrix.com
@arjones

2. Co-founder & CTO de Socialmetrix
Prof. de Social Media Analytics y Big Data en UdeSA
Lic. Ciencias Computación
MBA Marketing Servicios
@arjones
gustavo@socialmetrix.com
Brasileño, en Argentina desde 2008 (me mudé para armar Socialmetrix)
Gustavo Arjones

3. Socialmetrix
Medimos la actividad de las compañías y
personalidades en las redes sociales para
generar valor a profesionales de
Marketing, Investigación de Mercado y
Producto.
Software As A Service

4. Tecnologías que Usamos

6. Volumen
• Capturamos +10MM de fanpages de Facebook, cuentas de
Twitter, Instagram, YouTube Channel, blogs, sites, etc
• Se generan +1.500 MM de interacciones en un mes
• Capturamos +1Tb por mes de nuevos datos, los antiguos NUNCA
se borran; +30 Tb storage actual; ~10Tb hot data
• 250+ servidores, + databases, +ambientes de prueba/staging

7. Necesitamos de una DB para Time-Series
• Escale linear
• Tiempo de respuesta de <1seg (customer facing)
• Crecimiento contínuo de datos (no se hace rotate, no se pierde
resolución)
• Qué podamos pagar!

8. Hay que instalar
12 nodos de C*!
(o 500 nodos)

10. Cientos de Customizaciones
• YMMV es un acrónimo que odio
• ”Your Mileage May Vary” == no te puedo contar, probalo vos!
• Número de nodes
• Vnodes: 0, 32, 64, 128 ?
• Cores, Memoria
• Compaction Strategy
• Data Model

12. Producción
Run
Template
Run
Ansible
Deploy
App
:)

13. Azure Templates

14. Solución IaaS
• Azure cli (nodejs)
• Azure Resource Manager Templates
(JSON describe infraestructura)

15. Azure Resource Manager Templates
• Útil para crear maquinas identicas (clusters)
• Cassandra
• MySQL Percona XtraDB Cluster
• Docker-Swarm

16. Azure Resource Manager Templates
• ArmViz permite ver el grapho de dependencias

17. Azure Resource Manager Templates
Visual Studio Code
• auto-complete
• validación básica:
• missing variables and parameters
• parameters defined and not used

18. Azure Resource Manager Templates (lo malo)
• JSON es el nuevo XML
• Falta Lint, Validadores
• Hay que ejecutar template ($$$) para ver lo que pasa

19. Ansible
vs
Bash
vs
Life Cycle Manager

20. Ciclo de Implementación
• bash script simple
• bash script, ya no tan simple, va a Azure Template

21. 🤔🤔🤔 Hum … tengo Ansible ….

22. Lessons Learned
• Usar Life Cycle Manager para probar distintas configuraciones,
después pasar esos parámetros a Ansibe
• Empezar el proceso por Ansible y evitar la tentación de usar
”custom bash scripts”.

23. Cassandra para corpo:
Datastax

27. Datastax Enterprise 5.0.3
• Apache Cassandra 3.0.9.1346
• Apache Spark 1.6.2.2
• Apache Solr 4.10.3.2.1347
• Spark Jobserver 0.6.2.100
• Datastax Startup Program: Free Software + Support!
Mejor densidad de servers!
No necesito PaaS (HDInsight)

28. Datastax Enterprise
• Opscenter (monitoring)
• Life cycle Manager (Install+Config)
• Analytics Mode = Cassandra + Spark
• Cassandra File System (CFS) ~ HDFS
• Spark Master en HA

31. Lessons Learned (Cassandra)
• Servers muy chicos ~ 500Gb (< 1Tb)
• I/O y Memoria son las cosas más importantes (en ese orden)
• Sin compaction no hay felicidad
• Sin repair no hay felicidad
• Data Model
• YMMV

32. Migrando nuestra app de FOSS Spark
• Sacar las dependencias de Spark y de Spark-Cassandra-Driver
• Cambiar por:
"com.datastax.dse" % "dse-spark-dependencies" % "5.0.1" % "provided”
• Detecta automáticamente Spark-Master
• Autentica al cluster de Cassandra y a Spark
• Usar dse spark-submit

33. dse spark-submit
--class smx.ananke.spark.drive.${CLASS_NAME}
--jars local://${BASE_DIR}/lib/ananke-${PROJECT_VERSION}-deps.jar
--executor-memory 58G
--total-executor-cores 48
--conf "spark.cassandra.output.concurrent.writes=2"
--conf "spark.ui.showConsoleProgress=false"
local://${BASE_DIR}/current/ananke-${PROJECT_VERSION}.jar
Spark-Submit

34. Datastax Analytics (lo malo)
• Spark version 1.6  2.0 cambió la abstracción de Streaming
• Ajuste fino de memoria o OOM!
• Hay pocas metricas en Opscenter, se queda corto
• No hay integración de Spark-UI, solo un link

35. Para saber más
http://www.datastax.com/datastax-enterprise-for-startups
https://github.com/Azure/azure-quickstart-templates
https://azure.microsoft.com/en-us/documentation/articles/resource-group-template-deploy-cli/
https://github.com/socialmetrix/azure-resource-manager-dse/tree/feature/socialmetrix/singledc/
http://www.slideshare.net/patrickmcfadin/analyzing-time-series-data-with-apache-spark-and-
cassandra
http://arjon.es

36. Obrigado &
Gracias!
Gustavo Arjones
CTO & Co-Founder
gustavo@socialmetrix.com
@arjones
http://arjon.es