Slides from Cassandra Meetup held in Madrid

1. Spark & Cassandra
Un vistazo al conector de DataStax
@javituiter
www.franciscojavierpulido.com

2. Anteriormente…

3. Apache Cassandra
N
N
N
N

4. Apache Spark
RDD
M
W
W
W
W

5. Alianza
Jhonathan
Ellis
Presidente
Apache
Cassandra
Matei
Zaharia
Creador
de
Apache
Spark

6. ¿Cuándo?

7. ¿Cuándo?
julio
LANZAMIENTO
2014

8. El Conector

9. Características
RDD
Tabla

10. Características
RDD
Tabla
RDD
Tabla
Mapping
de
Filas
de
C*
como
Tuplas
Guarda
RDDs
en
C*(saveToCassandra)
Soporta
todos
los
Opos
de
datos
de
C*
Filtrado
de
filas
(en
C*)
mediante
Where
…
Más
en
la
web
oficial.

11. Arquitectura
N
N
N
N
M
W
W
W
W

12. Arquitectura
M
N
W
W
W
W
N
N
N
N

13. Ejecución
>Spark-Shell
Recomendado:
· intelliJ
· SBT
· Scala
Scala
Java

14. Comunidad

15. Impacto

16. Impacto

17. ¿Por qué?

18. Clientes
A
B
C
D
E
F

19. Demanda
Custodia
Total
::
AnalíOca
del
Histórico

20. ¿Cómo?

21. Interrelacionados
Visualización
BI
Big
Data
AnalíOca
NoSQL

22. Interrelacionados
Visualización
BI
Big
Data
AnalíOca
NoSQL
Conector
de
Datastax
Spark
+
Cassandra

23. En Práctica

24. Modelo de Datos C*
//KeySpace
CREATE
KEYSPACE
demoCMU
WITH
replicaOon
=
{'class':
'SimpleStrategy',
'replicaOon_factor':1};
use
demoCMU;
//Tabla
CREATE
TABLE
demoCMU.asistentesCMU
(id
int
PRIMARY
KEY,
nombre
text,
genero
text);
CREATE
TABLE
demoCMU.asistentesCopia
(id
int
PRIMARY
KEY,
nombre
text
,
Opo
text);
//Registros
INSERT
INTO
demoCMU.asistentesCMU
(id,
nombre,
genero)
VALUES
(1,
'Ale
Murray',
'femenino');
INSERT
INTO
demoCMU.asistentesCMU
(id,
nombre,
genero)
VALUES
(2,
'Iñigo
Aldama',
'masculino');
INSERT
INTO
demoCMU.asistentesCMU
(id,
nombre,
genero)
VALUES
(3,
'Antonio',
'masculino');
…
INSERT
INTO
demoCMU.asistentesCMU
(id,
nombre,
genero)
VALUES
(32,
'Jesus
Arrabal',
'masculino');

25. Conexión al Conector (Spark-Shell)
scala>
sc.stop
scala>:paste
//
Entering
paste
mode
(ctrl-­‐D
to
finish)
import
com.datastax.spark.connector._
//conector
datastax
spark+cassandra
import
org.apache.spark._
//conector
Spark
val
conf
=
new
SparkConf()
//creamos
una
configuración
conf.set("spark.cassandra.connecOon.host",
"10.211.55.8")
//añadimos
nuestro
host
de
C*
conf.set("spark.home",
"/opt/spark-­‐1.0.2")
//establecemos
el
Home
de
Spark
val
sc
=
new
SparkContext("local[2]",
"Cassandra
Connector
Test",
conf)
//
Creamos
el
Contexto
//
ExiOng
paste
mode,
now
interpreOng.

26. Conexión al Conector
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/libthriu-­‐0.9.1.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/cassandra-­‐all-­‐2.0.9.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/cassandra-­‐clientuOl-­‐2.0.9.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/cassandra-­‐thriu-­‐2.0.9.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/cassandra-­‐driver-­‐core-­‐2.0.4.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/spark-­‐cassandra-­‐connector_2.10-­‐1.0.0-­‐rc5.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/joda-­‐Ome-­‐2.3.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/joda-­‐convert-­‐1.2.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/hwpcore-­‐4.2.4.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/commons-­‐codec-­‐1.4.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/commons-­‐lang-­‐2.4.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/commons-­‐logging-­‐1.1.1.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/guava-­‐16.0.1.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/hwpclient-­‐4.2.5.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/metrics-­‐core-­‐3.0.2.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/newy-­‐3.9.0.Final.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/slf4j-­‐api-­‐1.7.5.jar")
sc.addJar("/opt/spark-­‐1.0.2/lib_unmanaged/snappy-­‐java-­‐1.0.5.jar")

27. Acceso a Tabla C*
scala>
val
tableCMU
=
sc.cassandraTable("democmu",
"asistentescmu")
tableCMU:
com.datastax.spark.connector.rdd.CassandraRDD[com.datastax.spark.connector.CassandraRow]
=
CassandraRDD[0]
at
RDD
at
CassandraRDD.scala:47

28. Lectura (I)
scala>
tableCMU.first
res2:
com.datastax.spark.connector.CassandraRow
=
CassandraRow{id:
20,
genero:
masculino,
nombre:
Marcos
VR}
scala>
tableCMU.take(2)
res3:
Array[com.datastax.spark.connector.CassandraRow]
=
Array(CassandraRow{id:
20,
genero:
masculino,
nombre:
Marcos
VR},
CassandraRow{id:
25,
genero:
masculino,
nombre:
Sergio
Canal
Rodrigo})
scala>
tableCMU.take(1)(0).get[Int]("idasistente")
res4:
Int
=
20

29. Lectura (II)
scala>
tableCMU.toArray
res5:
Array[com.datastax.spark.connector.CassandraRow]
=
Array(CassandraRow{id:
20,
genero:
masculino,
nombre:
Marcos
VR},
CassandraRow{id:
25,
genero:
masculino,
nombre:
Sergio
Canal
Rodrigo},
CassandraRow{id:
31,
genero:
masculino,
nombre:
jose},
CassandraRow{id:
24,
genero:
masculino,
no…
scala>
tableCMU.count
res6:
Long
=
32
scala>
tableCMU.select("nombre").toArray
res8:
Array[com.datastax.spark.connector.CassandraRow]
=
Array(CassandraRow{nombre:
Marcos
VR},
CassandraRow{nombre:
Sergio
Canal
Rodrigo},
CassandraRow{nombre:
jose},
CassandraRow{n…

30. Copiado de Tablas
tableCMU.map(
row
=>
(
row.get[Int]("id"),
row.get[String]("nombre"),
"cassandraRebelsMadrid”
)).saveToCassandra("democmu","asistentescopia"

31. Filtros
scala>
tableCMU.filter(_.get[Int]("id")>30).toArray
res15:
Array[com.datastax.spark.connector.CassandraRow]
=
Array(CassandraRow{id:
31,
genero:
masculino,
nombre:
jose},
CassandraRow{id:
32,
genero:
masculino,
nombre:
Jesus
Arrabal})

32. Importar un CSV
scala>:paste
//
Entering
paste
mode
(ctrl-­‐D
to
finish)
sc.textFile("file:///root/democmu.csv")
.map(_.split(";"))
.map(
line
=>
(line(0),line(1),line(2)))
.saveToCassandra("democmu","asistentescopia")
//
ExiOng
paste
mode,
now
interpreOng.

33. MapReduce
scala>
:paste
//
Entering
paste
mode
(ctrl-­‐D
to
finish)
tableCMU.map(_.get[String]("genero"))
.flatMap(_.split("
"))
.map((_,1))
.reduceByKey(_+_).toArray
//
ExiOng
paste
mode,
now
interpreOng.
res20:
Array[(String,
Int)]
=
Array((femenino,3),
(masculino,29))

34. Y mucho más…
Working
with
user-­‐defined
case
classes
and
tuples
Customizing
the
object
mapping
Using
Connector
in
Java
…
Visita:
hwps://github.com/datastax/spark-­‐cassandra-­‐connector/

35. Una cosa más…
@javituiter
www.franciscojavierpulido.com

36. Spark+Cassandra Streaming!
val
ssc
=
new
StreamingContext(sparkConf,
Seconds(1))
val
lines
=
ssc.socketTextStream(serverIP,
serverPort)

37. Gracias
@javituiter
www.franciscojavierpulido.com
Fuentes:
hkhamm
(GitHub)
Pkolaczk
Russel
Spitzer
(Datastax)
MarOn
Van
Ryswyk
(DataStax)