El documento presenta una arquitectura propuesta para Big Data que incluye bloques funcionales para adquisición masiva de datos, almacenamiento en Data Lake, análisis de demografía, lenguaje natural, métricas sociales y redes ego, y presentación de visualizaciones. El objetivo es analizar grandes cantidades de datos para segmentar audiencias y tomar decisiones en RTVE.

1. Cátedra RTVE-UC3M
Big Data: tecnología al servicio
del mundo audiovisual 4.0
Dr. Jose María Alvarez-Rodríguez
Noviembre 2017

2. 24/11/2017 2
¿Cuál es la
arquitectura
para
Big Data?

3. 24/11/2017 3
Análisis
Demografía
Adquisición Masiva
Escalabilidad
DataLake
Presentación
(Visualización y Configuración)
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
Bloques funcionales

4. 24/11/2017 4
¿Cómo se llega a
una solución?

5. 24/11/2017 5
Principios
de
Ingeniería
(y del éxito)

6. 24/11/2017 6
The White Rabbit put on his
spectacles.
“Where shall I begin, please
your Majesty?” he asked.
“Begin at the beginning,” the
King said gravely, “and go on till
you come to the end: then stop.”
"Think Big,
Start Small,
Learn Fast”
Source: Devil's Advocate Group

7. 24/11/2017 7
Plataforma de
adquisición y
computación continua
de métricas para el
análisis del
grafo social y de
contenidos de los
perfiles de RTVE para
su segmentación y
toma de decisiones.

8. ¿Algo más
concreto?
¡Por favor!

11. Lambda Zetta
Polyglot Processing IoT-A
Kappa

12. ProcesosDatos
Análisis Visualización
Orquestador

13. 24/11/2017 13
Adquisición de datos
Tipología
•Documentos
•Imágenes
•Vídeos
•Posts en redes sociales
•Datos científicos, geográficos, etc.
•Estadísticos
•…
Formato
•Estructurado
•Semi-estructurado
•No estructurado​
Acceso
•Ficheros
•Lenguajes de consulta
•Servicio web
•Streams
•BBDD
•...

14. 24/11/2017 14
Adquisición de datos
Tipología
• Noticias medios digitales
• Imágenes y Vídeos de redes sociales
• Textos en redes sociales
• Estadística INE (nombres, lugares, etc.)
• Audiencias RTVE
Formato
• RSS (XML)
• CSV
• JSON
• Texto
Acceso
• Hojas de cálculo
• APIs de servicios web
• Stream de redes sociales
• Enlaces Web

15. 24/11/2017 15
Análisis
Demografía
Adquisición Masiva
Escalabilidad
DataLake
Presentación
(Visualización y Configuración)
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
Bloques funcionales
Adquisición Masiva

16. Documentos
Datos
relacionales
Grafos
Índices
inversos
24/11/2017 16
Almacenamiento

17. Redes sociales y recursos
24/11/2017 17
-id : string(idl)
-Name : string(idl)
-Title : string(idl)
-Description : string(idl)
-URI : string(idl)
-Picture : string(idl)
Profile
Program Person
-created_at : long
-last_modification : long
-source : string(idl)
SocialProfile
-default_profile
1 0..1
-has_profile
1
*
SocialNetwork
-has_social_network1
1
-created_at : long
Resource
-owns
1
1
-generates
1
0..*
-name : string
-created_at : long
Relationship
-has_relationship
1
*
-has_actor
1
1
Content
Text Link Multimedia
-has1
1..*
Emisión
-has1
1..*
AuthProvider
OAuthProvider
1 1
-team
1
1..*

18. Indicadores/métricas/
observaciones
24/11/2017 18
Indicator Observation
qb:Dataset
-ref indicator
11
-qb:dataset1
1..*-dataset 1
1..*
-aggregates1
0..*
qb:DataStructureDefinition-qb:Structure
1 1
qb:ComponentSpecification
qb:DimensionProperty
-qb:ComponentProperty1
1..*
qb:AttributeProperty qb:MeasureProperty
Aggregation of KPIs implies the need of indicating
an OWA operator and a weight.
UnitOfMeasure qudt:Quantity-quanity
1 1
Metric
1
0..*
-id : string(idl)
-Name : string(idl)
-Title : string(idl)
-Description : string(idl)
-URI : string(idl)
-Picture : string(idl)
Profile
-ref metric1
1..*
-ref profile1
1
Basado en estándar W3C RDF Data Cube Vocabulary e ISO SDMX.

19. 24/11/2017 19
Análisis
Demografía
Adquisición Masiva
Escalabilidad
DataLake
Presentación
(Visualización y Configuración)
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
Bloques funcionales
Adquisición Masiva
DataLake

20. Dato capital
Analizar
Procesar
Acceder
24/11/2017 20
Estrategia
• MuchoProcesar
• MuchoAnalizar
• PocoAlmacenar
“Replay” parcial

21. 24/11/2017 21
…y de aquí a explotarlo…

22. • Estadística INE (nombres, lugares, etc.)
Estático
• Noticias medios digitales
• Imágenes y Vídeos de redes sociales
• Audiencias RTVE
• Observaciones
Lotes
• Textos en redes sociales
Stream
• Interacciones redes sociales
Eventos
24/11/2017 22
Tipo de procesamiento

23. 24/11/2017 23
Tipo de análisis
Servicios SMART
Directo
Metadatos Audiencia
Demografía
Edad/Género Localización
Contenido
Temas Sentimiento
Topología
Grafo social Relaciones

24. 24/11/2017 24
Análisis
Demografía
Adquisición Masiva
Escalabilidad
DataLake
Presentación
(Visualización y Configuración)
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
Bloques funcionales
Adquisición Masiva
DataLake
Análisis
Demografía
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
NetworkX

25. 24/11/2017 25
Visualización e integración
Servicios
web REST
Visualización
web
~ “Arquitectura MEAN”

26. 24/11/2017 26
Análisis
Demografía
Adquisición Masiva
Escalabilidad
DataLake
Presentación
(Visualización y Configuración)
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
Bloques funcionales
Adquisición Masiva
DataLake
Análisis
Demografía
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
NetworkX
Presentación

27. Gestor tareas
Adquisición
Análisis
Almacena-
miento
24/11/2017 27
Engranaje

28. 24/11/2017 28
Bloques funcionales
Análisis
Demografía
Adquisición Masiva
Escalabilidad
DataLake
Presentación
Lenguaje
Natural
(Sentimiento)
Métricas
Sociales
Ego-networks
NetworkX
ArangoDB

29. 24/11/2017 29
Infraestructura

30. 24/11/2017 30
¿Existen enfoques
similares?

31. NIST Big Data Interoperability Framework: Volume 6, Reference Architecture
https://bigdatawg.nist.gov/
Versión 2-Septiembre 2017

32. 24/11/2017 32
"Think Big,
Start Small,
Learn Fast”
“Sistema Big Data”
Business case
y
Entorno
Datos y
Procesa-
miento
AlmacénAnálisis
Arquitectura e
Infraestructura
Integración y
Explotación

33. ¡Muchas gracias por
su atención!
 Dr. Jose María Alvarez-Rodríguez
 E-mail: josemaria.alvarez@uc3m.es
 WWW: www.josemalvarez.es
 @chema_ar

34. Cátedra RTVE-UC3M
Big Data: tecnología al servicio
del mundo audiovisual 4.0
Dr. Jose María Alvarez-Rodríguez
Noviembre 2017