Descripción de la forma en la que Aragón Open Social Data captura y muestra la información proveniente de redes sociales. Exposición de las funcionalidades que Aragón Open Social Data posee y explicación de la tecnología que hay detrás de la aplicación.

1. ARAGÓN OPEN SOCIAL DATA
Técnicas de análisis de datos de
redes sociales
Alberto Alcolea
alberto.alcolea@kampal.com
http://kampal.com

2.
Física + estadística + redes complejas + supercomputación = Kampal

3.
VIVIMOSVIVIMOS
CONECTADOSCONECTADOS
A INTERNETA INTERNET

4.
> 750 millones de usuarios únicos

5.
> 750 millones de usuarios únicos
> 500 terabytes de datos al día

6.
> 750 millones de usuarios únicos
> 500 millones de usuarios únicos
> 500 terabytes de datos al día

7.
> 750 millones de usuarios únicos
> 500 millones de usuarios únicos
> 340 millones de tweets al dia
> 500 terabytes de datos al día

8.
Redes sociales
“Una red social es una estructura social compuesta
por un conjunto de actores (tales como individuos u
organizaciones) que están relacionados de acuerdo a
algún criterio (relación profesional, amistad,
parentesco, etc.)”

9.
¿Para qué sirven las redes sociales?
• Mantener contacto con amigos
• Buscar trabajo
• Buscar pareja
• Vender productos
• Promocionar empresas
• Recomendaciones
• Transporte

10.
EL PODER DE LAS REDES
•Los individuos organizados como grupo
•Capacidad para organizar grupos enormes
•Reputación online
•Propagación de la información e inmediatez de la misma

14.
Datos sociales → valor para empresas

15.
La información social es un caos

16.
Datos Ambiguos
DeseStructurados
Sin formato
No siguen ontologías

18. ARAGÓN OPEN SOCIAL DATA
API WEB
Escucha de los datos
Abierta
Datos estructurados
Datos históricos
Facilita la reutilización de los datos
Análisis en tiempo real
Visualización
Extraer valor de los datos
Informes a medida

19.
19 fuentes

20.
Dos estrategias de escucha
Mensajes geoposicionados
dentro de Aragón
Mensajes que hablan de las
tendencias de Aragón

22.
20 mensajes válidos por minuto
Más de 14 Millones de mensajes válidos
Más de 64 Millones de mensajes recogidos
Desde el 1 de enero de 2014

23.
Análisis en tiempo real
Suscripciones por correo electrónico

24.
Análisis en tiempo real

25.
Términos: palabras o conjunto de palabras que
deben contener los mensajes a analizar
Filtro por fecha: desde / hasta
Dejar en blanco para analizar todo el contenido
Filtro por comarca:
Se puede seleccionar una comarca o elegir “TODO
ARAGÓN”

27.
Ejemplo buscando los términos:
“pilares” y “pilarica”
en todo aragón sin filtrar por fechas

28.
Términos: “PILARES” y “PILARICA”
Parámetros de la consulta
Tipo de contenidoFuente de los datos
Resumen general

29.
Términos: “PILARES” y “PILARICA”
Top 50
Top 20

30.
Términos: “PILARES” y “PILARICA”

31.
Términos: “PILARES” y “Fiestas del pilar”
entre el 1 de septiembre y el 30 de octubre de 2015

32.
Términos: “desbordamiento” y “riada”

33.
Términos: “desbordamiento” y “riada”
entre el 1 de febrero y el 30 de abril de 2015

34.
Término a término
Total (suma)

35.
Términos: “PILARES” y “Fiestas del pilar”
entre el 1 de septiembre y el 30 de octubre de 2015
Autor Fuente Fecha de publicación Ver el mensaje origina en el sitio web donde fue publicado

36.
Geoposicionamiento

37.
La mayoría de redes sociales GEOPOSICIONAN SU
CONTENIDO

41.
Aragón

42.
Normalizado por n.º de habitantes

43.
Aragón
N.º mín. de mensajes enviados desde un punto
N.º máx. de mensajes enviados desde un punto
N.º de mensajes geoposicionados encontrados
Normalizar por n.º de habitantes

44.
Podemos extraer valor de la geoposición de los
mensajes

45.
Términos: “desbordamiento” y “riada” entre el 1
de febrero y el 30 de abril de 2015

46.
Términos: “desbordamiento” y “riada” entre el 1
de febrero y el 30 de abril de 2015

47.
Términos: “desbordamiento” y “riada” entre el 1
de febrero y el 30 de abril de 2015

48.
Análisis de
sentimientos

49.
Procesar automáticamente lenguaje natural
para identificar y extraer información acerca
de la actitud del autor a la hora de escribir el
mensaje

50.
Las redes sociales son utilizadas como UN medio
de expresión de SENTIMIENTOS

51.
Aprendizaje automático
¿Cómo una máquina puede analizar los
sentimientos?
Entrenando un sistema automático con mensajes para que
sea capaz de clasificarlos satisfactoriamente
Calcula la probabilidad de que una palabra sea positiva o
negativa

52.
¿Cómo una máquina puede analizar los
sentimientos?
Varias estrategias: (ninguna fiable al 100%, precisión del 65-70%)
●
Análisis manual
●
Partir de una bolsa de palabras clasificadas por humanos y
deducir el sentimiento del resto de palabras de la oración.
●
Analizar automáticamente si una oración es positiva o
negativa, por ejemplo, comprobando emoticonos.
●
Si una oración tiene un emoticono deducir el sentimiento
del resto de palabras de la oración.

53.
¿Cómo una máquina puede analizar los
sentimientos?
Varias estrategias: (ninguna fiable al 100%, precisión del 65-70%)
●
Análisis manual
●
Partir de una bolsa de palabras clasificadas por humanos y
deducir el sentimiento del resto de palabras de la oración.
●
Analizar automáticamente si una oración es positiva o
negativa, por ejemplo, comprobando emoticonos.
●
Si una oración tiene un emoticono deducir el sentimiento
del resto de palabras de la oración.

54.
¿Cómo una máquina puede analizar los
sentimientos?
Análisis basado en emoticonos:
Emoticonos “positivos”: :) :D =D :]
Emoticonos “negativos”: :( :[

55.
Ejemplo con Tweets comentando una serie de TV

56.
ME GUSTAA!!! qué bien,de las mejores series :D
Ya, pero que mi Fabio no muera tampoco :(((((
¿Cómo una máquina puede analizar los
sentimientos?

57.
¿Cómo una máquina puede analizar los
sentimientos?
ME GUSTAA!!! qué bien,de las mejores series :D
Ya, pero que mi Fabio no muera tampoco :(((((

58.
¿Cómo una máquina puede analizar los
sentimientos?
ME GUSTAA!!! que bien,de las mejores series :D
Ya, pero que mi Fabio no muera tampoco :(((((
Mensaje positivo
Mensaje (muy) negativo

59.
¿Cómo una máquina puede analizar los
sentimientos?
ME GUSTAA!!! qué bien de las mejores series :D
Ya pero que mi Fabio no muera tampoco :(((((
Mensaje positivo
Mensaje (muy) negativo
pron verbo adv nombreadjprep detdet
Análisis léxico
adv conj det nombre adv verbo advconj

60.
¿Cómo una máquina puede analizar los
sentimientos?
gusta →
bien →
mejores →
series →
Puntuamos
ya →
Fabio →
no →
muera →
tampoco →

61.
¿Cómo una máquina puede analizar los
sentimientos?
Aplicamos probabilidades

62.
¿Cómo una máquina puede analizar los
sentimientos?
gusta Prob pos = 100%→
bien Prob pos = 100%→
mejores Prob pos = 100%→
series Prob pos = 100%→
Puntuamos
ya Prob pos = 0%→
Fabio Prob pos = 0%→
no Prob pos = 0%→
muera Prob pos = 0%→
tampoco Prob pos = 0%→
Nota: la probabilidad de que una palabra sea positiva es la inversa de la probabilidad de que sea negativa

63.
¿Cómo una máquina puede analizar los
sentimientos?
Añadimos nuevos tweets al análisis

64.
¿Cómo una máquina puede analizar los
sentimientos?
Que tampoco muera Carmen. Me gusta. :D
El resto de mis series están a la espera :(
Mensaje positivo
Mensaje negativo
conj adv nombre verbopronverb
Análisis léxico
det nombre detnombre verboconj prep nombre
¡Antes eran negativas!
¡Antes era positiva!

65.
¿Cómo una máquina puede analizar los
sentimientos?
Entrenamiento con 4600 tweets con emoticonos
gusta 75%→
bien 92%→
mejores 83%→
series 56%→
ya 52%→
Fabio 49%→
no 60%→
muera 74%→
tampoco 75%→
Probabilidad positiva Probabilidad negativa

66.
¿Cómo una máquina puede analizar los
sentimientos?
Normalizado:
Polaridad = prob. positivo – prob. negativo
1: más positivo-1: más negativo 0: neutro

67.
¿Cómo una máquina puede analizar los
sentimientos?
ME GUSTAA!!! qué bien,de las mejores series :D
Ya, pero que mi Fabio no muera tampoco :(((((
Polaridad: 0,94
97% prob. positiva
Polaridad: -0,99
99% prob. negativa

68.
¿Cómo una máquina puede analizar los
sentimientos?
Me gusta esta serie
Polaridad: 0,88
94% prob. positiva
¡Que ya no muera nadie!
Polaridad: -0,99
99% prob. negativa

69.
Tres términos: “clase”, “sentimientos” y “open data”

70.
Términos: “riada” y “inundación” entre el 1 de febrero
y el 30 de abril de 2015

71.
Términos: “pilares” y “fiestas del pilar” entre el 1 de
septiembre y el 30 de octubre de 2015

72.
Términos: “desprendimiento” entre el 19 de marzo y el
21 de marzo de 2016

73.
Sistemas
Complejos

74.
En el contexto de la teoría de redes, una red
compleja se refiere a una red (grafo) que posee
cierta propiedades estadísticas y topológicas
no triviales que no ocurren en redes simples
Ejemplo de redes con tales características en
la naturaleza son las redes sociales, las redes
neuronales...

75.
Grafo:
- Conjunto de nodos
- Unidos por enlaces

76.
¿Qué relaciones se pueden
analizar en una red social?:
- ¿Quién es amigo de quién?
- ¿Quién menciona a quién?
- ¿Quién usa un hashtags?
- ¿Quién retweetea a quién?
- ¿Quién vive cerca de quién?
- ¿Quién …?

77.
¿Qué relaciones se pueden
analizar en una red social?:
- ¿Quién es amigo de quién?
- ¿Quién menciona a quién?
- ¿Quién usa un hashtags?
- ¿Quién retweetea a quién?
- ¿Quién vive cerca de quién?
- ¿Quién …?

78.
Emisor Mensaje
@pepe No me gusta como ha quedado, @maria
@maria Hola @javier, me ha parecido muy interesante
@javier Gracias @maria, todo ha sido gracias a @ana
@ana @marta, deberías ver lo que han hecho @javier y @pepe
@pepe @maria ahora esta mejor

79.
@javier
@maria
@marta
@pepe
@ana

80.
Propiedades de las redes
complejas:
- Distribuciones de grado
- Estructuras comunitarias
...

81.
Distribución de grado:
Número de enlaces “que entran”
a un nodo
1
2
2
0
1

82.
@javier
@maria
@marta
@pepe
@ana

83.
@javier
@maria
@marta
@pepe
@ana
1
2
1
1
1
Simplificamos enlaces:
1
1

84.
@javier
@maria
@marta
@pepe
@ana
El grosor de un enlace depende del número de menciones de un usuario a otro
1
2
1
1
1
1
1

85.
El grado (de entrada) de un nodo depende del número de los enlaces dirigidos a él
1
@javier
@maria
@marta
@pepe
@ana
1
2
1
1
1
1
1
3
2
1
1

86.
El tamaño de un nodo es proporcional a su grado
1
@javier
@maria@pepe
1
2
1
1
1
1
1
3
2
1
1
@Ana
@Marta

87.
Posición: los nodos “gravitan” alrededor de los nodos de mayor tamaño
1
@javier
@maria
@pepe
1
2
1
1
1
1
1
3
2
1
1
@Ana
@Marta

88.
Estructuras comunitarias:
Aquellos grupos especialmente
afines en su interior, que forman
algo diferenciado del resto.

89.
Emisor Mensaje
@pepe No me gusta como ha quedado, @maria
@maria Hola @javier, me ha parecido muy interesante
@javier Gracias @maria, todo ha sido gracias a @ana
@ana @marta, deberías ver lo que han hecho @javier y @pepe
@pepe @maria ahora esta mejor
A @marta sólo la menciona @ana y no participa con nadie más → comunidad

90.
Cada color corresponde a una comunidad
1
@javier
@maria
@pepe
1
2
1
1
1
1
1
3
2
1
1
@Ana
@Marta

91.
Buscando “open data”

93.
Algunas propiedades que
podemos observar:
¿Cuántas de las personas relacionadas con un individuo se
relacionan entre sí?
Ninguna Todos están relacionados

94.
Algunas propiedades que
podemos observar:
¿Es una red jerarquizada? ¿Todos se relacionan con el mismo
número de personas?
Red jerarquizada
Cada uno tiene distinto
número de relaciones
Red no jerarquizada
Todos tienen el mismo
número de relaciones

95.
Algunas propiedades que
podemos observar:
¿Cuál es la cohexión de la red? ¿Está la red dividida en grupos que
se pueden separar fácilmente?
No pueden separarse Pueden separarse

96.
Buscando “cincormazada”

97.
Buscando “cincormazada”
Federación asociaciones
de barrios
Turismo
Ocio nocturno
Políticos y medios de
comunicación
Organismos oficiales y
medios de comunicación

98.
Buscando “calanda”
Organismos oficiales
Prensa y medios
Turismo
Meteorología
Red mucho más conexa y menos jerárquica
Es más complicado determinar donde acaba
una comunidad y dónde empieza otra.

100.
Hasta 10 suscripciones.
Cada una:
- Hasta 10 términos
- Filtro por comarca

105.
También podemos suscribirnos desde una búsqueda

109.
¡Gracias!
Alberto Alcolea
alberto.alcolea@kampal.com
http://kampal.com
http://opendata.aragon.es