Aragón Open Social Data. Técnicas de análisis de datos de redes sociales

ARAGÓN OPEN SOCIAL DATA
Técnicas de análisis de datos de
redes sociales
Alberto Alcolea
alberto.alcolea@kampal.com
http://kampal.com

Física + estadística + redes complejas + supercomputación = Kampal

VIVIMOSVIVIMOS
CONECTADOSCONECTADOS
A INTERNETA INTERNET

> 750 millones de usuarios únicos

> 500 terabytes de datos al día

> 340 millones de tweets al dia

Redes sociales
“Una red social es una estructura social compuesta
por un conjunto de actores (tales como individuos u
organizaciones) que están relacionados de acuerdo a
algún criterio (relación profesional, amistad,
parentesco, etc.)”

¿Para qué sirven las redes sociales?
• Mantener contacto con amigos
• Buscar trabajo
• Buscar pareja
• Vender productos
• Promocionar empresas
• Recomendaciones
• Transporte

EL PODER DE LAS REDES
•Los individuos organizados como grupo
•Capacidad para organizar grupos enormes
•Reputación online
•Propagación de la información e inmediatez de la misma

Datos sociales → valor para empresas

La información social es un caos

Datos Ambiguos
DeseStructurados
Sin formato
No siguen ontologías

ARAGÓN OPEN SOCIAL DATA
API WEB
Escucha de los datos
Abierta
Datos estructurados
Datos históricos
Facilita la reutilización de los datos
Análisis en tiempo real
Visualización
Extraer valor de los datos
Informes a medida

Dos estrategias de escucha
Mensajes geoposicionados
dentro de Aragón
Mensajes que hablan de las
tendencias de Aragón

20 mensajes válidos por minuto
Más de 14 Millones de mensajes válidos
Más de 64 Millones de mensajes recogidos
Desde el 1 de enero de 2014

Análisis en tiempo real
Suscripciones por correo electrónico

Términos: palabras o conjunto de palabras que
deben contener los mensajes a analizar
Filtro por fecha: desde / hasta
Dejar en blanco para analizar todo el contenido
Filtro por comarca:
Se puede seleccionar una comarca o elegir “TODO
ARAGÓN”

Ejemplo buscando los términos:
“pilares” y “pilarica”
en todo aragón sin filtrar por fechas

Términos: “PILARES” y “PILARICA”
Parámetros de la consulta
Tipo de contenidoFuente de los datos
Resumen general

Top 50
Top 20

Términos: “PILARES” y “Fiestas del pilar”
entre el 1 de septiembre y el 30 de octubre de 2015

Términos: “desbordamiento” y “riada”

Términos: “desbordamiento” y “riada”
entre el 1 de febrero y el 30 de abril de 2015

Término a término
Total (suma)

Términos: “PILARES” y “Fiestas del pilar”
entre el 1 de septiembre y el 30 de octubre de 2015
Autor Fuente Fecha de publicación Ver el mensaje origina en el sitio web donde fue publicado

La mayoría de redes sociales GEOPOSICIONAN SU
CONTENIDO

Normalizado por n.º de habitantes

Aragón
N.º mín. de mensajes enviados desde un punto
N.º máx. de mensajes enviados desde un punto
N.º de mensajes geoposicionados encontrados
Normalizar por n.º de habitantes

Podemos extraer valor de la geoposición de los
mensajes

Términos: “desbordamiento” y “riada” entre el 1
de febrero y el 30 de abril de 2015

Procesar automáticamente lenguaje natural
para identificar y extraer información acerca
de la actitud del autor a la hora de escribir el
mensaje

Las redes sociales son utilizadas como UN medio
de expresión de SENTIMIENTOS

Aprendizaje automático
¿Cómo una máquina puede analizar los
sentimientos?
Entrenando un sistema automático con mensajes para que
sea capaz de clasificarlos satisfactoriamente
Calcula la probabilidad de que una palabra sea positiva o
negativa

sentimientos?
Varias estrategias: (ninguna fiable al 100%, precisión del 65-70%)
●
Análisis manual
●
Partir de una bolsa de palabras clasificadas por humanos y
deducir el sentimiento del resto de palabras de la oración.
●
Analizar automáticamente si una oración es positiva o
negativa, por ejemplo, comprobando emoticonos.
●
Si una oración tiene un emoticono deducir el sentimiento
del resto de palabras de la oración.

sentimientos?
Análisis basado en emoticonos:
Emoticonos “positivos”: :) :D =D :]
Emoticonos “negativos”: :( :[

Ejemplo con Tweets comentando una serie de TV

ME GUSTAA!!! qué bien,de las mejores series :D
Ya, pero que mi Fabio no muera tampoco :(((((
sentimientos?

sentimientos?

sentimientos?
ME GUSTAA!!! que bien,de las mejores series :D
Mensaje positivo
Mensaje (muy) negativo

sentimientos?
ME GUSTAA!!! qué bien de las mejores series :D
Ya pero que mi Fabio no muera tampoco :(((((
Mensaje positivo
Mensaje (muy) negativo
pron verbo adv nombreadjprep detdet
Análisis léxico
adv conj det nombre adv verbo advconj

sentimientos?
gusta →
bien →
mejores →
series →
Puntuamos
ya →
Fabio →
no →
muera →
tampoco →

sentimientos?
Aplicamos probabilidades

sentimientos?
gusta Prob pos = 100%→
bien Prob pos = 100%→
mejores Prob pos = 100%→
series Prob pos = 100%→
Puntuamos
ya Prob pos = 0%→
Fabio Prob pos = 0%→
no Prob pos = 0%→
muera Prob pos = 0%→
tampoco Prob pos = 0%→
Nota: la probabilidad de que una palabra sea positiva es la inversa de la probabilidad de que sea negativa

sentimientos?
Añadimos nuevos tweets al análisis

sentimientos?
Que tampoco muera Carmen. Me gusta. :D
El resto de mis series están a la espera :(
Mensaje positivo
Mensaje negativo
conj adv nombre verbopronverb
Análisis léxico
det nombre detnombre verboconj prep nombre
¡Antes eran negativas!
¡Antes era positiva!

sentimientos?
Entrenamiento con 4600 tweets con emoticonos
gusta 75%→
bien 92%→
mejores 83%→
series 56%→
ya 52%→
Fabio 49%→
no 60%→
muera 74%→
tampoco 75%→
Probabilidad positiva Probabilidad negativa

sentimientos?
Normalizado:
Polaridad = prob. positivo – prob. negativo
1: más positivo-1: más negativo 0: neutro

sentimientos?
Polaridad: 0,94
97% prob. positiva
Polaridad: -0,99
99% prob. negativa

sentimientos?
Me gusta esta serie
Polaridad: 0,88
94% prob. positiva
¡Que ya no muera nadie!
Polaridad: -0,99
99% prob. negativa

Tres términos: “clase”, “sentimientos” y “open data”

Términos: “riada” y “inundación” entre el 1 de febrero
y el 30 de abril de 2015

Términos: “pilares” y “fiestas del pilar” entre el 1 de
septiembre y el 30 de octubre de 2015

Términos: “desprendimiento” entre el 19 de marzo y el
21 de marzo de 2016

En el contexto de la teoría de redes, una red
compleja se refiere a una red (grafo) que posee
cierta propiedades estadísticas y topológicas
no triviales que no ocurren en redes simples
Ejemplo de redes con tales características en
la naturaleza son las redes sociales, las redes
neuronales...

Grafo:
- Conjunto de nodos
- Unidos por enlaces

¿Qué relaciones se pueden
analizar en una red social?:
- ¿Quién es amigo de quién?
- ¿Quién menciona a quién?
- ¿Quién usa un hashtags?
- ¿Quién retweetea a quién?
- ¿Quién vive cerca de quién?
- ¿Quién …?

Emisor Mensaje
@pepe No me gusta como ha quedado, @maria
@maria Hola @javier, me ha parecido muy interesante
@javier Gracias @maria, todo ha sido gracias a @ana
@ana @marta, deberías ver lo que han hecho @javier y @pepe
@pepe @maria ahora esta mejor

@javier
@maria
@marta
@pepe
@ana

Propiedades de las redes
complejas:
- Distribuciones de grado
- Estructuras comunitarias
...

Distribución de grado:
Número de enlaces “que entran”
a un nodo
1
2
2
0
1

@javier
@maria
@marta
@pepe
@ana
1
2
1
1
1
Simplificamos enlaces:
1
1

@javier
@maria
@marta
@pepe
@ana
El grosor de un enlace depende del número de menciones de un usuario a otro
1
2
1
1
1
1
1

El grado (de entrada) de un nodo depende del número de los enlaces dirigidos a él
1
@javier
@maria
@marta
@pepe
@ana
1
2
1
1
1
1
1
3
2
1
1

El tamaño de un nodo es proporcional a su grado
1
@javier
@maria@pepe
1
2
1
1
1
1
1
3
2
1
1
@Ana
@Marta

Posición: los nodos “gravitan” alrededor de los nodos de mayor tamaño
1
@javier
@maria
@pepe
1
2
1
1
1
1
1
3
2
1
1
@Ana
@Marta

Estructuras comunitarias:
Aquellos grupos especialmente
afines en su interior, que forman
algo diferenciado del resto.

Emisor Mensaje
@pepe No me gusta como ha quedado, @maria
@maria Hola @javier, me ha parecido muy interesante
@javier Gracias @maria, todo ha sido gracias a @ana
@ana @marta, deberías ver lo que han hecho @javier y @pepe
@pepe @maria ahora esta mejor
A @marta sólo la menciona @ana y no participa con nadie más → comunidad

Cada color corresponde a una comunidad
1
@javier
@maria
@pepe
1
2
1
1
1
1
1
3
2
1
1
@Ana
@Marta

Algunas propiedades que
podemos observar:
¿Cuántas de las personas relacionadas con un individuo se
relacionan entre sí?
Ninguna Todos están relacionados

podemos observar:
¿Es una red jerarquizada? ¿Todos se relacionan con el mismo
número de personas?
Red jerarquizada
Cada uno tiene distinto
número de relaciones
Red no jerarquizada
Todos tienen el mismo
número de relaciones

podemos observar:
¿Cuál es la cohexión de la red? ¿Está la red dividida en grupos que
se pueden separar fácilmente?
No pueden separarse Pueden separarse

Buscando “cincormazada”
Federación asociaciones
de barrios
Turismo
Ocio nocturno
Políticos y medios de
comunicación
Organismos oficiales y
medios de comunicación

Buscando “calanda”
Organismos oficiales
Prensa y medios
Turismo
Meteorología
Red mucho más conexa y menos jerárquica
Es más complicado determinar donde acaba
una comunidad y dónde empieza otra.

Hasta 10 suscripciones.
Cada una:
- Hasta 10 términos
- Filtro por comarca

También podemos suscribirnos desde una búsqueda

¡Gracias!
Alberto Alcolea
alberto.alcolea@kampal.com
http://kampal.com
http://opendata.aragon.es

Aragón Open Social Data. Técnicas de análisis de datos de redes sociales

Recomendados

Recomendados

Más contenido relacionado

Similar a Aragón Open Social Data. Técnicas de análisis de datos de redes sociales

Similar a Aragón Open Social Data. Técnicas de análisis de datos de redes sociales (20)

Último

Último (20)

Aragón Open Social Data. Técnicas de análisis de datos de redes sociales