El documento describe una consultora tecnológica llamada Autoritas que se especializa en inteligencia artificial y análisis de grandes datos. La compañía tiene oficinas en varios países y regiones del mundo. Autoritas realiza investigaciones activas en colaboración con universidades y centros de investigación para desarrollar nuevas tecnologías en áreas como la recuperación de información, el procesamiento de lenguaje natural y el aprendizaje automático.

1. IA + big data =
problema + oportunidad

2. AUTORITAS
Autoritas es una
consultora tecnológica
con profesionales
multidisciplinares de
diferentes países del
mundo:
- Ingenieros en
Informática y
Telecomunicaciones
- Psicólogos
- Economistas
- Abogados
- Politólogos

3. Nuestra sede central
está en Madrid
(España), y tenemos
oficinas en Argentina,
Brasil, Chile, México,
Panamá y Reino Unido.
AUTORITAS

4. Nos especializamos
en :
- Español
- Portugués
- Inglés
Estamos empezando a
trabajar con:
- Italiano
- Alemán
- Francés
AUTORITAS

5. La formación y la
comunicación son muy
importantes para
nosotros.
La Escucha Activa es
una nueva disciplina y
nosotros estamos
comprometidos con su
difusión y formación a
los profesionales
interesados en el
campo.
Iberolabs
AUTORITAS

6. En Autoritas hacemos
una investigación
activa en colaboración
con reputadas
universidades y
centros de
investigación.
‣ 2008-2009: Avanza AL4Tour (ITC/464/2008)
Objective: Develop an Active Listening platform specialized in the
Tourism Sector
Budget: 744,681.83 €
‣ 2011-2012: Avanza Competitividad HCE (TSI-020100-2011-156)
Objective: Specialize the Active Listening platform in the Healthcare
Sector by developing an automatic coder of diseases expressed in
natural language into ICD-9 MC codes.
Budget: 432,129.25€
‣ 2012: Innpacto Ecoportunity (IPT-2012-1220-430000)
Objective: Combine macroeconomic indicators with social media
information to predict trends.
Budget: 576,629.00€
AUTORITAS

7. consulting, s.a.autoritas
7
@kicorangel
www.kicorangel.com

8. autoritas
8
¿Qué es Social Business Intelligence?
http://hdwall.co/facebook-wallpaper-digg/
DATOS -> INFORMACIÓN -> CONOCIMIENTO -> INTELIGENCIA
Herramientas y
métodos
Interpretación
humana
Aplicación
estratégica

9. autoritas
9
No sólo consiste en responder preguntas...
...sino también en saber qué nuevas preguntas plantear

10. autoritas
10
“Cuando eres capaz de
ver lo sutil, es fácil ganar”
Sun Tzu

11. autoritas
11
Ciclo de Inteligencia

12. autoritas
12
Recuperación de información
...y limpieza

13. autoritas
13
OBJETIVO:
Recuperar todo lo que
hay que recuperar y sin
recuperar nada que no
se deba recuperar

14. consulting, s.a.autoritas
• > 500 millones de usuarios de
Facebook
• > 150 millones de usuarios de Twitter
• > 90 millones de Webs
• > 150 millones de blogs
• aprox. 1000 exabytes anuales
EXCESO DE INFORMACIÓN
DESESTRUCTURADA
Algunas cifras... (muy antiguas)

15. consulting, s.a.autoritas
Orígenes de información (canales)

16. consulting, s.a.autoritas
API vs.
Crawler
‣API restringe el acceso a los datos:
Facilitan sólo una muestra de la información
existente y accesible a través de buscador
‣API restringe la cantidad de peticiones
realizables
‣Crawler requiere infraestructura y solución
a problemas IR (periodicidad, fechas,
idiomas, almacenamiento...)
‣Crawler puede generar problemas legales
API gratuita
vs. pago
‣Restricción de resultados: las APIs gratuítas
restringen en exceso los resultados frente a la
interfaz del buscador
‣Limitaciones de licencia de las APIs
gratuítas, no permitiendo por ejemplo la
reordenación, mezclado y almacenamiento de
datos

17. consulting, s.a.autoritas
(Re)Clasificar lo recuperado
¿Qué pasa cuando entra una noticia desde
un buscador generalista?
¿Qué canal es la url que se enlaza desde otro
canal?
¿Cómo diferenciar un blog de una web
corporativa?
¿Cómo determinar de qué dominio es una
determinada página?
Identificar
Acotar
Clasificar
Desambiguar

18. consulting, s.a.autoritas
Sección de
anuncios sin
relevancia para el
contenido
Sección de última
hora que
distorsiona la
semántica de la
página
Contenido útil
Recuperar contenido útil

19. consulting, s.a.autoritas
Inglés
estoy sin internet ¬¬ fuuuuck!!!
Finlandés
... euskocaja, como euskolabel, euskotren,
euskomueble... XDDD
Portugués
Flowah Powah!
Alemán
Vierrrrrrrrrrrrnes, egunon!!
Modelos del lenguaje vs. n-Gramms vs. Machine Learning
Filtrar por idioma

20. consulting, s.a.autoritas
Geografía de origen vs. geografía de contenido vs. geografía de perfil
Filtrar por geografía

21. consulting, s.a.autoritas
resultados
elimina url
prescindibles
filtra palabras
marca url’s como
Spam
Elimina url’s
Quita de la ‘vista’ los
antitesauros
filtra #hastags
filtra influenciadores
filtra localizaciones
Otros filtros

22. consulting, s.a.autoritas
Creo que he
resuelto el:

23. consulting, s.a.autoritas
Evaluación de la Recuperación de Información...
...en la ciencia

24. consulting, s.a.autoritas
7.000 recuperados
54 incorrectos
99.23% precisión
3.000 recuperados
50 no recuperados
98.36% alcance
Evaluación de la Recuperación de Información...
...en la empresa
¡¡Estamos
perdiendo
credibilidad!!

25. consulting, s.a.autoritas
Pero es que... la
recuperación de
información NO es
una contabilidad
No me des
excusas...

26. consulting, s.a.autoritas
=10
100
¡¡Pero Google
siempre exagera!
...porque
Google dice...

27. consulting, s.a.autoritas
Ante un “fallo” técnico lo primero que se busca...
...no es la solución, es al culpable
Técnico

28. consulting, s.a.autoritas
28
Extracción de conocimiento...

29. autoritas
29
No sólo consiste en responder preguntas...
...sino también en saber qué nuevas preguntas plantear

30. autoritas
30
¿Qué? -> E.g. Conceptualización de marcas
¿De qué está hablando la gente?

31. autoritas
31
¿De qué hablan, de la consonante,
del lenguaje de programación o
de la empresa de
telecomunicaciones gallega?

32. autoritas
32
¿Cuándo? -> E.g. Gestión de crisis
¿Cuándo suceden las cosas?

33. autoritas
33
Si la fecha va
en la url es fácil saberla
Eso es relativo,
esta URL es de Julio o de
Enero:
http://xxx/07/01/2010/
crawler-403-
forbidden.html

34. autoritas
34
¿Dónde? -> Varias perspectivas
¿Dónde ocurre una conversación?
¿De dónde se habla en una conversación?

35. autoritas
35
¿Cómo? -> No sólo sentiment analysis
La polaridad es sólo
una dimensión, la
emocional, la de
valores, DAFO...
todas ellas
responden a la
cuestión ¿cómo?

36. autoritas
36
Un ejemplo: “La prima de riesgo en España está a 235”
¿Positivo, negativo, neutro o none?

37. autoritas
37
Un ejemplo: “La prima de riesgo en España está a 235”
¿Positivo, negativo, neutro o none?
Mi pregunta: ¿Para quién?
- ¿Para el presidente del país?
- ¿Para el líder de la oposición?
- ¿Para el director del Banco de España?
- ¿Para el inversor extranjero?
- ¿Para el capitalista nacional?
- ¿Para el que tiene una hipoteca?

38. autoritas
38
¿Quién? -> Análisis de Red Social
Si quiero
transmitir con
éxito un mensaje,
¿quién me puede
ayudar?
Si hay un
conflicto,¿a
quién tengo que
vigilar?

39. autoritas
EMOTIONAL PROFILE
GENDER
AGE GROUP
NATIVELANGUAGE
... ¡y mucho mucho más!
¿Por qué? -> Author Profiling

40. autoritas
TIEMPO REAL ES CUANDO EL USUARIO ASÍ LO PERCIBE
NOCHE DE ELECCIONES
GENERALES
216.000 documentos analizados (picos
de 120 docs/seg)
‣Tweets: 176.815
‣Posts: 7.034
‣News: 2013
‣Facebook: 2.184
‣Multimedia: 671
283.000 etiquetas generadas
1.900.000 términos indexados
-Elevado número usuarios concurrentes
Por supuesto, en ¡¡tiempo real!!

41. autoritas
41
ORDEN
LA SOLUCIÓN
ES EL
BIG DATA
¡Todo el
mundo lo dice!

42. autoritas
VOLUMEN
VELOCIDAD
VARIEDAD
VIRALIDAD
VISCOSIDAD
¡Busca a Neo!
¡¡¡NOOOO!!! El Big Data es el problema...

43. autoritas
43
El big data es la solución, el problema... y la oportunidad
https://github.com/autoritas/RD-Lab/blob/master/doc/presentations/ataque.mov

44. autoritas
44
Veamos un problema concreto...

45. autoritas
45
Identificación de Variedad del Lenguaje

46. autoritas
Doble problema
Materia prima Herramientas

47. autoritas
Problema 1: Generar datasets
Materia prima
• HispaBlogs
• HispaTweets

48. autoritas
48
HispaBlogs
Franco et al., 2015

49. autoritas
49
HispaTweets
Proceso de construcción del corpus
Fabra et al., 2016

50. autoritas
50
HispaTweets
Proceso de obtención
de coordenadas
geográficas
Proceso de construcción
del corpus
Fabra et al., 2016

51. autoritas
51
HispaTweets
Del tuit al usuario, ...y su representatividad poblacional
Fabra et al., 2016

52. autoritas
52
HispaTweets
Dataset en bruto
Fabra et al., 2016

53. autoritas
53
HispaTweets
Depuración, refinamiento y filtrado del corpus:
Geográfico Temporal Usuarios
Fabra et al., 2016

54. autoritas
54
HispaTweets
Dataset final
Fabra et al., 2016

55. autoritas
Problema 2: Construir una aproximación
Herramientas
• n-gramas (caracteres,
palabras)
• Representaciones
distribuidas
• LDR

56. autoritas
56
Representaciones del estado del arte
Franco et al., 2015
Franco et al., 2015

57. autoritas
57
Representación de baja dimensionalidad (LDR)
Rangel et al., 2016

58. autoritas
58
Características de LDR
Rangel et al., 2016

59. autoritas
59
Resultados con HispaBlogs
• Algoritmos de aprendizaje
• Impacto del preprocesamiento en la precisión
• Impacto del preprocesamiento en la dimensionalidad
• Resultados de identificación
• Análisis del error
• Características más discriminantes
• Análisis de costes
Rangel et al., 2016

60. autoritas
60
Algoritmos de aprendizaje
Rangel et al., 2016

61. autoritas
61
Impacto del preprocesamiento en la precisión
Rangel et al., 2016

62. autoritas
62
Impacto del preprocesamiento en la dimensionalidad
Rangel et al., 2016

63. autoritas
63
Resultados
Rangel et al., 2016

64. autoritas
64
Análisis del error
Rangel et al., 2016

65. autoritas
65
Características más discriminantes
Rangel et al., 2016

66. autoritas
66
Características más discriminantes
Rangel et al., 2016

67. autoritas
67
Análisis de costes
Rangel et al., 2016

68. autoritas
68
Código NO optimizado: String+=String
https://s3-eu-west-1.amazonaws.com/autoritas.academy/StringPlusEqual.mp4

69. autoritas
69
Código optimizado: StringBuilder
https://s3-eu-west-1.amazonaws.com/autoritas.academy/StringBuilder.mp4

70. autoritas
70
Resultados con HispaTweets
?

71. autoritas
71
¿Y qué pasa con otros idiomas?
Rangel et al., 2016

72. autoritas
Mundo Científico vs. Mundo Empresarial

73. autoritas
0
375000
750000
1125000
1500000
Approach 1 Approach 4 Approach 7 Approach 10 Approach 13 Approach 16 Approach 19
10.26minutes28.83minutes38.31minutes54.03minutes1.04hours1.09hours2.66hours3.25hours4.66hours4.86hours5.08hours5.13hours6.37hours6.56hours6.82hours17.88hours4.44days
5.19days
6.68days
9.90days11.78days
0
10
20
30
40
Approach 1 Approach 4 Approach 7 Approach 10 Approach 13 Approach 16 Approach 19
29.06
34.72
39.86
24.20
28.34 27.98
35.06
25.14
27.03
38.58
31.25 32.34
7.87
24.65
22.87
27.03
32.22
24.67
33.04
15.40
19.82
%
Precisión vs. coste computacional
Rangel et al., 2013

74. autoritas
Grandes retos para el
científico de datos...
...con grandes problemas
más allá de la ciencia

75. autoritas
+
Skills técnicos
Skills “no-técnicos”

76. consulting, s.a.autoritas
SKILLS
TÉCNICOS
Aprendizaje
Automático: Para
inferir nuevos modelos a
partir de los datos
existentes, para dotar de
inteligencia a nuestras
aplicaciones
Recuperación de
Información: Para
acceder a las enormes
cantidades de
información disponibles
en Internet
Data Mining: Para
identificar patrones
válidos, novedosos,
potencialmente útiles y
deseablemente
comprensibles a partir
de los datos
Natural Language
Processing: Porque el
contenido textual de la
Web está escrito en el
lenguaje humano
Data
Visualization
Collective
Intelligence
System
Architecture
User
eXperience
Social
Investigation
Social Network
Analysis

77. consulting, s.a.autoritas
SKILLS NO TÉCNICOS
http://t.co/D6KHALU3Zm

78. consulting, s.a.autoritas
http://es.slideshare.net/linkedin-talent-solutions/the-modern-recruiter-is-part-artist-part-scientist-infographic
La dualidad
problema-oportunidad
de la combinación
IA-Big Data,
tiene su contrapartida
en la dualidad del
científico de datos
respecto a la calidad de los
resultados (precisos y
oportunos)
@kicorangel

79. autoritas
79
Referencias
• Rangel, F., Franco, M., Rosso, P. A Low Dimensionality Representation for Language Variety
Identification. In: Proc. of the 17th. Int. Conf. on Intelligent Text Processing and Computational
Linguistics (CICLing’16), Springer-Verlag, LNCS (??)
• Fabra, R. Language Variety Identification to Improve Geotagging. Master thesis in Artificial
Intelligence, Pattern Recognition and Digital Imaging, Universitat Politècnica de València 2016?.
Advisors: Francisco Rangel and Paolo Rosso.
• Franco, M., Rosso, P., Rangel, F. Language Variety Identification using Distributed Representations of
Words and Documents. In: 6th. Int. Conf. of CLEF on Experimental IR meets Multilinguality,
Multimodality, and Interaction. CLEF 2015, Springer-Verlag, LNCS(9283)
• Rangel, F., Rosso, P., Koppel, M., Stamatatos, E., Inches, G. Overview of the Author Profiling Task at
PAN 2013. In: Forner P., Navigli, R., Tufis, D. (Eds.). Note-book Papers of CLEF 2013 LABs and
Workshops, CLEF-2013, CEUR-WS.org (1179)