Es común referirse al "Dark Data" como aquellos conjuntos de datos que no son directamente aprovechables por medios automatizados y que requerirían la intervención de expertos humanos para interpretarlos correctamente. En esta sesión se presentan las nuevas técnicas y herramientas de Deep Learning, que hacen posible la extracción automática de metadatos y relaciones semánticas mediante el uso de redes de neuronas profundas. En particular, se analizarán los casos de uso más habituales en los ecosistemas Big Data: visión artificial y comprensión del lenguaje.

1. BIG DATA
Agosto 25 y 26 | Lima – Perú 2017
ANALYTICS SUMMIT
#BIGDATASUMMIT2017

2. BIG DATA
Agosto 25 y 26 | Lima – Perú 2017
ANALYTICS SUMMIT
#BIGDATASUMMIT2017
Deep Learning
para extracción de valor
Dr. Raúl Arrabales Moreno

3. ¡Hola!
Soy Raúl Arrabales
Ingeniero en Informática, Psicólogo,
Doctor en Inteligencia Artificial y MBA
Me puedes encontrar como @ConsciousRobots
www.conscious-robots.com

4. Contextualizando Deep Learning

5. Contextualizando Deep Learning

6. Contextualizando Deep Learning

7. Contextualizando Deep Learning

8. Contextualizando Deep Learning
¿Qué proporción de estos
datos podemos usar?

9. Contextualizando Deep Learning

10. Contextualizando Deep Learning

11. Contextualizando Deep Learning

12. #BIGDATASUMMIT2017
Contexto histórico

13. #BIGDATASUMMIT2017
Contexto histórico
DATOS
DESESTRUCTURADOS

14. #BIGDATASUMMIT2017
Contexto histórico
This is…
Deep
Learning!!!!!

15. Redes de Neuronas Artificiales

16. Redes de Neuronas Artificiales

17. Redes de Neuronas Artificiales

18. Redes de Neuronas Artificiales

19. Redes de Neuronas Artificiales

20. Deep Learning
Se puede considerar como una
subdisciplina dentro de Aprendizaje
Automático.
◦ Es un enfoque más bio-inspirado, en el que se
refleja mejor la complejidad de un sistema
nervioso natural.
◦ No obstante, en esencia, todos los algoritmos
de Aprendizaje Automático se pueden
considerar modelos estadísticos/matemáticos
de descenso de gradiente del error. #BIGDATASUMMIT2017

21. Jerarquía de Características

22. Deep Learning
Similar a las etapas de procesamiento en el
SN
#BIGDATASUMMIT2017

23. Diferencias con ML tradicional

24. Deep Learning
Se pueden establecer diferentes arquitecturas
para la implementación de DL:
◦ Redes de Neuronas Profundas (DNN).
◦ Redes de Neuronas Profundas Convolucionales
(CDNN).
◦ Redes de Neuronas Recurrentes (RNN).
◦ Redes de Creencias Profundas (DBN).
◦ …
#BIGDATASUMMIT2017

25. Deep Learning
Estrategias de entrenamiento. Elegir:
◦ Tipos de variables, escalado, etc.
◦ Tipo de red, arquitectura.
◦ Número de nodos, de capas ocultas, etc.
◦ Tipo de capas.
◦ Inicialización de pesos.
◦ Función de activación, umbral, etc.
◦ Optimizaciones posibles.
#BIGDATASUMMIT2017

26. Deep Learning
Solemos tener muchos problemas para entrenar con
éxito las DNN
◦ Normalización de datos ([0..1], [-1..1]).
◦ Inicialización de los pesos (relu, Xavier).
◦ Épocas e iteraciones (pasadas del dataset).
◦ Tasa y política de aprendizaje (0.1, 0.03, etc.).
◦ Función de activación (tanh, sigmoide, relu, etc.).
◦ Función de pérdida (reconstruction entropy, etc.).
◦ Regularización (L1/L2, dropout, etc).
◦ Tamaño de minibatch (16, 128).
◦ Optimización y Updater (Stochastic Gradient Descent, etc.).
◦ …
#BIGDATASUMMIT2017

27. Deep Learning
Ejemplos
#BIGDATASUMMIT2017
Ej. ResNet con 150 capas:
https://arxiv.org/pdf/1512.03385.pdf

28. Deep Learning
Ejemplos (imágenes)
#BIGDATASUMMIT2017

29. Deep Learning
Ejemplos (lenguaje)
#BIGDATASUMMIT2017
Zou, W. Y., Socher, R., Cer, D. M., & Manning, C. D. (2013, October).
Bilingual Word Embeddings for Phrase-Based Machine Translation.
In EMNLP (pp. 1393-1398).

30. APIs y Plataformas
Google Cloud
#BIGDATASUMMIT2017
https://cloud.google.com/vision/
https://cloud.google.com/speech/

31. APIs y Plataformas
Google Cloud
#BIGDATASUMMIT2017

32. Google Vision API
#BIGDATASUMMIT2017

33. Google Vision API
#BIGDATASUMMIT2017

34. Google Vision API
#BIGDATASUMMIT2017

35. Google Vision API
#BIGDATASUMMIT2017

36. Google Vision API
#BIGDATASUMMIT2017

37. Google Vision API
#BIGDATASUMMIT2017

38. Google Vision API

39. Google Vision API
#BIGDATASUMMIT2017

40. Google Vision API
#BIGDATASUMMIT2017

41. Google Vision API
#BIGDATASUMMIT2017

42. Google Vision API
#BIGDATASUMMIT2017

43. ¡GRACIAS!
¿ALGUNA PREGUNTA?
Puedes encontrarme como:
@consciousrobots
www.conscious-robots.com