Breve introducción al Deep Learning y algunos casos de uso sorprententes, como Ostagram y Sunspring

1. Deep learning y sus efectos
alucinógenos
Luz Frías
@databeers
Universidad Europea de Madrid
2016-11-16

2. ¡Hola!
0.7 developer + 0.3 data scientist
Freelance
@koldLight
https://github.com/koldLight
https://linkedin.com/in/luzfrias

3. ¿A qué nos suena el Deep Learning?
- A fórmulas matemáticas interminables
- A la élite de Google
- A superservidores entrenando redes

4. Qué es el Deep Learning
- Dejamos a la máquina solucionar el problema
- ¡Lo contrario de la programación clásica!
- Más capas ocultas que en las redes neuronales clásicas

5. Tensorflow playground
- Ayuda a entender los conceptos que intervienen en el deep
learning de forma visual
- Un framework (simplificado) ejecutándose en tu navegador
- Permite jugar con:
- # capas
- # neuronas por capa
- Features
- Otros parámetros: learning rate, función de activación, ...

6. Tensorflow playground: un ejemplo simple

7. Tensorflow playground: ¡más madera!
- Más
neuronas:
más features
- Más capas:
estructuras
más
complejas

8. Topologías de redes

9. Frameworks

10. Ostagram
- Un instagram de mezcla de imágenes
- Usan Deep Learning: jcjohnson/neural-style (GitHub)
- Representaciones neuronales para separar y recombinar
contenido y estilo de dos imágenes cualquiera

11. Ostagram - Redes convolucionales
- Es una topología concreta de red
- Capas que procesan jerárquicamente las features de las
imágenes
- El contenido: el detalle exacto del píxel se va perdiendo a
medida que se avanza en las capas, pero se mantiene la
representación del objeto
- El estilo: se calcula como la correlación entre diferentes capas

14. Sunspring
- Es un corto de ciencia ficción
- Los diálogos y las escenas han
sido creados por Benjamin, un
algoritmo de IA
- Fue entrenado con docenas de
guiones de películas de ciencia
ficción

15. Sunspring - LSTM
- Un tipo de red neuronal recurrente
- Simulan tener memoria, creando bucles entre las neuronas
- Implementación para gestionar mejor el largo plazo
- Populares para:
- Predicción en series temporales
- Reconocimiento de voz (extracción del discurso)

16. Sunspring - Grandes momentos
“En un futuro con desempleo masivo, los jóvenes son forzados a
vender sangre”
Él está en las estrellas y sentado en el suelo. Ve un agujero negro
delante del hombre en el tejado.

17. Manos a la obra
- Probemos a entrenar un LSTM con calles de Madrid y pueblos
de España, con Torch + Lua. Algunos resultados:
Calles de Madrid
- Avenida del Cambronador
- Calle de Gutías Idobar
- Pasaje de Cacarón
- Puerto Cuartel del Herrado
del Pico Calveño
Pueblos de España
- Herruela de Valveries
- Barros de Torresa
- Cojora de l'Ebar
- Plajoriello (La)

18. Conclusiones
Pros
- Superiores a otras técnicas
en cierto tipo de problemas
complejos
- Menor importancia del
feature engineering
Cons
- Muy “caja negra”
- Computacionalmente muy
costosos
- Necesitan gran cantidad de
datos de entrenamiento

19. ¡Gracias!