Merlin es un proyecto de aprendizaje en ASPgems en el que un equipo pequeño durante tres semanas tiene como objetivo que el resto de compañeros de la empresa aprendan sobre alguna tecnología. Durantes tres semanas aprenden y al finalizar se comparte en una charla. En nuestras tres semana aprendimos Python, Machine Learning, xAPI, MongoDB y lo aplicamos a un proyecto de elearning implementando varios modelos: series temporales de participación, clustering de tipos de estudiantes, predicción de abandono de cursos.

1. Learning Machine
Learning by Raúl Bordallo
1

2. 2
Qué vamos a hacer los próximos 45 minutos
● Repasar que he aprendido en Merlin-xAPI (25 minutos)
● Fran y Diego nos enseñan el código (15 minutos)
● Fernando explicará conceptos estadísticos/matemáticos
● Diego nos cuenta su idea de proyecto (5 minutos)

3. 3
Quiénes hemos aprendido

4. 4
Quiero aprender con vosotros
● ¿Quiénes sabéis Python?
● ¿Quiénes sabéis MongoDB?
● ¿Quiénes sabéis Machine Learning?
● ¿A quiénes os gustaría experimentar con ML?
● ¿Cómo podríamos aplicar o incorporar ML?
● Core
● Adopted
● Trying
● Watching

5. 5
Quiero aprender con vosotros
● Predecir el abandono y que el agente aprenda (refuerzo) qué acciones funcionan mejor.
●

6. 6
¿Qué dijimos haces 3 semanas?
● Nos apasiona esto del ML
● Motivación alta de las personas
● Aprender más sobre ML: Del ciclo hemos aprendido 1, 2, 3, 4 y 5
● Get data desde xAPI + Pruebas con diferentes providers
● Profundizar y aumentar complejidad de objetivos
● No nos gusta dejar las cosas a medias. Seguimos aprendiendo

7. 7
¿Qué he aprendido?
● Python, MongoDB, xAPI
● Conceptos relacionados con Machine Learning
● Ciclo completo de Machine Learning
○ Get Data
○ Clean, Prepare & Manipulate Data
○ Train model
○ Test Data
○ Improve
● Modelo Predicción Temporal
○ Get data: Learning Locker + xAPI (json) + MongoDB

8. 8
¿Qué he aprendido?
Lo que más influye en el ML
● Los Datos.
● Conocer el dominio.
● Limpiar, preparar y manipular los Datos.
80%
● Experiencia:
○ Elegir el modelo.
○ Aprender de lo que hacen los demás.
○ Jugar mucho.
○ Montar casos reales.
Aprendido
● Obtener datos.
● Limpiar, preparar y manipular los Datos.
80%
● Entrenar el modelo
● Validar el modelo
● Predecir

9. 9
Ciclo completo de ML
Referencia: Enlace

10. 10
Ciclo completo de ML
¡Importante!
Definir un Problema real
Disponer de Datos buenos

11. 11
Conceptos ML
● Aprendizaje supervisado: Conocemos la salida, mediante entrenamiento - Predecir
○ Clasificación: Predecir etiquetas o clases. Ejemplo: Correos Spam.
○ Regresión: Predecir valores. Ejemplo: Número de reservas hotel.
● Aprendizaje no supervisado: Clustering, agrupar datos sin conocimiento previo.
● Aprendizaje por refuerzo: El agente aprende interactuando con el entorno y maximizando
recompensa. (tica-tac-toe) - Detectar personas riesgo abandono y realizar acciones para
evitar abandono. El modelo aprende lo que funciona y cada vez lo hace mejor.

12. 12
Conceptos ML
Referencia: Enlace

13. 13
Conceptos ML
● Dataset: Conjunto de datos.
● Ejemplo (Registro): Cada uno de los datos de los que se dispone. Fila.
● Feature: Atributos que describen cada instancia. Columna.
● Cantidad de Columnas: Dimensión de los datos.
● Modelo: El aprendizaje automático tiene como resultado un modelo para resolver una
tarea dada.
● Target: Nuestro objetivo.

14. 14
Conceptos ML
● Jupyter: Proyecto para desarrollo interactivo en diferentes lenguajes. http://jupyter.org/
● Jupyter Notebook: Aplicación web que nos permite crear y compartir documentos de
código, ecuaciones, visualizaciones y texto narrativo.
● Numpy: Librería Python para el manejo de arrays multidimensionales y matrices.
● Pandas: Librería Python para manejo de estructuras de datos y herramientas de análisis.
● Matplotlib: Librería para crear gráficas.
● Seaborn: Librería de visualización de datos basada en Matplotlib.

15. 15
Modelo Supervisado Ejemplo Películas
Referencia ejemplo: Enlace

16. 16
Modelo Supervisado Ejemplo Películas
● Nuestro problema: Predicción de Ingresos de películas
● Contexto: Somos una empresa que queremos decidir en qué producciones
cinematográficas invertimos.
● Reconocer el tipo de aprendizaje que necesitamos:
○ Invertir en la producción de películas de calidad.
○ Queremos predecir una métrica: el ingreso mundial generado por una película.
● Aterrizar nuestro problema de aprendizaje supervisado:
○ Los ingresos de una película corresponden a valores continuos.
○ Nuestro éxito será "cómo de cerca estamos de ingresos generados por la película".
○ Utilizaremos bases de datos públicas de internet.

17. 17
Modelo Supervisado Ejemplo Películas

18. 18
Modelo Supervisado Ejemplo Películas

19. 19
Modelo Supervisado Ejemplo Películas

20. 20
Modelo Supervisado Ejemplo Películas

21. 21
Modelo Supervisado Ejemplo Películas

22. 22
Modelo Supervisado Ejemplo Películas
Principios de diseño de Features
● Diseñar tus features es un arte más que una ciencia. Experiencia.
● Features Informativas: Features útiles mayor correlación con variable objetivo.
● Features Independientes: Evitar redundancia, features independientes entre ellas.
● Cantidad de Features controlada: Maldición de la dimensionalidad.
Ejemplo de Feature informativa y Feature no informativa
● Predecir el “precio de una casa” en función de sus “metros cuadrados”.
● Predecir el “precio de una casa” en función de la “temperatura del mar”.

23. 23
Modelo Supervisado Ejemplo Películas
Diseñar Buenas Features - X[columna_2] = X[columna_1]^2

24. 24
Modelo Supervisado Ejemplo Películas
La maldición de la dimensión
¡No nos volvamos locos!
http://ingenierobeta.com/maldicion-de-la-dimensionalidad/

25. 25
Modelo Supervisado Ejemplo Películas
Identificando Features informativas

26. 26
Modelo Supervisado Ejemplo Películas
Identificando Features informativas

27. 27
Modelo Supervisado Ejemplo Películas
Identificando Features informativas - Correlación entre variables

28. 28
Modelo Supervisado Ejemplo Películas
Identificando Features informativas - Correlación entre variables

29. 29
Modelo Supervisado Ejemplo Películas

30. 30
Modelo Supervisado Ejemplo Películas

31. 31
Modelo Supervisado Ejemplo Películas

32. 32
Modelo Supervisado Ejemplo Películas
Identificando Features informativas - Añadimos Features

33. 33
Modelo Supervisado Ejemplo Películas
Métodos de evaluación
Por ahora hemos visto que:
● Se necesita separar de forma aleatoria en datos de entrenamiento y testeo
para poder evaluar performance del algoritmo.
● Existen diversas métricas para evaluar rendimiento, y elegimos la nuestra
según las características de nuestro problema.
● Es útil apoyar la evaluación con visualizaciones de errores, como por
ejemplo scatterplots de residuales.

34. 34
Modelo Supervisado Ejemplo Películas
Métodos de evaluación
Controlar la aleatoriedad: train_test_split evaluaciones rápidas, testeos y prototipado.
cross_validate método más robusto para poder estimar el rendimiento del algoritmo.
Selección de modelos
Overfitting o underfitting? Necesitamos los scores de entrenamiento y test.

35. 35
Modelo Supervisado Ejemplo Películas
Underfitting and Overfitting

36. 36
Modelo Supervisado Ejemplo Películas
Cross Validation

37. 37
Modelo Supervisado Ejemplo Películas
Cambiar Modelo: Ensembles: Random Forest y Gradient Boosted Trees

38. 38
Modelo Supervisado Ejemplo Películas
Optimización de hiperparametros
● Fijar un learning rate alto.
● Fijar parámetros de los árboles.
● Elegir el mejor número de estimadores que conforman el ensemble.
● Optimizar los parámetros de los árboles.

39. 39
Modelo Predicción Series Temporales
Predecir actividad en el Campus

40. 40
Modelo Predicción Series Temporales
● Nuestro problema: Predecir actividad en el Campus.
● Contexto: Somos los gestores del Campus y queremos prever picos y valles de uso del
Campus.
● Reconocer el tipo de aprendizaje que necesitamos:
○ Aumentar el interés y el uso.
○ Queremos predecir días de poco uso para realizar acciones.
● Aterrizar nuestro problema de aprendizaje supervisado:
○ La actividad diaria corresponde a valores continuos.
○ Nuestro éxito será "cómo de cerca estamos de la actividad diaria".
○ Utilizaremos datos xAPI (json) del LRS (MongoDB) del Campus.

41. 41
Modelo Predicción Series Temporales
Campus + LRS + MongoDB + ML

42. 42
Modelo Predicción Series Temporales
Get Data from LRS

43. 43
Modelo Predicción Series Temporales
Get Data from LRS

44. 44
Modelo Predicción Series Temporales
Clean, Prepare & Manipulate Data
80% del tiempo

45. 45
Modelo Predicción Series Temporales
Explorar y Analizar - Actividad viewed y searched diaria

46. 46
Modelo Predicción Series Temporales
Explorar y Analizar - Actividad logged-in y viewed por semana

47. 47
Modelo Predicción Series Temporales
Explorar y Analizar - Actividad commented por dia
Identificamos datos inexistentes

48. 48
Modelo Predicción Series Temporales
Explorar y Analizar - Actividad (viewed) España y UK por día semana

49. 49
Modelo Predicción Series Temporales
Explorar y Analizar - Actividad (viewed) Francia y China por día semana

50. 50
Modelo Predicción Series Temporales
Explorar y Analizar - Actividad viewed y searched global por día semana

51. 51
Modelo Predicción Series Temporales
Explorar y Analizar - Descomposición Semanas ('viewed', ['37', '38', '39', '40'])

52. 52
Modelo Predicción Series Temporales
Explorar y Analizar - Frecuencia diaria malos resultados, pasamos a por hora

53. 53
Modelo Predicción Series Temporales
Explorar y Analizar - Completamos inexistentes con 0

54. 54
Modelo Predicción Series Temporales
Train y Test

55. 55
Modelo Predicción Series Temporales
Plot: Train y Test

56. 56
Modelo Predicción Series Temporales
Plot: Train y Test Simple Average

57. 57
Modelo Predicción Series Temporales
Plot: Train y Test Exponential Smoothing

58. 58
Modelo Predicción Series Temporales
Plot: Train y Test Holt Lineal

59. 59
Modelo Predicción Series Temporales
Plot: Train y Test Holt Winters

60. 60
Modelo Predicción Series Temporales
Code: Train y Test Holt Winters
rms = 14.82698179061315

61. 61
Modelo Predicción Series Temporales
Plot: Train y Test SARIMA
11-11

62. 62
Modelo Predicción Series Temporales
SARIMA Prediction

63. 63
Modelo Predicción Series Temporales
SARIMA Prediction

64. 64
Mejoras que hemos identificado
● Distintas estacionalidades.
● Separar por Comunidad. ej: China tiene un patrón diferente a España.
● Añadir variables explicativas. ej: clima, curso presencial, festivos, etc.
● Añadir modelos personalizados por persona.

65. 65
El Futuro
● Montar el TrainingPeaks del aprendizaje. (https://www.trainingpeaks.com/)
● NLP (Procesamiento de Lenguaje Natural)
● Predicción de score de contenidos al crearlos.
● Personalización del Aprendizaje.
● Las emociones en el elearning.
● Montar el TrainingPeaks de la Felicidad

66. 66
Show me the Code
He aprendido con:

67. 67
El proyecto de Diego

68. 68
Recursos
● Scikit-learn Docker image: https://hub.docker.com/r/smizy/scikit-learn/
● Curso de ML aplicado: https://platzi.com/cursos/scikit/
● Ejemplos clustering: https://github.com/benjaminwilson/python-clustering-exercises
● Pandas doc: http://pandas.pydata.org/pandas-docs/stable/io.html
● Pandas doc con ejemplos: https://www.ritchieng.com/pandas-groupby/
● Aprendizaje por refuerzo, ejemplo tic-tac-toe:
http://blog.florianluescher.ch/2017/08/17/reinforcement-learning.html
●