Machine Learning a lo berserker - Software Craftsmanship Barcelona 2016

1. Introducción de Machine Learning @zigiella, 10/2016 Craftsmanship Barcelona a lo Berserker

2. AVISO A LAS EXPECTATIVAS Esta charla es una charla de INTRODUCCIÓN al Machine Learning. Es una charla de INTRODUCCIÓN. Nivel BÁSICO. Craftsmanship Barcelona

3. What do I mean with “Berserker”? Craftsmanship Barcelona

4. DISCLAIMERS Esta charla puede herir la sensibilidad de estadísticos y matemáticos. También de data scientist expertos. Lo básico, a veces, necesita reducir la dimensionalidad del contenido, así que esta charla contiene muchas simplificaciones. No se habla apenas de tecnologías: ni Hadoop, ni Spark,... Los ejemplos están en R, lo siento por los amantes del Python. Hay mezcla de idiomas. La charla requiere actos de Fe! Craftsmanship Barcelona

5. PLAN 1- CONTEXTO: De dónde venimos, dónde estamos, a dónde vamos,... y qué pinta Machine Learning en todo esto. TRENDS, MERCADO, PALABROS, ROLES 2- MACHINE LEARNING. DEFINICIÓN Y PROCESO. + CONTEXTO 3- ALGUNOS ALGORITMOS. 4- CONCLUSIONES. 5- RONDA DE COMENTARIOS. Craftsmanship Barcelona

6. MY BACKGROUND Craftsmanship Barcelona @zigiella INGENIERÍA INFORMÁTICA DATA MANAGEMENT & ANALYTICS BUSINESS MANAGEMENT MARKETING ADVERTISING PSICOLOGÍA ExecutiveMBA EMPRENDEDURÍA

7. Cerros de Úbeda

8. 2014 EMERGING TECHNOLOGIES 2014 Craftsmanship BarcelonaContexto

9. Tecnologías emergentes Craftsmanship BarcelonaContexto EMERGING TECHNOLOGIES 2015

10. Craftsmanship BarcelonaContexto EMERGING TECHNOLOGIES 2016

11. Craftsmanship BarcelonaContexto Sources: Gartner 2013, Gartner 2014, Gartner 2015, Gartner 2016 EMERGING TECHNOLOGIES 2016 The perceptual smart machine age: Smart machine technologies will be the most disruptive class of technologies over the next 10 years due to radical computational power, near-endless amounts of data, and unprecedented advances in deep neural networks that will allow organizations with smart machine technologies to harness data in order to adapt to new situations and solve problems that no one has encountered previously. Enterprises that are seeking leverage in this theme should consider the following technologies: Smart Dust, Machine Learning, Virtual Personal Assistants, Cognitive Expert Advisors, Smart Data Discovery, Smart Workspace, Conversational User Interfaces, Smart Robots, Commercial UAVs (Drones), Autonomous Vehicles, Natural-Language Question Answering, Personal Analytics, Enterprise Taxonomy and Ontology Management, Data Broker PaaS (dbrPaaS), and Context Brokering.

12. NEGRA PESADA BLANCA LIGERA BLANCA PESADA NEGRO LIGERO Imagen tio+ordenador:https://pixabay.com

13. Todos los experimentos de tiradas de objetos son los datos con lo que la máquina va a poder aprender para luego predecir, dado dos objetos nuevos y sus características, cuál de ellos va a llegar antes al suelo. Analogía original de la consultora polaca Algolytics Imagen tio+ordenador:https://pixabay.com

14. Machine Learning “Se trata de dotar a las máquinas de la habilidad de aprender a partir de ejemplos.”

15. Machine Learning “Las máquinas aprenden a partir de la experiencia.”

16. Machine Learning “Aplicar y ajustar algoritmos que buscan patrones en los datos que permitan establecer un modelo predictivo.”

17. ORDENADOR SALIDA ENTRADAS (OBSERVACIONES) PROGRAMA ORDENADOR SALIDA ENTRADAS (OBSERVACIONES)) PROGRAMA PROGRAMADOR PROGRAMACIÓN TRADICIONAL MACHINE LEARNING

18. Machine Learning “Field of study that gives computers the ability to learn without being explicitly programmed.” Arthur Samuel, 1959 “A computer program is said to learn from experience E with respect to some class of tasks T if its performance, as measured by P, improves with experience E.” Tom M Mitchell, 1997

19. “Los programas con Machine Learning aprenden de la experiencia.”

21. ¿QUÉ PASA CON MACHINE LEARNING Y BIG DATA?

23. “Cría datos y tendrás muchos.” Lo que vale es extraer valor del dato.

25. ¿QUÉ PASA CON MACHINE LEARNING Y DATA SCIENCE?

26. http://drewconway.com/ 2010 DATA SCIENCE

27. ALGORITMO MACHINE LEARNING DATOS MODELO PREDICTIVO DATA MINING CONOCIMIENTO QUE PUEDO EXTRAER DE LOS DATOS MODELO QUE ME PERMITE PREDECIR SOBRE NUEVOS DATOS MACHINE LEARNING

28. ENTENDER LOS DATOS PREPROCESO DE LOS DATOS Proceso proyecto data science ENTENDER PROBLEMA Definir objetivos PREPARAR Y LIMPIAR DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO EVALUAR MODELO EXPLORAR Y ANALIZAR DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES Proceso Machine Learning ELEGIR MEJOR MODELO

30. ENTENDER LOS DATOS PREPROCESO DE LOS DATOS Proceso proyecto data science ENTENDER PROBLEMA Definir objetivos PREPARAR Y LIMPIAR DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO EVALUAR MODELO EXPLORAR Y ANALIZAR DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES Proceso Machine Learning ELEGIR MEJOR MODELO OBTENER DATOS

31. ENTENDER LOS DATOS PREPROCESO DE LOS DATOS Proceso proyecto data science ENTENDER PROBLEMA Definir objetivos PREPARAR Y LIMPIAR DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO EVALUAR MODELO EXPLORAR Y ANALIZAR DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES Proceso Machine Learning ELEGIR MEJOR MODELO OBTENER DATOS

33. ENTENDER LOS DATOS PREPROCESO DE LOS DATOS Proceso proyecto data science ENTENDER PROBLEMA Definir objetivos PREPARAR Y LIMPIAR DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO EVALUAR MODELO EXPLORAR Y ANALIZAR DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES Proceso Machine Learning ELEGIR MEJOR MODELO ¡¡NUNCA SE HACE UN MODELADO SIN MIRAR ANTES LOS DATOS!! EL TRABAJO DE PREPROCESO SE LLEVA EL MAYOR TIEMPO DEL PROCESO!!

36. ENTENDER LOS DATOS PREPROCESO DE LOS DATOS Proceso proyecto data science ENTENDER PROBLEMA Definir objetivos PREPARAR Y LIMPIAR DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO EVALUAR MODELO EXPLORAR Y ANALIZAR DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES Proceso Machine Learning ELEGIR MEJOR MODELO DIVIDIR DATOS

37. ENTENDER LOS DATOS PREPROCESO DE LOS DATOS Proceso proyecto data science ENTENDER PROBLEMA Definir objetivos PREPARAR Y LIMPIAR DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO EVALUAR MODELO EXPLORAR Y ANALIZAR DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES Proceso Machine Learning ELEGIR MEJOR MODELO DIVIDIR DATOS

40. El Titanic

41. ? Hombre, 35 años, tercera clase ?

42. Proceso Machine Learning ENTENDER LOS DATOS PREPROCESO DE LOS DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES ELEGIR MEJOR MODELO PREPARAR Y LIMPIAR DATOS EVALUAR MODELO EXPLORAR Y ANALIZAR ENTENDER PROBLEMA Definir objetivos ENTENDER PROBLEMA Definir objetivos

43. Proceso Machine Learning ENTENDER LOS DATOS PREPROCESO DE LOS DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES ELEGIR MEJOR MODELO PREPARAR Y LIMPIAR DATOS EVALUAR MODELO EXPLORAR Y ANALIZAR ALGORITMO MACHINE LEARNING DATOS ENTENDER PROBLEMA Definir objetivos ENTENDER PROBLEMA Definir objetivos DATASET NEW DATA PREDICCIÓN!! NUEVOS DATOS DATASET TRAIN DATASET VAL MODELO CLASIFICACIÓN

44. Proceso Machine Learning ENTENDER LOS DATOS PREPROCESO DE LOS DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES ELEGIR MEJOR MODELO PREPARAR Y LIMPIAR DATOS EVALUAR MODELO EXPLORAR Y ANALIZAR ENTENDER PROBLEMA Definir objetivos ENTENDER PROBLEMA Definir objetivos

45. Proceso Machine Learning ENTENDER LOS DATOS PREPROCESO DE LOS DATOS ¿Qué algoritmo uso? CONSTRUIR MODELO DATA PRODUCT VISUALIZACIÓN TOMA DE DECISIONES ELEGIR MEJOR MODELO PREPARAR Y LIMPIAR DATOS EVALUAR MODELO EXPLORAR Y ANALIZAR ENTENDER PROBLEMA Definir objetivos ENTENDER PROBLEMA Definir objetivos MODELO CLASIFICACIÓN

50. Matriz de confusión

52. En “general”, un modelo bueno es aquel que “generaliza” bien.

53. PELIGRO: Overfitting!!

54. PELIGRO: Overfitting!! La mayoría de métodos estadísticos y de Machine Learning usan alguna forma de REGULARIZACIÓN para que se pueda limitar el SOBREAJUSTE.

55. Algoritmos de Machine Learning

56. Sospechosos habituales Regresión Lineal Regresión Logística Árboles de Decisión Random Forest SVM KNN K-means

57. Tipos de “learning”

58. SUPERVISED & UNSUPERVISED (& SEMI-SUPERVISED)

59. ALGORITMO MACHINE LEARNING DATOS MODELO PREDICCIÓN!! NUEVOS DATOS Entradas Respuesta Predicción respuesta Nuevas entradas Supervisado

60. ALGORITMO MACHINE LEARNING DATOS MODELO Entradas CLUSTERING REDUCCIÓN No supervisado

61. Supervisado No supervisado Regresión Clasificación Clustering Reducción de variables

62. Supervisado No supervisado Regresión Regresión Lineal Árboles de Decisión Random Forest SVM Regresión Logística SVM Árboles de Decisión Random Forest KNN Clasificación K-Means Clustering PCA Reducción de variablesA B

65. Regresión Lineal El caballo de batalla REG RESIÓ N

66. Slide tomada prestada de http://www.slideshare.net/benfreundorfer

67. Slide tomada prestada de http://www.slideshare.net/benfreundorfer Y=β0+β1X

70. Regresión Logística Clasificación CLASIFICAD O R

71. Fuente:es.wikipedia.org

72. Árboles de decisión Fácil de entender, fácil de explicar CLASIFICAD O R

74. SVM SUPPORT VECTOR MACHINE “Lo peta” CLASIFICAD O R

75. El hiperplano

76. R2

81. Más alta dimensión, más separabilidad.

82. Las SVM se basan en aplicar funciones (llamadas de kernel) que transforman el espacio de puntos original en un espacio de mayor dimensión.

83. Las SVM se basan en aplicar funciones (llamadas de Kernel) que transforman el espacio de puntos original en un espacio de mayor dimensión, donde encontrar un hyperplano que separe los datos.

85. Función de Kernel→ Más alta dimensión!! Kernel Trick!!!

93. La maldición de los SVM es evitar el sobreajuste.

94. Random Forest EL PODER DE MUCHOS CLASIFICAD O R

95. Random Forest EL PODER DE MUCHOS CLASIFICAD O R DEL EN-SEM-BLE

98. KNN Cómo son mis vecinos CLASIFICACIÓ N

100. K-Means Agrupaciones, segmentación CLU STERIN G

102. Text Mining Machine learning aplicado al dato no estructurados de tipo texto. FUÍ UNA MONGUER PENSANDO QUE ME DARÍA TIEMPO A EXPLICAR ESTO.

103. En resumen...

104. Resumen El dato no habla por nosotros, nosotros hablamos por el dato. Machine Learning consiste en que las máquinas aprendan sin programación explícita. Las máquinas aprenden de la experiencia. Hay que saber: algoritmos, mates, estadística, programación y análisis, y… sensores, IoT, data storage, data management, y… conocer los contextos de aplicación. Machine Learning nos rodea ahora y cada vez más. Esto ha sido una explicación berserker y hay todo un mundo ahí fuera.

105. Dónde aprender, recursos...

106. OS Tools & Pay-as-you-go services

108. Comentarios?¿Preguntas

109. Machine Learning a lo Berserker @zigiella, 10/2016 Craftsmanship Barcelona GRACIAS ;)

Machine Learning a lo berserker - Software Craftsmanship Barcelona 2016

Machine Learning a lo berserker - Software Craftsmanship Barcelona 2016

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente(11)

Similar a Machine Learning a lo berserker - Software Craftsmanship Barcelona 2016

Similar a Machine Learning a lo berserker - Software Craftsmanship Barcelona 2016(20)

Más de Beatriz Martín @zigiella

Más de Beatriz Martín @zigiella(9)

Último

Último(15)

Machine Learning a lo berserker - Software Craftsmanship Barcelona 2016