1. Universidad Nacional de
Educación a Distancia
Máster en Matemáticas Avanzadas
Trabajo Fin de Máster
Aprendizaje Estadístico con Funciones Kernel
Tutor: Prof. Hilario Navarro Veguillas
Autor: Juan José Gibaja Martíns
Madrid, 5 de octubre de 2010

2. Índice
● Datos
● Patrones en datos
● Aprendizaje estadístico
● Patrones lineales y no lineales
● La solución kernel
● Fundamentos matemáticos
● Perspectiva histórica
● Support Vector Machines
● Ejemplo: elipses entrelazadas
● Ejemplo: base de datos IRIS
● Kernel PCA
● Ejemplo: parábola
● Conclusión

3. Datos

4. Patrones en datos

5. Patrones en datos
Perspectiva histórica paradigma
Nuevo
Ventaja científico
competitiva

6. Aprendizaje estadístico

7. Aprendizaje estadístico
Aprendizaje
supervisado
Perspectiva histórica
Aprendizaje
no supervisado

8. Patrones lineales y no lineales

9. Patrones lineales y no lineales
Algoritmos eficientes
Patrones simples
Perspectiva histórica
Algoritmos no eficientes
Patrones complejos

10. La solución kernel

11. La solución kernel
Perspectiva representación
Cambiar la histórica
(vídeo)

12. La solución kernel
Perspectiva histórica

13. La solución kernel
Perspectiva histórica
INEFICIENCIA

14. La solución kernel
k(x,y)=〈φ(x),φ(y)〉
Perspectiva histórica

15. La solución kernel
Perspectiva histórica
¿Y si razonamos al revés?

16. La solución kernel
φ y 〈,〉 k
...pero...

17. La solución kernel
¿ k φ y〈,〉 ?
SÍ. Si k es FINITAMENTE
SEMIDEFINIDA POSITIVA

18. Fundamentos matemáticos

19. Fundamentos matemáticos
● Espacio vectorial
● Producto interno
Perspectiva histórica
● Espacio con producto interno
● Espacio de Hilbert
● Espacio de Hilbert separable e isomorfía
● Matriz de Gram y matriz kernel
● Funciones finitamente semidefinidas positivas
● Caracterización de las funciones kernel
● Reproducing Kernel Hilbert Space

20. Perspectiva histórica

21. Perspectiva histórica
(kernels)
Perspectiva histórica
D. Hilbert
Mercer (1909)
Aronszajn (1950)
Aizerman et al. (1964)
Poggio y Girosi (1990)

22. Perspectiva histórica
(clasificadores)
Fisher (1936)
Vapnik y Lerner (1963)
Perspectiva histórica(1964)
Vapnik y Chervonenkis
Cover (1965)
Mangasarian (1965)
Smith (1968)
Duda y Hart (1973)
Bennett y Mangasarian (1992)

23. Perspectiva histórica
(SVM)
Perspectiva histórica
V. Vapnik
Vapnik y Chervonenkis (1974)
Vapnik (1979, 1982)
Boser, Guyon y Vapnik (1992)
Cortes y Vapnik (1995)
Vapnik (1995)
Shawe-Taylor (1998)
Shawe-Taylor y Cristianini (2000)

24. Perspectiva histórica
(otros algoritmos)
Perspectiva histórica
B. Schölkopf
Baudat y Anouar (2000)
Schölkopf, Smola y Müller (1998)
Van Gestel et al. (2001)
Burges (2005)
Girolami (2001)

25. Support vector machines

26. Support vector machines
Clases separables vs.
no separables
Perspectiva histórica

27. Support vector machines
Enfoque primal vs. dual
Perspectiva histórica

28. Support vector machines
Incorporación del kernel
Perspectiva histórica

29. Ejemplo: espirales entrelazadas

30. Ejemplo: espirales entrelazadas
Perspectiva histórica

31. Ejemplo: espirales entrelazadas
Perspectiva histórica

32. Ejemplo: Base de datos IRIS

33. Ejemplo: Base de datos IRIS
Perspectiva histórica

34. Ejemplo: Base de datos IRIS
Perspectiva histórica

35. Ejemplo: Base de datos IRIS
Perspectiva histórica

36. Ejemplo: Base de datos IRIS
Perspectiva histórica

37. Ejemplo: Base de datos IRIS
Perspectiva histórica

38. Kernel PCA

39. Kernel PCA
PCA a partir de covarianzas
Perspectiva histórica
PCA a partir de productos escalares

40. Ejemplo: parábola

41. Ejemplo: parábola
Perspectiva histórica

42. Ejemplo: parábola
Perspectiva histórica

43. Ejemplo: parábola
Perspectiva histórica

44. Ejemplo: parábola
Perspectiva histórica

45. Ejemplo: parábola
Perspectiva histórica

46. Ejemplo: parábola
Perspectiva histórica

47. Conclusión

48. Conclusión
El Aprendizaje Estadístico basado en
Perspectiva histórica
Funciones Kernel es una vía prometedora
para conjugar las ventajas de los
algoritmos lineales y no lineales de
detección de patrones en bases de datos.