Universidad Nacional de
       Educación a Distancia

 Máster en Matemáticas Avanzadas
             Trabajo Fin de Máster
...
Índice
● Datos
● Patrones en datos

● Aprendizaje estadístico

● Patrones lineales y no lineales

● La solución kernel

● ...
Datos
Patrones en datos
Patrones en datos



Perspectiva histórica paradigma
                 Nuevo
 Ventaja             científico
competitiva
Aprendizaje estadístico
Aprendizaje estadístico

     Aprendizaje
     supervisado


Perspectiva histórica



                    Aprendizaje
    ...
Patrones lineales y no lineales
Patrones lineales y no lineales

                           Algoritmos eficientes
                             Patrones si...
La solución kernel
La solución kernel



Perspectiva representación
Cambiar la histórica
          (vídeo)
La solución kernel



Perspectiva histórica
La solución kernel



Perspectiva histórica
     INEFICIENCIA
La solución kernel


k(x,y)=〈φ(x),φ(y)〉
 Perspectiva histórica
La solución kernel



Perspectiva histórica
     ¿Y si razonamos al revés?
La solución kernel




φ y 〈,〉                k

          ...pero...
La solución kernel



¿   k                   φ y〈,〉    ?

        SÍ. Si k es FINITAMENTE
        SEMIDEFINIDA POSITIVA
Fundamentos matemáticos
Fundamentos matemáticos


● Espacio vectorial
● Producto interno


   Perspectiva histórica
● Espacio con producto interno...
Perspectiva histórica
Perspectiva histórica
             (kernels)



Perspectiva histórica

D. Hilbert
                 Mercer (1909)
         ...
Perspectiva histórica
      (clasificadores)


           Fisher (1936)
      Vapnik y Lerner (1963)
Perspectiva histórica...
Perspectiva histórica
           (SVM)



   Perspectiva histórica
V. Vapnik
          Vapnik y Chervonenkis (1974)
      ...
Perspectiva histórica
      (otros algoritmos)



   Perspectiva histórica
B. Schölkopf

           Baudat y Anouar (2000)...
Support vector machines
Support vector machines


Clases separables vs.
    no separables
     Perspectiva histórica
Support vector machines


Enfoque primal vs. dual

Perspectiva histórica
Support vector machines


 Incorporación del kernel

Perspectiva histórica
Ejemplo: espirales entrelazadas
Ejemplo: espirales entrelazadas



 Perspectiva histórica
Ejemplo: espirales entrelazadas



 Perspectiva histórica
Ejemplo: Base de datos IRIS
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Kernel PCA
Kernel PCA


PCA a partir de covarianzas
Perspectiva histórica


  PCA a partir de productos escalares
Ejemplo: parábola
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Conclusión
Conclusión



El Aprendizaje Estadístico basado en
 Perspectiva histórica
Funciones Kernel es una vía prometedora
para con...
Próxima SlideShare
Cargando en…5
×

Aprendizaje Estadístico con Funciones Kernel

3.834 visualizaciones

Publicado el

Publicado en: Educación
0 comentarios
0 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Sin descargas
Visualizaciones
Visualizaciones totales
3.834
En SlideShare
0
De insertados
0
Número de insertados
62
Acciones
Compartido
0
Descargas
30
Comentarios
0
Recomendaciones
0
Insertados 0
No insertados

No hay notas en la diapositiva.

Aprendizaje Estadístico con Funciones Kernel

  1. 1. Universidad Nacional de Educación a Distancia Máster en Matemáticas Avanzadas Trabajo Fin de Máster Aprendizaje Estadístico con Funciones Kernel Tutor: Prof. Hilario Navarro Veguillas Autor: Juan José Gibaja Martíns Madrid, 5 de octubre de 2010
  2. 2. Índice ● Datos ● Patrones en datos ● Aprendizaje estadístico ● Patrones lineales y no lineales ● La solución kernel ● Fundamentos matemáticos ● Perspectiva histórica ● Support Vector Machines ● Ejemplo: elipses entrelazadas ● Ejemplo: base de datos IRIS ● Kernel PCA ● Ejemplo: parábola ● Conclusión
  3. 3. Datos
  4. 4. Patrones en datos
  5. 5. Patrones en datos Perspectiva histórica paradigma Nuevo Ventaja científico competitiva
  6. 6. Aprendizaje estadístico
  7. 7. Aprendizaje estadístico Aprendizaje supervisado Perspectiva histórica Aprendizaje no supervisado
  8. 8. Patrones lineales y no lineales
  9. 9. Patrones lineales y no lineales Algoritmos eficientes Patrones simples Perspectiva histórica Algoritmos no eficientes Patrones complejos
  10. 10. La solución kernel
  11. 11. La solución kernel Perspectiva representación Cambiar la histórica (vídeo)
  12. 12. La solución kernel Perspectiva histórica
  13. 13. La solución kernel Perspectiva histórica INEFICIENCIA
  14. 14. La solución kernel k(x,y)=〈φ(x),φ(y)〉 Perspectiva histórica
  15. 15. La solución kernel Perspectiva histórica ¿Y si razonamos al revés?
  16. 16. La solución kernel φ y 〈,〉 k ...pero...
  17. 17. La solución kernel ¿ k φ y〈,〉 ? SÍ. Si k es FINITAMENTE SEMIDEFINIDA POSITIVA
  18. 18. Fundamentos matemáticos
  19. 19. Fundamentos matemáticos ● Espacio vectorial ● Producto interno Perspectiva histórica ● Espacio con producto interno ● Espacio de Hilbert ● Espacio de Hilbert separable e isomorfía ● Matriz de Gram y matriz kernel ● Funciones finitamente semidefinidas positivas ● Caracterización de las funciones kernel ● Reproducing Kernel Hilbert Space
  20. 20. Perspectiva histórica
  21. 21. Perspectiva histórica (kernels) Perspectiva histórica D. Hilbert Mercer (1909) Aronszajn (1950) Aizerman et al. (1964) Poggio y Girosi (1990)
  22. 22. Perspectiva histórica (clasificadores) Fisher (1936) Vapnik y Lerner (1963) Perspectiva histórica(1964) Vapnik y Chervonenkis Cover (1965) Mangasarian (1965) Smith (1968) Duda y Hart (1973) Bennett y Mangasarian (1992)
  23. 23. Perspectiva histórica (SVM) Perspectiva histórica V. Vapnik Vapnik y Chervonenkis (1974) Vapnik (1979, 1982) Boser, Guyon y Vapnik (1992) Cortes y Vapnik (1995) Vapnik (1995) Shawe-Taylor (1998) Shawe-Taylor y Cristianini (2000)
  24. 24. Perspectiva histórica (otros algoritmos) Perspectiva histórica B. Schölkopf Baudat y Anouar (2000) Schölkopf, Smola y Müller (1998) Van Gestel et al. (2001) Burges (2005) Girolami (2001)
  25. 25. Support vector machines
  26. 26. Support vector machines Clases separables vs. no separables Perspectiva histórica
  27. 27. Support vector machines Enfoque primal vs. dual Perspectiva histórica
  28. 28. Support vector machines Incorporación del kernel Perspectiva histórica
  29. 29. Ejemplo: espirales entrelazadas
  30. 30. Ejemplo: espirales entrelazadas Perspectiva histórica
  31. 31. Ejemplo: espirales entrelazadas Perspectiva histórica
  32. 32. Ejemplo: Base de datos IRIS
  33. 33. Ejemplo: Base de datos IRIS Perspectiva histórica
  34. 34. Ejemplo: Base de datos IRIS Perspectiva histórica
  35. 35. Ejemplo: Base de datos IRIS Perspectiva histórica
  36. 36. Ejemplo: Base de datos IRIS Perspectiva histórica
  37. 37. Ejemplo: Base de datos IRIS Perspectiva histórica
  38. 38. Kernel PCA
  39. 39. Kernel PCA PCA a partir de covarianzas Perspectiva histórica PCA a partir de productos escalares
  40. 40. Ejemplo: parábola
  41. 41. Ejemplo: parábola Perspectiva histórica
  42. 42. Ejemplo: parábola Perspectiva histórica
  43. 43. Ejemplo: parábola Perspectiva histórica
  44. 44. Ejemplo: parábola Perspectiva histórica
  45. 45. Ejemplo: parábola Perspectiva histórica
  46. 46. Ejemplo: parábola Perspectiva histórica
  47. 47. Conclusión
  48. 48. Conclusión El Aprendizaje Estadístico basado en Perspectiva histórica Funciones Kernel es una vía prometedora para conjugar las ventajas de los algoritmos lineales y no lineales de detección de patrones en bases de datos.

×