Universidad Nacional de
       Educación a Distancia

 Máster en Matemáticas Avanzadas
             Trabajo Fin de Máster


Aprendizaje Estadístico con Funciones Kernel

         Tutor: Prof. Hilario Navarro Veguillas
           Autor: Juan José Gibaja Martíns


               Madrid, 5 de octubre de 2010
Índice
● Datos
● Patrones en datos

● Aprendizaje estadístico

● Patrones lineales y no lineales

● La solución kernel

● Fundamentos matemáticos

● Perspectiva histórica

● Support Vector Machines

● Ejemplo: elipses entrelazadas

● Ejemplo: base de datos IRIS

● Kernel PCA

● Ejemplo: parábola

● Conclusión
Datos
Patrones en datos
Patrones en datos



Perspectiva histórica paradigma
                 Nuevo
 Ventaja             científico
competitiva
Aprendizaje estadístico
Aprendizaje estadístico

     Aprendizaje
     supervisado


Perspectiva histórica



                    Aprendizaje
                   no supervisado
Patrones lineales y no lineales
Patrones lineales y no lineales

                           Algoritmos eficientes
                             Patrones simples


  Perspectiva histórica


Algoritmos no eficientes
  Patrones complejos
La solución kernel
La solución kernel



Perspectiva representación
Cambiar la histórica
          (vídeo)
La solución kernel



Perspectiva histórica
La solución kernel



Perspectiva histórica
     INEFICIENCIA
La solución kernel


k(x,y)=〈φ(x),φ(y)〉
 Perspectiva histórica
La solución kernel



Perspectiva histórica
     ¿Y si razonamos al revés?
La solución kernel




φ y 〈,〉                k

          ...pero...
La solución kernel



¿   k                   φ y〈,〉    ?

        SÍ. Si k es FINITAMENTE
        SEMIDEFINIDA POSITIVA
Fundamentos matemáticos
Fundamentos matemáticos


● Espacio vectorial
● Producto interno


   Perspectiva histórica
● Espacio con producto interno

● Espacio de Hilbert

● Espacio de Hilbert separable e isomorfía

● Matriz de Gram y matriz kernel

● Funciones finitamente semidefinidas positivas

● Caracterización de las funciones kernel

● Reproducing Kernel Hilbert Space
Perspectiva histórica
Perspectiva histórica
             (kernels)



Perspectiva histórica

D. Hilbert
                 Mercer (1909)
               Aronszajn (1950)
             Aizerman et al. (1964)
             Poggio y Girosi (1990)
Perspectiva histórica
      (clasificadores)


           Fisher (1936)
      Vapnik y Lerner (1963)
Perspectiva histórica(1964)
   Vapnik y Chervonenkis
           Cover (1965)
       Mangasarian (1965)
           Smith (1968)
        Duda y Hart (1973)
   Bennett y Mangasarian (1992)
Perspectiva histórica
           (SVM)



   Perspectiva histórica
V. Vapnik
          Vapnik y Chervonenkis (1974)
              Vapnik (1979, 1982)
          Boser, Guyon y Vapnik (1992)
             Cortes y Vapnik (1995)
                  Vapnik (1995)
              Shawe-Taylor (1998)
         Shawe-Taylor y Cristianini (2000)
Perspectiva histórica
      (otros algoritmos)



   Perspectiva histórica
B. Schölkopf

           Baudat y Anouar (2000)
       Schölkopf, Smola y Müller (1998)
           Van Gestel et al. (2001)
               Burges (2005)
               Girolami (2001)
Support vector machines
Support vector machines


Clases separables vs.
    no separables
     Perspectiva histórica
Support vector machines


Enfoque primal vs. dual

Perspectiva histórica
Support vector machines


 Incorporación del kernel

Perspectiva histórica
Ejemplo: espirales entrelazadas
Ejemplo: espirales entrelazadas



 Perspectiva histórica
Ejemplo: espirales entrelazadas



 Perspectiva histórica
Ejemplo: Base de datos IRIS
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Ejemplo: Base de datos IRIS



Perspectiva histórica
Kernel PCA
Kernel PCA


PCA a partir de covarianzas
Perspectiva histórica


  PCA a partir de productos escalares
Ejemplo: parábola
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Ejemplo: parábola



Perspectiva histórica
Conclusión
Conclusión



El Aprendizaje Estadístico basado en
 Perspectiva histórica
Funciones Kernel es una vía prometedora
para conjugar las ventajas de los
algoritmos lineales y no lineales de
detección de patrones en bases de datos.

Aprendizaje Estadístico con Funciones Kernel