Este documento trata sobre diferentes técnicas de aprendizaje automático y redes neuronales como perceptrones, redes neuronales multicapa, Learning Vector Quantisation, Self-Organising Feature Maps y Multidimensional Scaling. Explica conceptos como la propagación hacia adelante y hacia atrás, el problema de muestras dispersas, weight decay y aplica estas técnicas a datos clínicos usando Matlab.

1. Machine Learning & Neural Networks Eric Postma IKAT

2. Contenido Perceptron y perceptrón multicapa Learning Vector Quantisation Kohonen Self-Organising Feature Map Multidimensional Scaling (optional)

3. Perceptrón

4. Deducción de la regla delta de aprendizaje Target output Actual output h = i

5. Perceptrón Multicapa

6. Función sigmoidal Puede ser también tanh (<-1,+1> ipv <0,1>) Obteniendo f’(x) = f(x) [1 – f(x)]

7. Deducción de la regla delta generalizada

8. Función de error (LMS)

9. Ajuste del vector de pesos (capa oculta – salida)

10. Ajuste del vector de pesos (capa de entrada – capa oculta)

11. Propagación hacia adelante y retropropagación

12. El problema de muestras dispersas Los puntos (muestras) dispersos tienen la mayor contribución en el error total outlier

13. Solución al problema de los puntos dispersos Error Minkowsky (R < 2) Para R = 1 es el mínimo de la función de error de mediana de los datos ( Número de puntos < mediana = Número de puntos > mediana )

14. El problema de inversión x t x t Functional mapping Non-functional inverse mapping

15. Ejemplo: análisis espectral

16. Alternativa: modelos mixtos Entrada de la red: vector de parámetros Una combinación lineal de funciones kernel parametrizadas (p.e. Funciones Gaussianas) dada como salida El vector de parámetros determina la forma de las funciones kernel

17. Solución m.b.v. Modelo mixto x t Non-functional inverse mapping

18. Weight decay Conjunción del valor absoluto de los pesos Resulta en un modelo simple El parametro Lambda determina el peso relativo

19. Regla delta generalizada con Weight Decay Deducción de la regla delta generalizada para una red con LMS error + weight decay

20. Regla de aprendizaje con weight decay

21. Cushings Dataset

22. Algunos resultados… Perceptrón multicapa (2-2-3) 1 capa oculta Conexión directa entrada-salida Salida Soft-max Total 21 pesos

23. 2 hidden (perfect fit)

24. 2 hidden (perfect fit)

25. 2 hidden, lambda = 0.001 (smoother) = Lokaal minimum

26. 2 hidden, lambda = 0.01 = Lokaal minimum

27. 5 hidden, lambda = 0.01

28. 20 hidden, lambda = 0.01

29. Learning Vector Quantisation (LVQ)

46. Self-organizing Feature Maps Teuvo Kohonen

47. Inspiración biológica Imágenes topográficas en la corteza Corteza visual Corteza somatosensorial Corteza motora Corteza inferotemporal

48. La diferencia más importante con LVQ La vecindad

56. SOM toegepast op tijdreeksen

57. Matlab SOM toolbox

58. Los datos (3D)

59. Unified Distance Matrix

60. Sammon mapping

61. Hit histogram 1 (numeric)

62. Hit histogram 2 (size)