Este documento describe las redes neuronales artificiales, incluyendo que se inspiran en el cerebro humano para aprender de la experiencia, que están compuestas de unidades de procesamiento interconectadas que aprenden reconociendo patrones, y que el aprendizaje implica modificar los pesos de las conexiones entre neuronas.

1. Aprendizaje Automatizado
Redes Neuronales
Artificiales

2. Introducción
 Otra forma de emular características propias
de los humanos: memorizar y asociar hechos.
 Se aprende de la experiencia.
 El cerebro humano es el ejemplo más perfecto
de sistema capaz de adquirir conocimiento.
 Se modela artificialmente ese sistema.

3. Definición
 Una red neuronal es "un nuevo sistema para el
tratamiento de la información, cuya unidad
básica de procesamiento está inspirada en la
célula fundamental del sistema nervioso
humano: la neurona".
 Las neuronas son un componente
relativamente simple pero conectadas de a
miles forman un poderoso sistema.

4. Descripción
 Unidades de procesamiento que intercambian
datos o información.
 Se utilizan para reconocer patrones,
incluyendo imágenes, manuscritos, tendencias
financieras, etc.
 Tienen la capacidad de aprender y mejorar su
funcionamiento.

5. Fundamentos - El modelo biológico
 El cerebro humano
contiene más de cien
mil millones de
neuronas.
 La clave para el
procesamiento de la
información son las
conecciones entre ellas
llamadas sinápsis.

6. Estructura biológica
 Las dendritas son la vía de entrada de las señales
que se combinan en el cuerpo de la neurona.
 El axón es el camino de salida de la señal generada
por la neurona.
 En las terminaciones de las sinápsis se encuentran
unas vesículas que contienen unas sustancias
químicas llamadas neurotransmisores, que propagan
señales electroquímicas de una neurona a otra.
 La neurona es estimulada por sus entradas y cuando
alcanza cierto umbral, se dispara o activa pasando una
señal hacia el axón.

7. Estructura artificial
La función de activación puede ser
una simple función escalón

8. Elementos de una red neuronal
 Seinterconectan neuronas en tres tipos de
capas:
– De entrada: reciben estímulos externos.
– Oculta: elementos internos de procesamiento (se
pueden estructurar en varias capas).
– De salida: reciben la información procesada y
retornan la respuesta del sistema al exterior.

9. Elementos de una red neuronal

10. Elementos de una red neuronal
 Las neuronas están conectadas por canales
unidireccionales con peso.
 El peso wij está asociado al canal que conecta
la neurona j con la neurona i.
 La entrada total de la neurona j es netj = Σwijyi.
 La salida de la neurona j es yj = f(netj).

11. Funciones de activación
 θi representa un desplazamiento o umbral de
activación (sesgo o bias).
 Se puede pensar θi como el peso w0i que conecta una
neurona imaginaria x0 con a0(t) = 1.

12. Función de activación escalón

13. Funciones de activación identidad
y lineal-mixta

14. Función de activación sigmoidal

15. Regla de aprendizaje
 Biológicamente se acepta que la información
memorizada en el cerebro se relaciona con los
valores sinápticos de las conexiones.
 En las RNA se considera que el conocimiento
se encuentra representado en los pesos de las
conexiones.
 El proceso de aprendizaje se basa en cambios
en estos pesos.

16. Formas de conexión entre neuronas
 Las salidas de las neuronas se convierten en
entradas de otras neuronas.
 Cuando ninguna salida de las neuronas es
entrada de neuronas del mismo nivel o de
niveles precedentes, la red se describe como
propagación hacia adelante (feedforward).
 En caso contrario la red se describe como
propagación hacia atrás (feedback).

17. Características de las RNA
 Topología.
– Número de capas.
– Número de neuronas por capa.
– Tipo de conexiones. Normalmente, todas las
neuronas de una capa reciben señales de la capa
anterior (más cercana a la entrada) y envían su
salida a las neuronas de la capa posterior (más
cercana a la salida de la red).
 Tipo de aprendizaje.

18. Redes feedforward.
 Las más conocidas son:
– Perceptrón
– Adaline
– Madaline
– Backpropagation
 Son útiles en aplicaciones de reconocimiento o
clasificación de patrones.

19. Mecanismo de Aprendizaje
 Los cambios en el proceso de aprendizaje se
reducen a destrucción, modificación y creación
de conexiones entre las neuronas.
 La creación de una conexión implica que el
peso de la misma pasa a tener un valor distinto
de cero.
 Una conexión se destruye cuando su valor
pasa a ser cero.

20. Redes con aprendizaje supervisado
 El tipo de aprendizaje puede ser supervisado o
no supervisado.
 El proceso de aprendizaje supervisado se
realiza mediante el control de un agente
externo (supervisor) que determina la
respuesta que debería generar la red a partir
de una entrada determinada.
 En el caso de no coincidir se modifican los
pesos con el fin de aproximarse al valor
deseado.

21. Aprendizaje por corrección del
error. Algoritmo
 Paso 1: Asignar valores aleatorios a los pesos
de la red.
 Paso 2: Mientras no se alcance un nivel
deseado de predicción:
– Tomar un dato de entrenamiento x y obtener una
salida y.
– Si y no es el valor deseado para x entonces
actualizar los pesos.

22. Regla de aprendizaje delta o MEC
 Los algoritmos actualizan los pesos mediante:
w´= w + ∆w
 Lavariación entre los distintos métodos está
en la forma de calcular Δw.
 Sedefine una medida de error para cada
patrón de entrenamiento p:
E = (d − y )
p 1
2
p p 2

23. Regla de aprendizaje delta o MEC
 Se deben encontrar los wi que minimicen el
error cuadrático:
E= ∑E
p∈D
p
= 1
2 ∑ (d p
− y p )2
∂E
 Para esta regla de aprendizaje, ∆w = −η
i
∂wi
 La idea es definir un vector gradiente
∂E ∂E ∂E
∇⋅E = , ,...,
∂w1 ∂w2 ∂wm

24. Regla de aprendizaje delta o MEC
 Se debe encontrar la dirección en la que este
vector hace menor al error E.
 Algunas fórmulas útiles (función lineal):
∂E ∂E ∂y ∂y ∂E
= ⋅ = xi = −( d p − y p )
∂wi ∂y ∂wi ∂wi ∂y
 Las redes Adaline y Madaline utilizan esta
regla de aprendizaje.

25. Regla delta generalizada
 La regla delta se puede aplicar a una capa de
neuronas.
 Se puede generalizar a más capas.
 La idea central es que los errores de las
unidades ocultas se propagan hacia atrás.
 Se aplica en la red Backpropagation.

26. Neural Network Toolbox
>> load house_dataset
 La red backpropagation más comunmente utilizada
posee una capa oculta con 20 neuronas.
>> newff(houseInputs, houseTargets, 20);
 La cantidad de neuronas de entrada tanto como la de
salida quedan determinadas por las características del
dataset.
>> net = train(net, houseInput, houseTargets)

27. Neural Network Toolbox

28. Neural Network Toolbox
 Eldataset es dividido aleatoriamente en tres
conjuntos:
– 60% de los datos se utilizan para entrenamiento.
– 20% de los datos se utilizan para validación.
– 20% de los datos se utilizan para test.
 El entrenamiento continúa mientras se reduce
el error de validación.
 Esta es una técnica muy utilizada para evitar el
sobreentrenamiento.

29. Neural Network Toolbox
 Una vez entrenada la red, se la puede utilizar:
>> y = sim(net, p);
 Paraun conjunto de nuevos datos se espera
un error similar al calculado para el conjunto
de test.
 Se puede mejorar la precisión de una red.

30. Neural Network Toolbox
 Sepuede inicializar nuevamente la red para
volver a entrenar:
>> net.IW{1, 1}(1:2, 1:2)
-0.5815 0.2696
-0.2799 -0.4926
>> net = init(net);
>> net.IW{1, 1}(1:2, 1:2)
-0.0047 0.2063
0.4592 -0.4419

31. Neural Network Toolbox
 Unasegunda estrategia es cambiar el número
de capas y neuronas internas.
– Se puede agregar como cuarto argumento un
arreglo con los nombres de las funciones
transferencia a usar en cada capa.
 Por
último, usar datos adicionales
generalmente mejora el aprendizaje.