Fundamentos de la Computación Neuronal y Redes Neuronales

Dr. Hugo A. Banda Gamboa
CORDICYT
Octubre, 2015
© Dr. Hugo A. Banda Gamboa - 2015 1

CONTENIDO
I. Fundamentos de la Computación
Neuronal
II. Modelo Neuronal
III. Aprendizaje Neuronal
IV. Arquitecturas Neuronales
V. Perceptrones
VI. Redes Lineales
VII. Redes de Retropropagación
VIII. Redes de Base Radial
IX. Redes Auto-organizativas y LVQ
X. Conclusión

Neurociencia y Ciencias Cognitivas
 La neurociencia es una disciplina científica que estudia
la estructura, función, desarrollo, genética,
bioquímica, fisiología, farmacología,
patología del sistema nervioso y la psicología. La
neurociencia está en la frontera de la investigación del
cerebro y la mente.
 La ciencia cognitiva es el estudio interdisciplinario de la
mente y la inteligencia. La hipótesis central de la ciencia
cognitiva es que el pensamiento puede ser comprendido
mejor en términos de estructuras representativas en la
mente y procedimientos que operan sobre esas
estructuras. Se asume que la mente usa
representaciones análogas a la estructuras de datos de
los computadores; y, procedimientos similares a
algoritmos computacionales.

La Neurona Biológica
 Nuestro sistema nervioso y, en especial,
nuestro cerebro, está compuesto por un
conjunto de células nerviosas, también
llamadas neuronas.
 Una neurona es una célula altamente
especializada en el proceso de la
información, cuya estructura básica
puede observarse en la Figura.
 La morfología de una neurona comprende
tres elementos principales: el soma, o
núcleo; las dendritas, o terminaciones de
la neurona que actúan como contactos
funcionales de entrada con otras
neuronas; y el axón o eje, una rama más
larga que será la encargada de conducir el
impulso nervioso y que finaliza también
en diversas ramificaciones.

Comunicación entre Neuronas …
 Se realiza a través de las llamadas sinapsis, que
son los puntos de conexión entre las fibras
terminales del axón de una neurona y una
dendrita de otra.
 Las sinapsis también reciben el nombre de saltos
sinápticos, ya que en la mayoría de los casos,
fibras terminales y dendritas no están en
contacto, sino separadas por una pequeña
distancia.
 Por ello, al contrario de lo que mucha gente
piensa, el impulso nervioso no es de naturaleza
eléctrica, sino electroquímica.

Comunicación entre Neuronas

Propagación de las Señales
 El impulso nervioso producido por una neurona se propaga por el
axón y al llegar al extremo, las fibras terminales pre-sinápticas
liberan unos compuestos químicos llamados neurotransmisores.
 Los neurotransmisores alteran el estado eléctrico de la
membrana post-sináptica. En función del neurotransmisor
liberado, el mecanismo puede resultar excitador o inhibidor para
la neurona "receptora".
 En el soma de una neurona se integran todos los estímulos
recibidos a través de todas las dendritas. Si como resultado se
supera un potencial de activación, la neurona se "dispara"
generando un impulso que se transmitirá a través del axón.
 Este impulso no es constante y la capacidad de reaccionar de la
neurona varía con el tiempo hasta volver al estado de reposo. La
comunicación tiene lugar a través de trenes de pulsos, por lo que
los mensajes se encuentran modulados en frecuencia.

Respuesta de una Neurona
Biológica
 Tanto el salto
electroquímico como la
aparición de períodos
refractarios, limitan mucho
la velocidad de la neurona
biológica y el rango de
frecuencia de los mensajes,
que oscila entre unos pocos
y algunos cientos de
hertzios (ciclos/segundo).
 Por ello, el tiempo de
respuesta se ve limitado al
orden de milisegundos,
mucho más lenta que un
circuito electrónico.

Modelo Neuronal

INTRODUCCIÓN
Las neuronas biológicas, que sirven de
modelo para la computación neuronal,
son entre 5 a 6 órdenes de magnitud más
lentas que los chips de silicio. Los
eventos en la neuronas biológicas ocurren
en el orden de los milisegundos (10-3),
mientras que en los chips de silicio
ocurren en el rango de los nanosegundos
(10-9).
Sin embargo el masivo paralelismo del
procesamiento neuronal biológico y su
eficiencia energética, superan
enormemente a los chips actuales.

Diferencias entre Sistemas Neuronales
Nº de Neuronas
Nº Conexiones
por Neurona
Cerebro Humano 1011 104
Cerebro de una
Libélula
104 103
Red Neuronal
Artificial
103 102
© Dr. Hugo A. Banda Gamboa - 2015

Tipos de Redes Neuronales
TIPO DE RED
NEURONAL
CARACTERÍSTICA
Red Neuronal
Biológica
Orgánica
Red Neuronal
Artificial
Computarizada
Algorítmica
Red Neuronal
Artificial en Chip
Electrónica

Red Neuronal Biológica

Modelo Computacional de
Neurona (McCulloch-Pitts)
 En 1943 McCulloch y Pitts publicaron un trabajo en el que
se hablaba, por primera vez, de las neuronas artificiales y
de cómo éstas podrían realizar cálculos lógicos.
 El modelo de neurona artificial propuesto consiste de
una unidad con función de activación tipo escalón
(binaria) similar a la que se observa en la Figura:













bp
bp
a R
i
ii
R
i
ii
1
1
:Si1
:Si0


∑ X
)(
1
bpn
R
i
ii  

-b
1
1
b
+
+
1
2
R-1
R
p1
p2
pR-1
pR

Analogías del Modelo
 Este modelo de neurona artificial presenta
numerosas analogías con las neuronas biológicas:
 Los cables o conexiones son análogos a dendritas y
axones,
 Los pesos de ponderación de las conexiones
equivalen a las sinapsis; y,
 El umbral de activación de la neurona representa la
actividad del soma.
 En función de su signo, los pesos sinápticos
pueden actuar tanto como activadores (signo
positivo) o como inhibidores (signo negativo).

Operación de la Neurona
 La unidad realiza una función de proceso, sumando los
productos de los valores de las entradas pi por los
pesos sinápticos i :
 Si el resultado obtenido es igual o mayor al valor
del umbral (-b), la neurona se activa produciendo
como respuesta el valor de activación (a=1).
 Por el contrario, si el resultado de aplicar la función de
proceso a los valores de entrada no superara el valor
del umbral (-b), la neurona permanecerá inactiva y su
salida será nula (a=0).

R
i
ii p
1

bp
R
i
ii 1

bp
R
i
ii 1


Funciones de Activación
 Desde la publicación del trabajo de McCulloch y
Pitts ha habido numerosas generalizaciones a su
modelo de neurona, pero la más empleada
consiste en la sustitución de la función de salida
tipo escalón, por una función rampa, Gaussiana y
sigmoide:
)(
1
1
)( bn
e
nf 

 
Rampa
-b
f(n)
n
a
1
Sigmoide
-b n
a
1
1/2
Gaussiana
-b
f(n)
n
a
1

Función de Transferencia Sigmoide Bipolar
-15 -10 -5 0 5 10 15
-1
1
f(n)
n
)(
)(
1
1
)( bn
bn
e
e
nf 



 

)](
2
1
tanh[)( bnnf  
-b

Notación Vectorial
 En la práctica, para simplificar la notación y la
programación del modelo, se suele incluir el umbral de
activación dentro del sumatorio.
 El operador "asterisco" (*) representa el producto
escalar de los vectores de las señales de entrada y de
los pesos de las conexiones sinápticas.





 
DecisióndeUmbralel
AtributosdeVectorel
PesosdeMatrizlaes
Donde
)*()(
1
b
bfbpfa
R
i
ii
p
W
pW
aumentadoatributosdeVector
))(
y1:Si
0
00




a
a
p
pWf(pfa
bp
R
i
ii


Modelo Abreviado de una Neurona
con Vector a la Entrada
W
b
+ f
R
1
a
1 x 1n
1 x 1
11 x 1
p
R x 1
R=# de elementos en el vector de entrada
NeuronaEntrada
)( bfa  Wp
1 x R

Neuronas Artificiales en Chip
 Un equipo de investigadores
del Instituto Tecnológico de
Massachussets (MIT), en
Estados Unidos, ha
conseguido crear un chip que
imita la adaptación de las
neuronas a cualquier
información novedosa, a
través de la actividad de sus
canales iónicos.
 Con unos 400 transistores,
este circuito integrado o chip,
fabricado en silicio es capaz
de emular la actividad de las
sinapsis neuronales.
 El chip creado podría ayudar a
los neurocientíficos a conocer a
fondo el funcionamiento del
cerebro, y dar lugar al
desarrollo de partes
constitutivas de dispositivos de
inteligencia artificial
http://goo.gl/qJuoE5

Neuronas Artificiales basadas en
Memristores (Memory Resistors)
 El efecto de memoria de los memristores, es debido a la
histéresis en su curva característica voltaje-corriente.
Gracias a ello pueden simular una neurona artificial.
 La red de neuronas artificiales se implementa mediante
una matriz de 12×12 memristores cada uno ocupando un
área de 0,2×0,2 micrómetros. Cada memristor está
fabricado mediante una heteroestructura formada por
varias nanocapas (menos de 100 nm cada una) de óxido de
aluminio (Al2O3), dióxido de titanio (TiO2–x), platino (Pt),
titanio (Ti) y tantalio (Ta) sobre un sustrato de silicio.
http://goo.gl/SyfCNT

Aprendizaje
Neuronal

¿Cómo Aprende una Neurona
Artificial?
 El psicólogo Donald Hebb, en sus observaciones
de experimentos neurobiológicos dedujo que si las
neuronas de ambos lados de una sinapsis se
activan simultáneamente repetidas veces, el valor
de la conexión sinaptica se incrementa.
 Este principio es lo que se conoce como postulado
de aprendizaje de Hebb.
 El aprendizaje de una neurona y de una red
neuronal se traduce en la adaptación de los pesos
de sus conexiones sinápticas, para disminuir el
error entre la salida producida ante una entrada y
la salida correcta.

El Proceso de Aprendizaje
 El proceso de aprendizaje implica la
siguiente secuencia de eventos:
 La red neuronal es estimulada por muestras
de su entorno.
 La red neuronal sufre cambios como
resultado del estímulo aplicado.
 La red neuronal responde al entorno
demostrando el entrenamiento recibido,
debido a los cambios que han ocurrido en su
estructura interna.

Entorno y Conocimiento
 No existe una teoría bien desarrollada para
optimizar la arquitectura de una red neuronal
requerida para interactuar con un cierto
entorno de interés y para evaluar la forma en
que los cambios en la arquitectura de la red
afectan la representación del conocimiento
dentro de la misma.
 Respuestas satisfactorias a estos problemas se
pueden encontrar a través de exhaustivos
estudios experimentales, con el diseñador de
la red neuronal convertido en parte esencial
de la estructura del ciclo de aprendizaje.

Representación del Conocimiento
 El conocimiento acerca de los objetos de
interés que están en un determinado entorno,
está representado simbólicamente en los
conjuntos de ejemplos que se seleccionan
para:
 Entrenar una red neuronal artificial
(Training Set).
 Comprobar el aprendizaje de una red
neuronal artificial (Testing Set).
 Verificar la operación de una red neuronal
artificial (Working Set).

Objetos de Interés y Patrones
 Los objetos de interés pueden ser datos,
caracteres impresos, señales audibles,
visuales o electrónicas, imágenes,
estados de un sistema o cualquier cosa
susceptible de ser representada,
aprendida, reconocida o clasificada.
 Se los representa mediante patrones.
 Un patrón es la abstracción de los
atributos de un objeto de interés.
Sintetiza sus principales rasgos
característicos.

Representación de Patrones
 Un patrón usualmente se lo representa por
un vector n-dimensional que integra un
conjunto de mediciones obtenidas de los
atributos del objeto de interés o de sus
interrelaciones.
 La representación del conocimiento
mediante patrones y la selección del
correspondiente conjunto de vectores
constituye una de las principales tareas del
proceso de diseño de soluciones con redes
neuronales, y es la clave de su operación.

Entrenamiento y Aprendizaje Formal
 Cada ejemplo del conjunto de
entrenamiento consiste de un par
entrada – salida, esto es, un vector de
entrada y su correspondiente respuesta
deseada.
 Un sistema es capaz de aprender un
concepto si, dado un conjunto de
ejemplos positivos y negativos, puede
producir un algoritmo que pueda
clasificar correctamente en el futuro,
con probabilidad 1/h.

Teoría del Aprendizaje Formal
 La complejidad de aprender un concepto
es una función de tres factores: la
tolerancia al error (h ), el número de
rasgos presentes en los ejemplos (t ) y el
tamaño de la regla necesaria para
discriminar (f ).
 Si el número de ejemplos requeridos
para el entrenamiento de un sistema
está dado por un polinomio en h, t y f,
entonces se dice que el concepto es
aprendible.

Tamaño de la Muestra
 Para los procesos de aprendizaje, se ha
demostrado que para minimizar el error
del sistema, el número de ejemplos para
cada clase, elegidos aleatoriamente
para conformar el conjunto de
entrenamiento, debe ser al menos tres
veces el número de rasgos utilizados
para representar cada caso, esto es tres
veces la dimensión del vector del patrón
característico.

Preprocesamiento
 El entrenamiento de una red neuronal puede
realizarse en forma más eficiente si se aplican
ciertos pasos de preprocesamiento a los
vectores de entrada y salidas esperadas.
 Varios pueden ser los métodos a aplicarse:
 Análisis del poder discriminante de los atributos.
 Escalamiento de entradas y salidas (rango entre -1
y +1)
 Normalización de entradas y salidas (media cero y
desviación estándar unitaria)
 Análisis de componentes principales (reducción
dimensional)

Poder Discriminante de Atributos
 La evaluación de poder discriminante y la
selección de atributos es una etapa
importante en el diseño de un sistema de
reconocimiento de patrones.
 La prueba de William Kruskal y W. Allen
Wallis es un método no paramétrico que se
utiliza para probar si dos o más grupos de
datos provienen de la misma población.
 Es idéntico al método ANOVA en el que se
asume normalidad de los datos.

Estilos de Entrenamiento
 Entrenamiento Incremental
 Los pesos de las conexiones sinápticas y los
valores de los umbrales de decisión, son
actualizados cada vez que un vector de
entrada es presentado a la red.
 Entrenamiento por Lotes
 Los pesos de las conexiones sinápticas y los
valores de los umbrales de decisión, son
actualizados después de que todo el grupo
de vectores de entrada han sido presentados
a la red (época).

Generalización
 Uno de los problemas que ocurren
durante el entrenamiento de redes
neuronales es el sobre entrenamiento.
 El error en el conjunto de entrenamiento
alcanza un valor muy pequeño, pero
cuando nuevos vectores son
presentados a la red el error es grande.
 La red ha memorizado los ejemplos de
entrenamiento, pero no tiene capacidad
de generalización a situaciones nuevas.

Matriz de Confusión
 Describe los errores en los que incurre
una red neuronal al tratar de clasificar
un conjunto de vectores representativos
del problema para el que fue entrenada.
 Los grupos de clasificación componen
tanto las filas como las columnas.
 Los valores en su diagonal representan
los casos correctamente clasificados y
aquellos fuera de la diagonal los errores
cometidos.

Matriz de Confusión
Grupos o Clases
1 2 3 4 5
1 c11 e12 e13 e14 e15
2 e21 c22 e23 e24 e25
3 e31 e32 c33 e34 e35
4 e41 e42 e43 c44 e45
5 e51 e52 e53 e54 c55
GruposoClases

Tipos de Errores
 Error Optimista
 Se obtiene cuando se calcula el error de una
matriz de confusión construida utilizando el
conjunto de entrenamiento como conjunto
de prueba.
 Error Pesimista
 Resulta del cálculo del error dado por una
matriz de confusión construida utilizando un
conjunto de prueba diferente al conjunto de
entrenamiento.

Tipos de Errores
Error Optimista
Error Pesimista
% ε
N° Muestras
Error
Real
N1

Paradigmas de Aprendizaje
 Aprendizaje supervisado
 Aprendizaje por refuerzo
 Aprendizaje no - supervisado

Paradigma de Aprendizaje
Supervisado
PROFESOR
RED NEURONAL 
ENTORNO
+
-
Señal de Error
Vectores
Descriptivos del
Entorno Respuesta
Actual
Respuesta
Deseada
Conocimiento

Paradigma de Aprendizaje por
Refuerzo
CRÍTICO
ELEMENTO DE
APRENDIZAJE
ENTORNO
Acciones
Vector
de Estado
Entrada
Sistema de
Aprendizaje
Refuerzo
Heurístico
BASE DE
CONOCIMIENTO
Refuerzo
Primario
ELEMENTO DE
ACTUACIÓN

Paradigma de Aprendizaje No
Supervisado
 En el aprendizaje no supervisado o auto – organizativo, no
existe un profesor o un crítico para supervisar el
proceso de aprendizaje.
Entorno
Capa de
Entrada
Capa
Competitiva
Sistema de Aprendizaje

Paradigma de Aprendizaje No
Supervisado
 No hay ejemplos específicos de la función a
ser aprendida por la red. A cambio se provee
una medida, independiente de la tarea, que
determina la calidad de la representación que
debe ser aprendida por la red, y sus
parámetros libres son optimizados con
respecto a esa medida.
 Una vez que la red se ha sintonizado con las
regularidades estadísticas de los datos de
entrada, desarrolla la habilidad de formar
representaciones internas para los rasgos
característicos de la entrada y por lo tanto
crea nuevas clases automáticamente.

ARQUITECTURAS
NEURONALES

Fundamentos: Definición de Red
Neuronal
Sistema procesador paralelo - distribuido,
masivamente interconectado, capaz de
almacenar y utilizar conocimiento
experimental. Está diseñado para
modelar la forma en que el cerebro realiza
una tarea o función de interés.
 El conocimiento es adquirido mediante un
proceso de adaptación.
 El conocimiento se almacena en las
conexiones (sinapsis), entre las neuronas de
la red.

Arquitectura de Redes Neuronales
Artificiales
 Dos o más modelos de neuronas, pueden ser
combinados en una capa. A su vez, una
determinada arquitectura de red neuronal
puede contener una o más capas, dando lugar a:
Estructuras Monocapa y Multicapa

Redes Estáticas y Dinámicas
 Las redes también pueden ser clasificadas como:
 Estáticas.- No tienen conexiones recurrentes ni
retardos. La salida se calcula directamente de las
entradas, siguiendo las conexiones hacia adelante.
 Dinámicas.- Son aquellas en las que la salida
depende no solamente de la entrada actual, sino
también de entradas previas, salidas o estados de la
red. Las redes dinámicas pueden ser de dos tipos:
 Sólo con conexiones hacia adelante
 Con conexiones recurrentes
 En general las redes dinámicas son más poderosas
que las redes estáticas, aunque algo más difíciles
de entrenar.

APRENDIZAJE
MODELO DE RED TOPOLOGÍA ON/OFF
LINE
PARADIGMA ALGORITMO ASOCIACIÓN SEÑAL
DE
ENTRADA
SEÑAL DE
SALIDA
Continous
Hopfield
1 Capa Off No
Supervisado
Hebbiano Autoasociativa Analógica Analógica
Discrete Hopfield 1 Capa Off No
Supervisado
Hebbiano Autoasociativa Binaria Binaria
Optimal Linear
Associative
Memory
1 Capa Off No
Supervisado
Hebbiano Autoasociativa Analógica Analógica
Additive
Grossberg
1 Capa On No
Supervisado
Hebbiano o
Competitivo
Autoasociativa Analógica Analógica
Shunting
Grossberg
1 Capa On No
Supervisado
Hebbiano o
Competitivo
Brain-State-in-a-
Box
1 Capa Off Supervisado Corrección de
Errores
Bidirectional
Associative
Memory
2 Capas Off No
Supervisado
Hebbiano Heteroasociativa Binaria Binaria
Fuzzy Associative
Memory
2 Capas Off No
Supervisado
Hebbiano Difuso Heteroasociativa Analógica Analógica
Memorias Asociativas

APRENDIZAJE
MODELO DE RED TOPOLOGÍA ON/OFF
LINE
PARADIGMA ALGORITMO ASOCIACIÓN SEÑAL DE
ENTRADA
SEÑAL DE
SALIDA
Adaline 1 Unidad Off Supervisado Corrección de
Errores
Heteroasociativa Analógica Binaria
Madaline 2 Capas Off Supervisado MRII Heteroasociativa Analógica Binaria
Perceptrón 2 o más
Capas
Off Supervisado Corrección de
Errores
Retropropagación N Capas Off Supervisado Backpropagation Heteroasociativa Analógica Analógica
Associative Reward
Penalty
2 Capas On Supervisado Refuerzo
Estocático
Boltzmann Machine 3 Capas Off Supervisado Estocástico Heteroasociativa Binaria Binaria
Cauchy Machine 3 Capas Off Supervisado Estocástico Heteroasociativa Analógica Binaria
Redes Neuronales con Conexiones
hacia Adelante (Feed-Forward)

Biología
 Modelos cognoscitivos y de sistemas
biológicos.
Militares
 Clasificación de señales de radar.
 Fabricación de armas inteligentes.
 Asistencia en análisis y
administración de operaciones.
Empresa
 Evaluación prospectiva de
formaciones geológicas y
petrolíferas.
 Evaluación de personal.
 Data mining.
 Reconocimiento de patrones.
 Administración de horarios y
reservaciones de vuelo
Medio Ambiente
 Análisis de tendencias y patrones.
 Pronóstico del tiempo.
Finanzas
 Análisis de evolución de precios.
 Análisis de riesgos en préstamos.
 Reconocimiento de firmas.
 Seguridad en documentos.
Medicina
 Sistemas para ayuda a
discapacitados.
 Sistemas para diagnóstico y
tratamiento médico.
 Predicción de efectos secundarios en
medicamentos.
 Procesadores de Rayos X.
 Análisis de señales biológicas.
Manufactura
 Sistemas de control automático,
visión computarizada y robótica.
 Control de procesos de producción.
 Sistemas para control total de
calidad.
Principales Aplicaciones de las Redes Neuronales

Diseño de Soluciones con Redes
Neuronales Artificiales
 Comprende los siguientes pasos:
 Seleccionar una arquitectura de red neuronal,
apropiada para resolver el problema identificado.
 Escoger un conjunto de ejemplos para entrenar la red,
utilizando un algoritmo apropiado. Esta fase es la que
corresponde al entrenamiento o aprendizaje de la red.
 Probar la capacidad de la red entrenada para resolver
el problema propuesto, utilizando un conjunto de
datos de prueba. Esta es la fase de prueba de la red.
 Evaluar la operación de la red con un conjunto de
datos de verificación, que no hayan sido utilizados en
el entrenamiento o las pruebas. A esta fase se la
denomina de generalización.

El Perceptrón de Frank Rossenblat
 En 1958, Frank Rossenblat desarrolló una aplicación
práctica para la neurona de McCulloch y Pitts,
aplicando las ideas de aprendizaje de Hebb. construyó
una máquina capaz de reconocer objetos de forma
visual. Así nació el Perceptrón, la primera red
neuronal de la historia.
 El diseño del perceptrón consistía en una capa de
elementos sensores, cuyas salidas se conectaban a las
entradas de una neurona de McCulloch-Pitts a través
de detectores de umbral de las señales de los
sensores.
 El número de detectores de umbral era inferior al de
elementos sensores, por lo que un detector podía
conectarse a más de un sensor. La distribución de
estas conexiones era aleatoria.

El Perceptrón de Frank Rosenblatt
Neurona de
McCulloch y Pitts

Arquitectura del Perceptrón

Regla de Aprendizaje del Perceptrón Simple
1. Inicializar todos los pesos W y umbrales de
decisión b a valores aleatorios.
2. Para q = 1 hasta q = Q:
 Presentar un par entrada (pq) – salida (tq).
 Calcular la respuesta de las neuronas aq al patrón pq
 Calcular las matrices y realizar los ajustes a los
valores del umbral de decisión y a los pesos:
3. Si el error es mayor al aceptable, volver al
paso 2.
(Error)

Limitaciones del Perceptrón
 La Regla de Aprendizaje del perceptrón
anteriormente descrita, es capaz de entrenar sólo
perceptrones de una capa. Esta restricción impone
limitaciones en las computaciones que un
perceptrón puede realizar.
 Las redes de perceptrones, sólo pueden ser
entrenadas con el estilo incremental.
 Los perceptrones solamente pueden clasificar
conjuntos de vectores de entrada linealmente
separables.
 Las salidas del perceptrón pueden tomar
únicamente dos valores (0 o 1).

Perceptrón Simple como
Clasificador
binariaactivacióndeFunción
entradasdeNúmero
)*(
)(
)(
1
,1
22,111,1






f
R
bpWfa
bpfa
bppfa
R
i
ii

p1
p2
p0 = 1
1,1
a
1,2
1,0 = b
2,1
1
2,1
1,1
2

 b
pp 
p2
p1
W*p+b > 0
a = 1
W*p+b= 0
a = 0
W*p+b< 0
a = 0

Ejemplo en MATLAB

Perceptrones Simples para
Funciones Lógicas
Función OR
x1 x2 y
0 0 0
0 1 1
1 0 1
1 1 1
Función AND
x1 x2 y
0 0 0
0 1 0
1 0 0
1 1 1
x1
x2
x0 = 1
1,1
y
1,2
1,0 = b1
N

Redes Lineales
 Las redes lineales son similares a las del
perceptrón, con la diferencia que la función de
trasferencia es lineal. Esto permite que su salida
adquiera cualquier valor y no esté limitada, como en
el caso del perceptrón, a 0 o 1.

Carro Robótico: Definición del Problema
 Se tiene un vehículo robótico de tres ruedas. Cada
rueda posterior tiene un motor que controla su giro
hacia adelante o hacia atrás. Dispone de tres sensores
de proximidad, uno al frente y uno a cada costado.
Dependiendo del tipo de obstáculo detectado, el
vehículo puede girar a la derecha, izquierda, dar
marcha adelante o marcha atrás. Diseñar un
controlador neuronal para este vehículo.

Carro Robótico: Diseño Lineal
f (n1)
f (n2)
n1
n2
67

Carro Robótico: Script MATLAB
% SEÑALES DE CONTROL
% (P = Señales de los sensores de proximidad)
P=[0 0 0 0 1 1 1 1;0 0 1 1 0 0 1 1;0 1 0 1 0 1 0 1];
% (T = Salidas de comando para los motores)
T=[1 0 0 0 1 0 0 0;1 0 1 0 0 0 0 0];
% DISEÑO DE UN SISTEMA NEURONAL LINEAL:
CRLD=newlind(P,T);
% COMPROBACIÓN DE LA SOLUCIÓN
a=sim(CRLD,P);
% BINARIZACIÓN DE LAS SALIDAS LINEALES
n=size(a,1);
m=size(a,2);
Y=zeros(n,m);
for i=1:n
for j=1:m
if a(i,j)> 0.5
Y(i,j)=1;
end
end
end

Predicción Simple: Definición del Problema
 Se tiene una señal senoidal (T) de 2 Hz, con una
duración de 5 segundos y una tasa de 40 muestras
por segundo.
 En cualquier instante la red recibe en su entrada
los últimos 5 valores de la señal (P) y se espera
que a la salida la red prediga el siguiente valor.

Predicción Simple: Diseño de la Red
 Debido a que la relación entre los valores pasados y
futuros de la señal no cambian, la red puede ser
diseñada directamente a partir de los ejemplos,
utilizando newlind.
 De acuerdo con la definición del problema, se tienen
los últimos 5 valores de señal y una salida, el siguiente
valor de la señal, por lo que la solución requiere de
una neurona lineal con 5 entradas y una salida.

Predicción Simple: Prueba de la Red
 El siguiente gráfico muestra la superposición de las señales de entrada y
de salida de la red.
 Al graficar la diferencia entre las dos señales, se nota algún error en los
primeros instantes, debido a que la red recibió de manera retardada los
primeros 5 valores.

Predicción Simple: Script MATLAB
% Predictor Simple
time = 0:0.025:5;
T = sin(time*4*pi);
Q = length(T);
P = zeros(5,Q);
P(1,2:Q) = T(1,1:(Q-1));
P(2,3:Q) = T(1,1:(Q-2));
P(3,4:Q) = T(1,1:(Q-3));
P(4,5:Q) = T(1,1:(Q-4));
P(5,6:Q) = T(1,1:(Q-5));
net = newlind(P,T);
a = sim(net,P);
e=T-a;
hold all;
plot(time,T,time,a);
pause;
plot(time,e);

Filtros Lineales
 Al combinar una red lineal con una línea de
retardo con tomas (TDL), se crea un filtro lineal de
respuesta finita al impulso (FIR).

Predicción Adaptativa: Definición del Problema
 Un filtro lineal se puede entrenar de forma
incremental para predecir una serie de tiempo. Este
estilo de entrenamiento le permite responder a los
cambios en la relación entre los valores pasados y
futuros de la señal.
 Para el ejemplo, se trata de predecir una señal de 2
Hz, con una duración de 6 segundos y una tasa de 20
muestras por segundo. Sin embargo, a partir de los 4
segundos súbitamente la frecuencia se duplica.
Diseñar un filtro adaptativo.

Predicción Adaptativa: Diseño de la Red
 La red tiene una sola neurona ya que existe un
valor de señal de salida T en cada paso. Tiene 5
entradas, una para cada valor retardado de la
señal P que es la misma que la señal esperada T.

Predicción Adaptativa: Prueba de la Red

Predicción Adaptativa: Script MATLAB
% Filtro Adaptativo
time1 = 0:0.025:4;
time2 = 4.025:0.025:6;
time = [time1 time2];
T = [sin(time1*4*pi) sin(time2*8*pi)];
T = con2seq(T);
P = T;
lr = 0.1;
delays = [1 2 3 4 5];
net = newlin(P,T,delays,lr);
[net,a,e]=adapt(net,P,T);
hold all;
plot(time,cell2mat(P),time,cell2mat(a));
pause;
plot(time,cell2mat(e));

Red de Retropropagación
(Backpropagation)
i
j
k
bi
bj
wi,j
wj,k

Regla Delta
p
n
p
m
p
p
m
p
m
nm
nm
p
n
p
m
p
p
m
p
m
nm
p m
p
m
p
m
p m n
p
nnm
p
m
p m
p
m
p
m
xhfyr
D
xhfyr
D
hfrD
xfrD
yrD
)()(
)()(
])([
2
1
])([
2
1
)(
2
1
:(error)cuadráticamediaDesviación
,
,
,
2
2
,
2



 

















Regla Delta Generalizada
(Error Back-Propagation)
 
 
  )(
)(
)(
2
1
)()(
)()(
,
,
2
,
,
p
i
p
p
i
p
i
i
i
p
j
p
i
p
p
i
p
i
ji
ji
p i
p
i
p
i
k
jjkkjj
j
iijjii
hfsr
b
D
b
shfsr
D
hfrD
hfbxfs
hfbsfs























Regla Delta Generalizada
(Error Back-Propagation)
 
 
 
























p
p
jj
j
j
j
p
ip
i
p i
p
i
p
i
j
j
p
jji
p
i
i
p
i
p
i
p
j
p
k
p
p
jkj
kj
j
j
p
ip
i
p i
p
i
p
i
kj
kj
b
b
s
s
h
hfhfr
b
D
b
hfhfsrx
s
s
h
hfhfr
D







)()(
)())((
)()(
,,
,,
,

Red Feedforward (MATLAB)
LW2,1
b2
+
1
S x 1
S x 1
SS x 1
Capa de Salida
)( 211,22
baLWa  k
S x H
IW1,1
b1
+
R
1
H x 1n1
H x 1
HH x 1
p1
R x 1
Capa OcultaEntrada
)( 111,11
bpIWa  f
H x R
n2
a1 a2
R=# de elementos en el vector de entrada
H=# de neuronas en la capa oculta
S=# de neuronas en la capa de salida

Ejemplo de MATLAB:
Clasificación de Cangrejos
 Se trata de clasificar cangrejos por su género
(masculino, femenino) a partir de características
físicas. Se utilizan seis mediciones que
corresponden a los siguientes atributos:
 Especie (0 = azul; 1 = anaranjado)
 Tamaño del lóbulo frontal
 Ancho posterior
 Longitud del carapacho
 Ancho del carapacho
 Profundidad del cuerpo
 Género (male, female)

Clasificación de Cangrejos:
Preparación de los Datos
 Dada la naturaleza no lineal de los problemas que se
encuentran en el mundo real, las redes neuronales son las
mejores herramientas que uno puede utilizar para resolver
problemas como este que trata de clasificar cangrejos por
su género, utilizando las seis mediciones de características
como entradas y el género como salida.
 Los datos recopilados corresponden a 200 ejemplares
(crabdata.csv). Las mediciones de los atributos, tienen
valores numéricos, pero el género está dado en forma
textual. Debido a que las redes neuronales en MATLAB no
pueden ser entrenadas con datos no numéricos, es
necesario aplicar una técnica de conversión simbólica a
codificación unaria. Esto es, 'Female' será representado
por el vector [1 0] y 'Male' representado por [0 1].
 Para la clasificación se utiliza una red neuronal tipo
feedforward backpropagation con una configuración
6:20:2

Clasificación de Cangrejos:
Script y Resultados

Ejemplo: Predicción de Consumo
 La predicción de consumo de energía eléctrica refleja
las necesidades futuras de una población; esta
previsión debe ser lo más ajustada a la realidad, ya
que unos valores inferiores a los reales causarán
deficiencias en la prestación del servicio en el futuro y
un pronóstico de necesidades superior al real, motiva
la inversión prematura en instalaciones que no
tendrán un aprovechamiento inmediato.
 La proyección del suministro de energía se hace con
base en la demanda registrada, aplicando porcentajes
de pérdidas que pueden obtenerse de un análisis de
los registros históricos (que normalmente se
presentan en forma estadística), o por similitud con
otros sistemas.

Datos de Demanda Máxima (MVA)
HORA Lunes Martes Miércoles Jueves Viernes Sábado Domingo
1 1,23 1,6049 1,663 1,7299 1,7129 1,713 1,414
2 1,0889 1,4389 1,4689 1,5159 1,4569 1,2821 1,325
3 1,0289 1,3631 1,389 1,432 1,3461 1,182 1,2249
4 0,9879 1,3559 1,3751 1,3931 1,288 1,122 1,2239
5 0,9879 1,3439 1,3611 1,3909 1,2331 1,0961 1,124
6 1,105 1,389 1,414 1,431 1,1911 1,1059 1,0191
7 1,3729 1,5699 1,604 1,614 1,157 1,171 0,9989
8 1,6649 1,775 1,8009 1,817 1,17 1,2751 0,9989
9 1,79 2,018 2,0739 2,0989 1,2139 1,4121 0,979
10 2,1569 2,19 2,2301 2,226 1,337 1,545 1,015
11 2,323 2,3359 2,3649 2,381 1,4799 1,711 1,1271
12 2,3659 2,363 2,399 2,3741 1,574 1,741 1,2271
13 2,3731 2,3359 2,358 2,3021 1,5951 1,7129 1,295
14 2,2311 2,156 2,2 2,1459 1,5771 1,62 1,313
15 2,156 2,0799 2,1231 2,0581 1,5629 1,557 1,2909
16 2,208 2,1651 2,1749 2,0809 1,532 1,5831 1,26
17 2,2949 2,2551 2,2049 2,1651 1,544 1,6251 1,2669
18 2,3741 2,3671 2,3349 2,238 1,638 1,6251 1,3631
19 2,5 2,477 2,464 2,282 1,731 1,895 1,453
20 2,434 2,431 2,378 2,154 1,748 1,904 1,602
21 2,356 2,354 2,414 2,102 1,7921 1,931 1,644
22 2 2,21 2,004 1,995 1,8321 1,936 1,615
23 1,989 1,7085 1,8582 1,904 1,862 1,958 1,503
24 1,808 1,7 1,7071 1,859 1,793 1,748 1,499

Curvas de Demanda Registrada de Energía

Predicción de Consumo:
Script MATLAB
%% Predicción de Consumo de Energía Eléctrica
% Dr. Hugo A. Banda
% Versión: Red Neuronal Feedforward
% 11 Dic 2015
%% Carga de información desde archivo DatosConsumo.csv
fileID=fopen('DatosConsumo.csv');
MatDat=textscan(fileID,'%f%f%f', 'delimiter',',');
fclose(fileID);
%% Configuración de matrices de datos de entrada y salida
DiaHora=[MatDat{1} MatDat{2}];
Consumo=[MatDat{3}];
InpDat=DiaHora';
TarDat=Consumo';
%% Diseño de la red Feedforward tipo 2:12:8:1
RedPCE=feedforwardnet([12 8]);
RedPCE=train(RedPCE,InpDat,TarDat);
%% Prueba de la predicción
Pred=RedPCE(InpDat);
Perf=perform(RedPCE,TarDat,Pred);
hold all
plot(TarDat);
plot(Pred);
plot(TarDat-Pred);
%% Fin del script

Red Backpropagation 2:12:8:1
para Predicción de Consumo

Redes de Base Radial
 Las redes neuronales de base radial
usualmente requieren más neuronas que las
redes de retropropagación, pero se entrenan
mucho más rápido que éstas.
 Mientras mayor cantidad de vectores de
entrenamiento estén disponibles, mejor
trabajan.
 Las redes de base radial se utilizan para
aproximar funciones. Se caracterizan por ir
incorporando neuronas a la capa oculta, hasta
satisfacer el error medio cuadrático
especificado o igualar el número de vectores
de entrenamiento.

Modelo de Neurona de Base Radial
 La neurona de base radial tiene una función de
transferencia de la forma 𝒂 = 𝒆−𝒏 𝟐
. Recibe como
entrada 𝒏 la distancia vectorial entre el vector de
pesos 𝑾 y el vector 𝒑 de entrada, multiplicada por 𝒃.

Arquitectura de una Red de Base Radial

Ejemplo MATLAB: Aproximación de una Función
 Dados los puntos X, T
que definen una
función discreta,
diseñar una red
neuronal para
aproximar esta
función, con una
suma cuadrática de
error menor a 0,02.
La red debe tener el
menor número
posible de neuronas
en la capa oculta.

Script MATLAB y Resultados
%% Radial Basis Approximation
% This example uses the NEWRB function to create a radial basis network
% that approximates a function defined by a set of data points.
%
% Copyright 1992-2012 The MathWorks, Inc.
% $Revision: 1.14.2.5 $ $Date: 2012/08/21 01:01:18 $
%% Datos de la Función
X = -1:.1:1;
T = [-.9602 -.5770 -.0729 .3771 .6405 .6600 .4609 ...
.1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 ...
.3072 .3960 .3449 .1816 -.0312 -.2189 -.3201];
%% Diseño de la Red de Base Radial
eg = 0.02; % sum-squared error goal
sc = 1; % spread constant
RBB = newrb(X,T,eg,sc);
%% Despliegue de Resultados
plot(X,T,'+');
xlabel('Input Vector X');
X = -1:.01:1;
Y = RBB(X);
hold on;
plot(X,Y);
hold off;
legend({'Target','Output'});

Variantes de las Redes de Base Radial
Las redes de base radial
fundamentales, tienen dos
variantes:
 Redes neuronales probabilísticas,
utilizadas para problemas de
clasificación.
 Redes neuronales de regresión
generalizada, utilizadas para
aproximación de funciones.

Arquitectura de Red Neuronal
Probabilística

Clasificación de Personas por
Género: Red Probabilística
 Clasificación de personas por género,
basada en medidas antropométricas, en
cm.: Espalda, Busto, Cintura, y Cadera.
 Se dispone un conjunto de 20 medidas
correspondientes a mujeres y a hombres
entre 21 y 24 años de edad
(DatosGenero.csv).
 Diseñar una red neuronal probabilística
para realizar la clasificación por género.

Clasificación de Personas por Género:
Script MATLAB
%% Archivo de Datos: DatosGenero.csv
% Autor: Dr. Hugo A. Banda Gamboa
% Fecha: 13 de Octubre de 2013
% Versión: Red Neuronal Probabilística
%% Abrir, leer datos y cerrar archivo CSV
fileID=fopen('DatosGenero.csv');
C = textscan(fileID,'%f%f%f%f%s','delimiter',',');
fclose(fileID);
%% Preparar datos de entrada y salida
MedidasMH = [C{1} C{2} C{3} C{4}];
Mujer = strncmpi(C{5}, 'Mujer', 1);
Hombre = strncmpi(C{5}, 'Hombre', 1);
genero = double([Mujer Hombre]);
%% Preparar datos para alimentacción a red
DataIn = MedidasMH';
Targets = genero';
%% Diseñar la red neuronal probabilística
RNPMH=newpnn(DataIn,Targets);
G=sim(RNPMH,DataIn);
%% Preparar datos para Matriz de Confusión
[y_out,I_out]=max(G);
[y_t,I_t] = max(Targets);
diff = I_t - 2*I_out;
m_m = length(find(diff == -1));
h_m = length(find(diff == 0));
h_h = length(find(diff == -2));
m_h = length(find(diff == -3));
N = size(DataIn, 2);
fprintf('Total Muestras: %dn', N);
%% Mostrar Matriz de Confusión
MC = [m_m m_h; h_m h_h];
fprintf('nMatriz de Confusión:n Mujer
Hombren');
fprintf(' Mujer %5.0f %4.0fn', MC(1,1),MC(1,2));
fprintf(' Hombre %5.0f %4.0fn', MC(2,1),MC(2,2));
%% Mostrar Matriz de Confusión Porcentual
MC_p = (MC ./ N) .* 100;
fprintf('nMatriz de Confusión Porcentual:n
Mujer Hombren');
fprintf(' Mujer %7.2f%% %6.2f%%n',
MC_p(1,1),MC_p(1,2));
fprintf(' Hombre %7.2f%% %6.2f%%n',
MC_p(2,1),MC_p(2,2));
fprintf('Porcentage Correcto: %6.2f%%n',
100*(MC(1,1)+MC(2,2))/N);
fprintf('Porcentage Incorrecto: %6.2f%%n',
100*(MC(1,2)+MC(2,1))/N);
% Fin del Script

Clasificación de Personas por Género:
Red Probabilística y Resultados

Arquitectura de Red Neuronal de
Regresión Generalizada

Predicción de Consumo de Energía:
Script MATLAB
%% Predicción de Consumo de Energía Eléctrica
% Dr. Hugo A. Banda
% Versión: Red Neuronal de Regresión Generalizada
% 11 Dic 2015
%% Carga de información desde archivo DatosConsumo.csv
fileID=fopen('DatosConsumo.csv');
MatDat=textscan(fileID,'%f%f%f', 'delimiter',',');
fclose(fileID);
%% Configuración de matrices de datos de entrada y salida
DiaHora=[MatDat{1} MatDat{2}];
Consumo=[MatDat{3}];
InpDat=DiaHora';
TarDat=Consumo';
%% Diseño de la red de regresión generalizada
RedRGen=newgrnn(InpDat,TarDat);
%% Prueba de la predicción
Pred=sim(RedRGen,InpDat);
Perf=perform(RedRGen,TarDat,Pred);
hold all
plot(TarDat);
plot(Pred);
plot(TarDat-Pred);
%% Fin del script

Predicción de Consumo de Energía: Red de
Regresión Generalizada y Resultados

REDES AUTO-
ORGANIZATIVAS Y
LEARNING VECTOR
QUANTIZATION (LVQ)

Introducción
 Las redes auto-organizativas se caracterizan por
su capacidad de aprender a detectar
regularidades y correlaciones en su entrada y
adaptar respuestas futuras a esas entradas. Las
neuronas de redes competitivas aprenden a
reconocer grupos de vectores de entrada
similares. Los mapas auto-organizativos aprenden
a reconocer grupos similares de vectores de
entrada de tal forma que las neuronas que están
físicamente cercanas en la capa, responden a
vectores de entrada similares.
 Las redes LVQ, aprenden a clasificar vectores de
entrada en clases definidas por el usuario.

Aprendizaje Competitivo
 Las neuronas en una capa competitiva se auto
distribuyen para reconocer vectores de entrada
que son presentados con frecuencia. La
arquitectura se muestra en el siguiente gráfico:

Ejemplo de Red Competitiva
 Dados dos grupos de vectores uno cercano al
origen (0, 0) y otro cercano a (1, 1), con rangos de
entrada entre 0 y 1, diseñar una red competitiva
que agrupe a los vectores dados, según
corresponda.

Mapas Auto-Organizativos (SOM)
 Estas redes aprenden a clasificar vectores de
entrada de acuerdo a cómo están agrupados en el
espacio de entrada. Difieren de las redes
competitivas porque las neuronas cercanas
aprenden a reconocer secciones del vecindario del
espacio de entrada. Esto es, los mapas auto-
organizativos aprenden tanto la distribución
(como las redes competitivas) como la topología
de los vectores con los que son entrenados.

Arquitectura del Self-Organizing
Map

Redes LVQ
 Una red LVQ tiene al inicio una capa competitiva
que aprende a clasificar los vectores de entrada
de la misma manera que un Mapa Auto-
Organizativo. A continuación, la capa lineal
transforma las clases de la capa competitiva en
clasificaciones definidas por el usuario. A las
clases aprendidas por la capa competitiva se las
denomina subclases y a las de la capa lineal clases
objetivo.
 Tanto la capa competitiva como la capa lineal
tienen una neurona por cada subclase o clase
objetivo. Siempre el número de subclases debe
ser mayor que el número de clases objetivo.

Arquitectura de la Red Learning
Vector Quantizer (LVQ)

Ejemplo MATLAB de Red LVQ
 Se tienen 10 vectores de entrada, que se desea
clasificar en dos clases. La posición de estos dos
grupos en el plano, no es linealmente separable.
Crear una red LVQ con 4 neuronas en la capa
competitiva. Estas subclases serán asignadas a
una de las dos clases objetivo, a la salida.

Script MATLAB: Red LVQ
 %% Red LVQ - Ejemplo MATLAB
 % Grupos de vectores de entrada
 P = [-3 -2 -2 0 0 0 0 2 2 3;
 0 1 -1 2 1 -1 -2 1 -1 0];
 %% Grupos a los que pertenecen los vectores de entrada
 Tc = [1 1 1 2 2 2 2 1 1 1];
 T = ind2vec(Tc);
 targets = full(T);
 %% Diseño de la Red LVQ
 net = newlvq(P,4,[.6 .4]);
 %% Entrenamiento de la Red LVQ
 net.trainParam.epochs = 150;
 net = train(net,P,T);
 %% Comprobación de la Red LVQ
 Y = sim(net,P);
 Yc = vec2ind(Y);

RED LVQ: Arquitectura y Resultados

Conclusión
Lo que tenemos que
aprender a hacer, lo
aprendemos
haciendo.
Aristóteles - Ética

Fundamentos de la Computación Neuronal y Redes Neuronales

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (16)

Destacado

Destacado (20)

Similar a Fundamentos de la Computación Neuronal y Redes Neuronales

Similar a Fundamentos de la Computación Neuronal y Redes Neuronales (20)

Más de Hugo Banda

Más de Hugo Banda (15)

Último

Último (20)

Fundamentos de la Computación Neuronal y Redes Neuronales