Presentacion de redes neuronales

1. CIMEPB - Centro de Procesos Básicos, Metodología y Educación
Facultad de Psicología – U.N.M.D.P.
En base a A Practical Guide to Neural Nets
M.Nelson yW.Illingworth
REDES NEURONALES
Dr. Jorge Vivas

2. El elemento de Proceso Simple (PE)
O NeuronaArtificial
Entradas 1
2 Salida
3
4
A) LOS COMPONENTES BÁSICOS
PE

3. • Evaluar señales de entrada determinando en “peso” de cada una.
• Calcula el total para cualquier combinación de entradas y lo compara
para cualquier nivel.
• Determina que salida debe realizar
1) FUNCIONES
(3 de las 150 funciones reales)

4. • Las E ingresan simultáneamente al PE. De acuerdo a un
umbral la neurona “dispara o no” una salida. Varias Entradas
una sola Salida.
• Algunas Redes aceptan la inclusión de mecanismos para
otras influencias distintas de las Entradas.
• Estos extra-inputs se llaman términos de predisposición o
forzamiento. Incluye los de olvido para desaprender.
2) ENTRADAS Y SALIDAS

5. • Cada Entrada puede tener un Peso relativo que afecta el
impacto como entrada.
• Los Pesos son Coeficientes Adaptativos dentro de la red.
Determinan la intensidad de la Entrada (Fuerza de la
conexión).
• El Peso inicial para un PE puede ser modificado en función
de las E y las propias reglas de modificación de la red.
3) FACTOR PESO

6. • La Entrada Total en un PE es el producto de dos vectores:
(e1 , e2, e 3 . . . e n) y (P1 , P2, P3 . . . Pn) E1 = e1 * P1 ; E2 = e1 * P1 etc
• La EntradaTotal es el escalar E1 + E2 . . .En.
• Donde: Si los vectores van en el mismo sentido el producto
es el máximo. Si apuntan en sentidos opuestos el producto es
mínimo.
3) FACTOR PESO

7. • Si ∑ eX * PX es mayor que el umbral entonces genera una
señal de salida.
e1 P1
e2 P2 S= ∑ eX * PX
e3 p3
p4
e4
4) FUNCIONES NEURONALES
a) Función Sumatoria

8. • El resultado de la ∑ debería ingresar a una Función de Activación
antes que a una función deTransferencia. Esto permite variar la salida en
función del tiempo y la experiencia
e1 P1
e2 P2 S= ∑ eX * PX
e3 p3
p4
e4
4) FUNCIONES NEURONALES
b) Función de Activación
∑ T

9. • El Umbral o Función de Transferencia es generalmente no
lineal. Las funciones lineales son limitadas y no muy útiles
(x or) para decidir si se prende una célula fotoeléctrica.
• Las Funciones de Transferencia más utilizadas son las
escalonadas, en rampa o las sigmoideas.
• O las decisiones en base a lógica difusa.
4) FUNCIONES NEURONALES
c) Función de Transferencia

10. 1 1
1
-1
X < 0 ^Y = -1 X < 0 ^Y = 0 Y = 1 / (1 + e x
)
X > 0 ^Y = 1 0 ≤ X ≤ 1 ^Y = X
X > 1 ^ Y = 1
4) FUNCIONES NEURONALES
c) Función de Transferencia

11. 5) COMBINANDO ELEMENTOS PEs
• Si se combinan varios PEs da lugar a una “capa”.
• Las entradas se conectan a varios nodos (Pes) con distinto peso. La
salida sigue por un nodo.
• Una Capa

12. 6) COMBINANDO CAPAS
• Se pueden interconectar varias capas. La capa que recibe las
entradas se llama “capa de entrada” y su función es un buffer de
inputs. La “capa de salida” genera los outputs.
• Entre una y otra puede haber n“capas ocultas”.
• Las interconexiones se ponderan por un peso asociado a cada
conexión particular.
• Una red es “full connected”si para cada salida de una capa
existe una conexión para cada nodo de la próxima capa.

13. 6) COMBINANDO CAPAS

14. 7) OPCIONES DE CONECTIVIDAD
• La conectividad alude a como las salidas pueden ser usadas
como canales para ser entradas de otras neuronas:
1. Si la salida de un PE no puede ser entrada de un PE de la misma
capa o de capas precedentes de llama “feedforward”.
2. Si una salida puede ser entrada de su misma capa o de capas
precedentes se llama “feedback”. (Recursivas).

15. 8) FILTROS
• Las capas pueden actuar como filtros generando representaciones
intermedias. Ej. La Matriz de puntos de la letra “A” (5 por 7).
• La salida activa una representación ASCII 0100 0001
. . • . .
. • . • .
• . . . •
• . . . •
• • • • •
• . . . •
• . . . •

16. B) LOS MECANISMOS BÁSICOS
DE APRENDIZAJE
• La Función deTransferencia se establece en el diseño y no
puede ser modificada durante la ejecución (para cada PE).
• Cada PE puede ajustar su peso dinámicamente
• Cuando muchos PE´s ajustan su peso colectivamente se dice que
la red se ensambla “inteligentemente”.
• Esto se logra por medio de distintos mecanismos de
Aprendizaje

17. MODOS Y RANGOS DE APRENDIZAJE
 Los Modos aprendizajes pueden ser:
1.Supervisado: Con un tutor que REFUERZA hasta congelar los
pesos.
2.No supervisado: Aprende de detectar regularidades.
Los Rangos de aprendizaje pueden ser:
1.Rápido: Poco training → Discriminación baja.
2.Lento: Mucho training (off line) → Discriminación fina.
El rango es una medida de CONVERGENCIA de la red

18. TÉCNICAS DE ENTRENAMIENTO
• Las Redes Aprenden la relación entre Entradas y Salidas
“mirando” ejemplos de varias Entradas y Salidas.
• La habilidad para determinar como procesar los datos de
entrada se llama “autoorganización”.
• El proceso por el cual lo logran se denomina “adaptación” o
“aprendizaje”

19. LEYES DE APRENDIZAJE
Ley de Hebb y Regla Delta
• Ley de Hebb:
Si un PE recibe un input de otro PE y si ambos son altamente
activos (= signo), el peso entre los PE´s debería potenciarse
• Regla DELTA:
Para un PE la regla continuamente modifica el nivel de
discrepancia (DELTA) entre el output deseado y el output real
corriente (Ej.Windrow & Hoff – Adaline)

20. LEYES DE APRENDIZAJE
Regla del descenso y Kohonen
• Regla del descenso del gradiente:
Los pesos son modificados por un monto proporcional a la primera
derivada del error respecto del peso.
• Ley de Aprendizaje de Kohonen:
Los PE´s compiten entre sí para tener oportunidad de aprendizaje. El PE
con mayor salida se declara “ganador” y obtiene la posibilidad de: 1)
inhibir a los competidores 2) ajustar sus pesos con los de sus vecinos
(aliados).
El ganador se define como quien tienen la mas estrecha coincidencia
con los patrones de entrada. Las leyes Kohonen modelan la distribución
de los inputs.

21. LEYES DE APRENDIZAJE
Propagacíón hacia atrás
• Aprendizaje Back Propagation (dos fases con 3 o más capas):
1)Fase Forward: El input es propagado hacia la salida. Calcula el
valor del output para cada PE. Se compara con el valor deseado y
se calcula el error.
2)Fase Backward: el error es ejecutado en dirección hacia atrás.

22. LEYES DE APRENDIZAJE
Red de Grossberg
• Teoría del Refuerzo (Simula Pavlov):
El PE es condicionado para que ciertos inputs trabajen como
REFUERZOS y otros como INHIBIDORES.
La salida se mide por frecuencia más que por intensidad

23. c) Qué podemos hacer con Redes
Neuronales? Aplicaciones
• Reconocimiento de Caracteres: El reconocimiento de caracteres es cada vez más importante en
nuestra sociedad. Los dispositivos manuales como la Palm Pilot son cada vez más populares. Las
redes neuronales se pueden utilizar para reconocer caracteres manuscritos.
• Medicina: Una de las áreas que ha ganado la atención es el diagnóstico cardiopulmonar. Un
paciente puede tener chequeos regulares en un área particular, aumentando la posibilidad de
detectar una enfermedad o una disfunción. Los datos pueden incluir ritmo cardíaco, la presión
arterial, el ritmo respiratorio, etc. Los modelos pueden incluir variaciones de edad, sexo y
actividad física. Los datos de cada individuo se comparan con los datos anteriores y/o a los datos
de los varios modelos genéricos. Las desviaciones de la norma se comparan a las causas sabidas de
las desviaciones para cada dolencia. La red neuronal puede aprender estudiando las diversas
condiciones y modelos, combinándolos para formar un cuadro conceptual completo y después
diagnostica la condición de un paciente basada sobre los modelos.
• Compresión de imagen: La redes neuronales pueden recibir y procesar extensas cantidades de
información inmediatamente, haciéndolas útiles en la compresión de imagen. Con la explosión del
Internet y más sitios usando más imágenes en sus sitios, las redes son una alternativa eficaz.

24. c) Qué podemos hacer con Redes
Neuronales? Aplicaciones
• El problema del viajante: Es bastante interesante. Las redes pueden ayudar a resolver estos
problemas de optimización, pero solo hasta cierto grado de aproximación.
• La nariz electrónica: La idea de una nariz química puede parecer un poco absurda, pero tiene
varios usos en el mundo real. La nariz electrónica se compone de un sistema de detección químico
y de una red que reconoce ciertos patrones de productos químicos. Un olor se pasa sobre el arsenal
químico del sensor, se traducen de formato y la red identifica el producto químico.
• Seguridad: Ya de usa el CATCH. U n acrónimo para el seguimiento y caracterización de
homicidios. Aprende sobre un crimen existente, su localización y las características particulares. Se
subdivide en diversas herramientas, que ponen énfasis en una característica o grupo de ellas.
Permite que el usuario quite ciertas características que determine que no tienen relación.
• Predicción de la bolsa: El negocio cotidiano de la bolsa es extremadamente complicado. Muchos
factores pesan para que una acción suba o baje en cualquier momento. Dado que las redes
neuronales pueden examinar mucha información rápidamente y ordenarla, pueden ser utilizadas
para predecir precios de las acciones.