1. Las redes neuronales artificiales se inspiran en las redes neuronales biológicas y se utilizan para aplicaciones como el procesamiento de señales e imágenes. 2. Existen dos tipos principales de redes neuronales: redes supervisadas, que aprenden a partir de ejemplos etiquetados, y redes no supervisadas, que aprenden detectando patrones en los datos de entrada no etiquetados. 3. El perceptrón multicapa, con al menos una capa oculta, puede aproximar cualquier función continua y tiene la capacidad de generalización para datos nuevos
Este documento describe el uso de funciones de activación logsig y tansig en redes neuronales artificiales. Explica las características de las redes neuronales, incluyendo arquitecturas, aprendizaje y entrenamiento. Luego detalla las funciones logsig y tansig, que mapean valores de entrada continua a valores de salida entre 0 y 1 o -1 y 1 respectivamente. Finalmente, presenta un ejemplo de clasificación de cáncer de mama usando estas funciones en una red neuronal.
Características de las redes neuronales ethanElik Castillo
Este documento describe las características principales de las redes neuronales. Estas incluyen su topología, mecanismo de aprendizaje, tipo de asociación entre la información de entrada y salida, y forma de representación de esta información. En cuanto a la topología, las redes pueden ser monocapa o multicapa. En cuanto al aprendizaje, puede ser supervisado o no supervisado. Finalmente, la asociación puede ser heteroasociativa u autoasociativa.
Simulación de Recepción de llamadas del ECU911 para dar un servicio a la ciudadanía, aplicando funciones de
activación tansig y logsig en Redes Neuronales.
Funciones de activación Satlin y Satlins en MatlabGabyta Rodríguez
El documento describe las funciones de activación Satlin y Satlins utilizadas en redes neuronales artificiales. Explica que Satlin es una función de transferencia lineal acotada mientras que Satlins es una función de transferencia lineal acotada simétrica. Incluye gráficos y código de Matlab para visualizar las funciones. También proporciona una breve historia de las redes neuronales y cómo se modelan las neuronas biológicas y artificiales.
Este documento describe las funciones de activación Poslin y Purelin utilizadas en redes neuronales artificiales. Poslin devuelve la salida si es mayor o igual a cero, y cero si es menor que cero. Purelin devuelve la salida igual a la entrada en una región lineal. El documento también explica conceptos como funciones de transferencia, aprendizaje supervisado y no supervisado, y provee un ejemplo práctico utilizando Matlab.
Problema de Aplicación sobre la fertilidad en los hombres aplicando las Funci...Henry Quezada
Este documento describe el uso de funciones logsig y tansig en redes neuronales artificiales para resolver problemas relacionados con la fertilidad masculina en Matlab. Presenta conceptos básicos de redes neuronales y describe ejemplos de reconocimiento de dígitos y letras usando estas funciones de activación. Explica cómo el entrenamiento mejora la precisión de la red y muestra gráficas de los resultados.
Este documento describe conceptos clave relacionados con redes neuronales artificiales, incluyendo neuronas artificiales, funciones de activación, perceptrones multicapa y aprendizaje supervisado. Explica cómo se pueden implementar redes neuronales en Matlab usando funciones como newff y cómo se pueden seleccionar funciones de activación como hardlim y hardlims.
Este documento describe el uso de funciones de activación logsig y tansig en redes neuronales artificiales. Explica las características de las redes neuronales, incluyendo arquitecturas, aprendizaje y entrenamiento. Luego detalla las funciones logsig y tansig, que mapean valores de entrada continua a valores de salida entre 0 y 1 o -1 y 1 respectivamente. Finalmente, presenta un ejemplo de clasificación de cáncer de mama usando estas funciones en una red neuronal.
Características de las redes neuronales ethanElik Castillo
Este documento describe las características principales de las redes neuronales. Estas incluyen su topología, mecanismo de aprendizaje, tipo de asociación entre la información de entrada y salida, y forma de representación de esta información. En cuanto a la topología, las redes pueden ser monocapa o multicapa. En cuanto al aprendizaje, puede ser supervisado o no supervisado. Finalmente, la asociación puede ser heteroasociativa u autoasociativa.
Simulación de Recepción de llamadas del ECU911 para dar un servicio a la ciudadanía, aplicando funciones de
activación tansig y logsig en Redes Neuronales.
Funciones de activación Satlin y Satlins en MatlabGabyta Rodríguez
El documento describe las funciones de activación Satlin y Satlins utilizadas en redes neuronales artificiales. Explica que Satlin es una función de transferencia lineal acotada mientras que Satlins es una función de transferencia lineal acotada simétrica. Incluye gráficos y código de Matlab para visualizar las funciones. También proporciona una breve historia de las redes neuronales y cómo se modelan las neuronas biológicas y artificiales.
Este documento describe las funciones de activación Poslin y Purelin utilizadas en redes neuronales artificiales. Poslin devuelve la salida si es mayor o igual a cero, y cero si es menor que cero. Purelin devuelve la salida igual a la entrada en una región lineal. El documento también explica conceptos como funciones de transferencia, aprendizaje supervisado y no supervisado, y provee un ejemplo práctico utilizando Matlab.
Problema de Aplicación sobre la fertilidad en los hombres aplicando las Funci...Henry Quezada
Este documento describe el uso de funciones logsig y tansig en redes neuronales artificiales para resolver problemas relacionados con la fertilidad masculina en Matlab. Presenta conceptos básicos de redes neuronales y describe ejemplos de reconocimiento de dígitos y letras usando estas funciones de activación. Explica cómo el entrenamiento mejora la precisión de la red y muestra gráficas de los resultados.
Este documento describe conceptos clave relacionados con redes neuronales artificiales, incluyendo neuronas artificiales, funciones de activación, perceptrones multicapa y aprendizaje supervisado. Explica cómo se pueden implementar redes neuronales en Matlab usando funciones como newff y cómo se pueden seleccionar funciones de activación como hardlim y hardlims.
Este documento describe dos funciones de activación comúnmente usadas en redes neuronales artificiales: la función logarítmica sigmoidea (logsig) y la función tangente sigmoidal (tansig). La función logsig produce salidas entre 0 y 1, mientras que la función tansig produce salidas entre -1 y 1. El documento también incluye ejemplos de cómo calcular las salidas de una neurona usando estas funciones, y describe una interfaz gráfica creada en Matlab para entrenar una red neuronal y seleccionar entre estas dos funciones.
Funcionamiento de las redes neuronales simplesDavid Freire
Este documento describe el funcionamiento de las redes neuronales artificiales. Explica que estas se inspiran en el sistema neuronal biológico del cerebro humano. Detalla que una red neuronal artificial típica consta de neuronas de entrada, capas ocultas y neuronas de salida. También explica cómo cada neurona artificial recibe entradas ponderadas, las suma y aplica una función de activación para producir una salida.
Redes neuronales-funciones-activacion-hardlim- hardlims-matlabAna Mora
Redes Neuronales: Funciones de Activación
Hardlim para simular un circuito con sensor de
movimiento y Hardlims para determinar si una
persona es diabética en Matlab
Los mapas autoorganizativos (SOFM) son redes neuronales que aprenden a clasificar vectores de entrada en grupos similares. La red determina la neurona ganadora más cercana al vector de entrada y actualiza los pesos de esa neurona y sus vecinas para que se asemejen más al vector de entrada. Esto causa que las neuronas vecinas aprendan vectores similares y la red se autoorganice para clasificar uniformemente el espacio de entrada. Varias técnicas como reducir gradualmente el tamaño del vecindario y el índice de aprend
El documento describe la red neuronal Kohonen, que tiene la capacidad de formar mapas topológicos de las características de entrada similar a como el cerebro representa información. La red Kohonen aprende de forma no supervisada para clasificar patrones de entrada en grupos basados en su similitud, asignando cada grupo a una neurona de salida. El aprendizaje modifica los pesos de las conexiones para que los patrones similares activen neuronas cercanas en la capa de salida.
Este documento describe las redes neuronales artificiales, incluyendo que se inspiran en el cerebro humano para aprender de la experiencia, que están compuestas de unidades de procesamiento interconectadas que aprenden reconociendo patrones, y que el aprendizaje implica modificar los pesos de las conexiones entre neuronas.
Redes Neuronales Artificiales: Aplicación de la función Hardlim para la clasi...Sheyli Patiño
Este documento propone el uso de redes neuronales artificiales para resolver problemas linealmente separables como la clasificación de vehículos y la determinación de los movimientos de un robot, utilizando las funciones de transferencia Hardlim y Hardlims. Describe la simulación de estas redes neuronales artificiales desarrolladas en Matlab para dar solución a estos problemas.
Las redes neuronales artificiales se inspiran en el funcionamiento del cerebro humano y tienen varias ventajas como el aprendizaje adaptativo, la auto-organización, la tolerancia a fallos y la operación en tiempo real. Una red neuronal típica consta de una capa de entrada, una o más capas ocultas y una capa de salida, donde la información pasa a través de las neuronas y sus conexiones sinápticas mediante funciones de activación.
El documento describe el modelo de neurona de McCulloch-Pitts, que fue el primer modelo de red neuronal moderno. Una neurona de McCulloch-Pitts realiza una suma ponderada de las entradas, seguida de una función no lineal, para determinar su salida. Las redes neuronales de McCulloch-Pitts pueden aprender ajustando los pesos de las conexiones entre neuronas. Aunque simple, este modelo sentó las bases para el desarrollo de redes neuronales más complejas y capacitadas para tareas más avanzadas.
Este documento presenta la introducción a un curso sobre redes neuronales artificiales. Explica brevemente cómo funciona el cerebro humano y cómo las redes neuronales artificiales imitan este funcionamiento mediante neuronas interconectadas. También describe los componentes básicos de una neurona artificial y diferentes funciones de activación como umbral, signo y logística.
REDES NEURONALES Mapas con Características Autoorganizativas SomESCOM
1) El documento describe los mapas autoorganizativos de Kohonen (SOM), una técnica de redes neuronales no supervisada donde las neuronas se autoorganizan para clasificar datos de entrada. 2) Los SOM aprenden patrones en los datos y agrupan datos similares, mapeando su espacio de entrada a una grilla multidimensional. 3) Se entrenan presentando datos de entrada uno a uno, ajustando los pesos de la neurona ganadora y sus vecinas para que se parezcan más al patrón de entrada.
INTRODUCCIÓN A LAS REDES NEURONALES ARTIFICIALESESCOM
Este documento proporciona una introducción a las redes neuronales artificiales, incluyendo la notación y modelos de neuronas individuales, funciones de transferencia, arquitecturas como redes de capa única y multicapa, y mecanismos de aprendizaje supervisado y no supervisado. Explica conceptos clave como aprendizaje por corrección de error, aprendizaje competitivo, y diferentes tipos de redes como feedforward, recurrentes y competitivas.
Este documento describe el uso de las funciones de activación Satlin y Satlins en redes neuronales multicapa para resolver problemas no lineales mediante MATLAB. Explica que Satlin es una función lineal saturada y Satlins es simétrica. Luego presenta dos casos de estudio resueltos usando estas funciones, uno aplicando Satlin y otro Satlins, para estabilizar las variaciones de voltaje en un circuito eléctrico.
Este documento describe diferentes tipos de redes neuronales artificiales, incluyendo modelos supervisados como perceptrones multicapa y backpropagation, y modelos no supervisados como redes de Hopfield y mapas de Kohonen. También discute brevemente los objetivos y procesos de aprendizaje de estos modelos.
Este documento define y explica las redes neuronales artificiales. Describe que las redes neuronales se inspiran en el funcionamiento de las neuronas biológicas y consisten en unidades de procesamiento interconectadas. Explica que las redes neuronales aprenden a través de la modificación de los pesos sinápticos y que pueden aprender de forma supervisada, no supervisada o por refuerzo. También resume los pasos básicos del algoritmo de retropropagación del error para el entrenamiento de redes neuronales.
Este documento describe los mapas auto organizados, incluyendo sus características, reglas de aprendizaje y algoritmos de entrenamiento. También explica las redes competitivas y la red de aprendizaje vectorial cuantizado, mostrando ejemplos de su funcionamiento para clasificación.
Este documento describe las redes neuronales artificiales, incluyendo su inspiración en los sistemas nerviosos biológicos, sus elementos clave como las neuronas artificiales y las conexiones entre ellas, y diferentes tipos de aprendizaje como el supervisado y no supervisado. También cubre la historia y aplicaciones de las redes neuronales, así como sus características fundamentales como la topología y mecanismos de aprendizaje.
Características de las redes neuronales ethanElik Castillo
Este documento describe las características principales de las redes neuronales. Discuten cuatro aspectos: la topología, el mecanismo de aprendizaje, el tipo de asociación entre la información de entrada y salida, y la forma de representación de esta información. La topología se refiere a la organización y disposición de las neuronas en capas. Existen redes monocapa y multicapa. El mecanismo de aprendizaje modifica los pesos de las conexiones y puede ser supervisado o no supervisado. El tipo de asociación puede ser heteroas
El documento divide el razonamiento basado en casos en 4 procesos: recuperar casos similares, reutilizar la información de casos pasados, revisar la solución propuesta, y retener la experiencia para futuros problemas. Explica que al enfrentar un nuevo problema, lo primero es recordar casos relevantes previos y dar una solución basada en ellos.
Este documento describe las redes neuronales artificiales, incluyendo su estructura, funcionamiento y mecanismos de aprendizaje. Explica que las RNA imitan a las redes neuronales biológicas mediante el uso de capas y que aprenden ajustando los pesos sinápticos a medida que procesan conjuntos de datos.
Este documento describe las redes neuronales artificiales, incluyendo sus bases biológicas, características, estructura básica, tipos de aprendizaje, y aplicaciones. Explica que las redes neuronales se inspiran en el sistema nervioso biológico y aprenden de la experiencia de manera similar al cerebro humano. También resume brevemente la historia del desarrollo de las redes neuronales desde los años 40 hasta la actualidad.
Este documento describe dos funciones de activación comúnmente usadas en redes neuronales artificiales: la función logarítmica sigmoidea (logsig) y la función tangente sigmoidal (tansig). La función logsig produce salidas entre 0 y 1, mientras que la función tansig produce salidas entre -1 y 1. El documento también incluye ejemplos de cómo calcular las salidas de una neurona usando estas funciones, y describe una interfaz gráfica creada en Matlab para entrenar una red neuronal y seleccionar entre estas dos funciones.
Funcionamiento de las redes neuronales simplesDavid Freire
Este documento describe el funcionamiento de las redes neuronales artificiales. Explica que estas se inspiran en el sistema neuronal biológico del cerebro humano. Detalla que una red neuronal artificial típica consta de neuronas de entrada, capas ocultas y neuronas de salida. También explica cómo cada neurona artificial recibe entradas ponderadas, las suma y aplica una función de activación para producir una salida.
Redes neuronales-funciones-activacion-hardlim- hardlims-matlabAna Mora
Redes Neuronales: Funciones de Activación
Hardlim para simular un circuito con sensor de
movimiento y Hardlims para determinar si una
persona es diabética en Matlab
Los mapas autoorganizativos (SOFM) son redes neuronales que aprenden a clasificar vectores de entrada en grupos similares. La red determina la neurona ganadora más cercana al vector de entrada y actualiza los pesos de esa neurona y sus vecinas para que se asemejen más al vector de entrada. Esto causa que las neuronas vecinas aprendan vectores similares y la red se autoorganice para clasificar uniformemente el espacio de entrada. Varias técnicas como reducir gradualmente el tamaño del vecindario y el índice de aprend
El documento describe la red neuronal Kohonen, que tiene la capacidad de formar mapas topológicos de las características de entrada similar a como el cerebro representa información. La red Kohonen aprende de forma no supervisada para clasificar patrones de entrada en grupos basados en su similitud, asignando cada grupo a una neurona de salida. El aprendizaje modifica los pesos de las conexiones para que los patrones similares activen neuronas cercanas en la capa de salida.
Este documento describe las redes neuronales artificiales, incluyendo que se inspiran en el cerebro humano para aprender de la experiencia, que están compuestas de unidades de procesamiento interconectadas que aprenden reconociendo patrones, y que el aprendizaje implica modificar los pesos de las conexiones entre neuronas.
Redes Neuronales Artificiales: Aplicación de la función Hardlim para la clasi...Sheyli Patiño
Este documento propone el uso de redes neuronales artificiales para resolver problemas linealmente separables como la clasificación de vehículos y la determinación de los movimientos de un robot, utilizando las funciones de transferencia Hardlim y Hardlims. Describe la simulación de estas redes neuronales artificiales desarrolladas en Matlab para dar solución a estos problemas.
Las redes neuronales artificiales se inspiran en el funcionamiento del cerebro humano y tienen varias ventajas como el aprendizaje adaptativo, la auto-organización, la tolerancia a fallos y la operación en tiempo real. Una red neuronal típica consta de una capa de entrada, una o más capas ocultas y una capa de salida, donde la información pasa a través de las neuronas y sus conexiones sinápticas mediante funciones de activación.
El documento describe el modelo de neurona de McCulloch-Pitts, que fue el primer modelo de red neuronal moderno. Una neurona de McCulloch-Pitts realiza una suma ponderada de las entradas, seguida de una función no lineal, para determinar su salida. Las redes neuronales de McCulloch-Pitts pueden aprender ajustando los pesos de las conexiones entre neuronas. Aunque simple, este modelo sentó las bases para el desarrollo de redes neuronales más complejas y capacitadas para tareas más avanzadas.
Este documento presenta la introducción a un curso sobre redes neuronales artificiales. Explica brevemente cómo funciona el cerebro humano y cómo las redes neuronales artificiales imitan este funcionamiento mediante neuronas interconectadas. También describe los componentes básicos de una neurona artificial y diferentes funciones de activación como umbral, signo y logística.
REDES NEURONALES Mapas con Características Autoorganizativas SomESCOM
1) El documento describe los mapas autoorganizativos de Kohonen (SOM), una técnica de redes neuronales no supervisada donde las neuronas se autoorganizan para clasificar datos de entrada. 2) Los SOM aprenden patrones en los datos y agrupan datos similares, mapeando su espacio de entrada a una grilla multidimensional. 3) Se entrenan presentando datos de entrada uno a uno, ajustando los pesos de la neurona ganadora y sus vecinas para que se parezcan más al patrón de entrada.
INTRODUCCIÓN A LAS REDES NEURONALES ARTIFICIALESESCOM
Este documento proporciona una introducción a las redes neuronales artificiales, incluyendo la notación y modelos de neuronas individuales, funciones de transferencia, arquitecturas como redes de capa única y multicapa, y mecanismos de aprendizaje supervisado y no supervisado. Explica conceptos clave como aprendizaje por corrección de error, aprendizaje competitivo, y diferentes tipos de redes como feedforward, recurrentes y competitivas.
Este documento describe el uso de las funciones de activación Satlin y Satlins en redes neuronales multicapa para resolver problemas no lineales mediante MATLAB. Explica que Satlin es una función lineal saturada y Satlins es simétrica. Luego presenta dos casos de estudio resueltos usando estas funciones, uno aplicando Satlin y otro Satlins, para estabilizar las variaciones de voltaje en un circuito eléctrico.
Este documento describe diferentes tipos de redes neuronales artificiales, incluyendo modelos supervisados como perceptrones multicapa y backpropagation, y modelos no supervisados como redes de Hopfield y mapas de Kohonen. También discute brevemente los objetivos y procesos de aprendizaje de estos modelos.
Este documento define y explica las redes neuronales artificiales. Describe que las redes neuronales se inspiran en el funcionamiento de las neuronas biológicas y consisten en unidades de procesamiento interconectadas. Explica que las redes neuronales aprenden a través de la modificación de los pesos sinápticos y que pueden aprender de forma supervisada, no supervisada o por refuerzo. También resume los pasos básicos del algoritmo de retropropagación del error para el entrenamiento de redes neuronales.
Este documento describe los mapas auto organizados, incluyendo sus características, reglas de aprendizaje y algoritmos de entrenamiento. También explica las redes competitivas y la red de aprendizaje vectorial cuantizado, mostrando ejemplos de su funcionamiento para clasificación.
Este documento describe las redes neuronales artificiales, incluyendo su inspiración en los sistemas nerviosos biológicos, sus elementos clave como las neuronas artificiales y las conexiones entre ellas, y diferentes tipos de aprendizaje como el supervisado y no supervisado. También cubre la historia y aplicaciones de las redes neuronales, así como sus características fundamentales como la topología y mecanismos de aprendizaje.
Características de las redes neuronales ethanElik Castillo
Este documento describe las características principales de las redes neuronales. Discuten cuatro aspectos: la topología, el mecanismo de aprendizaje, el tipo de asociación entre la información de entrada y salida, y la forma de representación de esta información. La topología se refiere a la organización y disposición de las neuronas en capas. Existen redes monocapa y multicapa. El mecanismo de aprendizaje modifica los pesos de las conexiones y puede ser supervisado o no supervisado. El tipo de asociación puede ser heteroas
El documento divide el razonamiento basado en casos en 4 procesos: recuperar casos similares, reutilizar la información de casos pasados, revisar la solución propuesta, y retener la experiencia para futuros problemas. Explica que al enfrentar un nuevo problema, lo primero es recordar casos relevantes previos y dar una solución basada en ellos.
Este documento describe las redes neuronales artificiales, incluyendo su estructura, funcionamiento y mecanismos de aprendizaje. Explica que las RNA imitan a las redes neuronales biológicas mediante el uso de capas y que aprenden ajustando los pesos sinápticos a medida que procesan conjuntos de datos.
Este documento describe las redes neuronales artificiales, incluyendo sus bases biológicas, características, estructura básica, tipos de aprendizaje, y aplicaciones. Explica que las redes neuronales se inspiran en el sistema nervioso biológico y aprenden de la experiencia de manera similar al cerebro humano. También resume brevemente la historia del desarrollo de las redes neuronales desde los años 40 hasta la actualidad.
El documento describe el uso de redes neuronales para modelar la frecuencia fundamental mediante síntesis de voz. Explica que las redes neuronales son métodos de clasificación que imitan el funcionamiento del cerebro y aprenden modificando los pesos de las conexiones entre neuronas. Luego, detalla los tipos de redes neuronales, incluyendo el perceptrón multicapa, y describe cómo funcionan las neuronas artificiales, la topología de las redes y los métodos de entrenamiento.
Las redes neuronales artificiales intentan imitar el funcionamiento del cerebro mediante modelos computacionales. Se componen de unidades (neuronas artificiales) interconectadas que se comunican a través de conexiones con pesos. Estas redes se organizan en capas y procesan la información de forma paralela y distribuida como el cerebro. El aprendizaje ocurre al modificar los pesos de las conexiones entre neuronas. Estas redes se usan en aplicaciones como clasificación, regresión, optimización, reconocimiento de patrones y más.
El documento presenta información sobre redes neuronales artificiales. Explica que las redes neuronales artificiales se inspiran en los sistemas nerviosos biológicos y están compuestas de unidades llamadas neuronas conectadas entre sí. También describe diferentes tipos de arquitecturas y modelos de redes neuronales como perceptrones, Adalines, perceptrones multicapa, memorias asociativas y máquinas de Boltzmann.
El documento introduce las redes neuronales, describiendo primero el modelo biológico del cerebro y las neuronas. Luego explica que una red neuronal artificial simula las propiedades de generalización y robustez de los sistemas neuronales biológicos. Se compone de unidades llamadas neuronas que reciben entradas y emiten salidas. Finalmente, da ejemplos de aplicaciones como el diagnóstico de imágenes médicas y resalta las ventajas de las redes neuronales como el aprendizaje, la auto-organización y la tolerancia a fallos.
Este documento describe diferentes tipos de redes neuronales competitivas, incluyendo las redes de Kohonen, Hamming, y LVQ. Explica cómo las neuronas en estas redes compiten entre sí para activarse, con solo una neurona ganadora que permanece activa. También cubre conceptos como la inhibición lateral, el aprendizaje no supervisado y reglas de aprendizaje como la regla de Kohonen.
Este documento describe dos funciones de activación comúnmente usadas en redes neuronales artificiales: la función logarítmica sigmoidea (logsig) y la función tangente sigmoidal (tansig). La función logsig produce salidas entre 0 y 1, mientras que la función tansig produce salidas entre -1 y 1. El documento también presenta ejemplos del uso de estas funciones y una interfaz gráfica desarrollada en Matlab para crear y entrenar una red neuronal usando logsig o tansig.
Este documento describe las redes neuronales competitivas y su función de transferencia competitiva. Explica que las redes competitivas permiten que solo una neurona gane y se active mientras las demás se inhiben, permitiendo categorizar los datos de entrada. También resume la historia de las redes competitivas desde los años 1950 y 1960, cuando investigadores como Rosenblatt, Grossberg y Kohonen desarrollaron versiones tempranas, hasta aplicaciones más recientes como la clasificación de datos.
Las redes neuronales artificiales se inspiran en las biológicas y fueron conceptualizadas por primera vez en 1943, simulando circuitos eléctricos. Estas redes permiten procesar grandes cantidades de datos, aprender y ser entrenadas, y se usan en diversas áreas como procesamiento de imágenes y reconocimiento de patrones. Existen redes como el perceptrón simple y multicapa, con diferentes estructuras y capacidades de entrada y salida de datos.
Las redes neuronales artificiales se inspiran en las biológicas y fueron conceptualizadas por primera vez en 1943, simulando circuitos eléctricos. Estas redes permiten procesar grandes cantidades de datos, aprender y ser entrenadas, y se usan en reconocimiento de patrones, procesamiento de imágenes y predicciones. El perceptrón simple de Rosenblatt de 1957 clasificaba datos, mientras que las redes multicapas tienen múltiples capas de neuronas entre entrada y salida.
Este documento presenta una introducción a las redes neuronales artificiales. Explica que las redes neuronales se inspiran en el funcionamiento del cerebro y están compuestas de unidades simples (neuronas) que se conectan entre sí. También describe el proceso de aprendizaje supervisado mediante el cual las redes neuronales pueden aprender de ejemplos etiquetados y realizar tareas como clasificación y predicción. Finalmente, menciona algunas aplicaciones como reconocimiento de patrones, procesamiento del lenguaje natural y análisis de datos.
Redes neuronales Luis Lozano CI 22.840.519lozanolc
Las redes neuronales artificiales RNA buscan imitar el comportamiento de las redes neuronales de las personas, y aplicarlas en las computadoras, esta presentación es una introducción a esta rama de la Inteligencia Artificial que cada dia toma mas importancia en el desarrollo de computadores de 6ta generación
Las redes neuronales artificiales se inspiran en el funcionamiento del cerebro humano y tienen varias ventajas como el aprendizaje adaptativo, la auto-organización, la tolerancia a fallos y la operación en tiempo real. Una red neuronal típica consta de una capa de entrada, una o más capas ocultas y una capa de salida, donde la información pasa a través de las neuronas y sus conexiones sinápticas mediante funciones de activación.
Este documento describe los diferentes mecanismos de aprendizaje en redes neuronales, incluyendo aprendizaje supervisado (por corrección de error, refuerzo y estocástico) y no supervisado (hebbiano y competitivo). Explica que el aprendizaje supervisado usa conjuntos de datos de entrenamiento con entradas y salidas conocidas, mientras que el no supervisado no recibe información sobre si las salidas son correctas o no.
Este documento describe cómo resolver ecuaciones lineales utilizando redes neuronales con funciones de activación poslin y purelin. Explica brevemente conceptos clave como redes neuronales, perceptrones y funciones de activación. Luego muestra un ejemplo numérico de cómo usar una red neuronal con función de activación poslin para clasificar datos de entrada y output.
Tema 8 Aprendizaje De Sistemas Difusos Con Redes NeuronalesESCOM
1. - Introducción a las Redes Neuronales.
1.1.- Redes Neuronales Artificiales (Artificial
Neural Networks).
1.2.- Neuronas biológicas.
1.3.- ¿Qué es una red neuronal?
1.4.- Tipos de redes neuronales.
1.5.- Aplicaciones.
2. - Aplicación al diseño de controladores
difusos.
2.1.- Arquitectura ANFIS.
2.2.- Controlador neurodifuso adaptativo.
2.3.- Otros ejemplos de aplicación.
Las Redes Neuronales Artificiales (ANN) se inspiran en las redes neuronales biológicas y están constituidas por elementos similares a las neuronas. Las ANN aprenden de la experiencia, generalizan de ejemplos previos, y abstraen características principales de los datos. Se componen de unidades elementales conectadas en capas y aprenden a través de algoritmos de entrenamiento supervisado o no supervisado.
Es en el Paleozoico cuando comienza a aparecer la vida más antigua. En Venezuela, el Paleozoico puede considerarse concentrado en tres regiones positivas distintas:
Región Norte del Escudo Guayanés.
Cordillera de los Andes venezolanos.
Sierra de Perijá.
La era precámbrica comenzó hace 4 millones de años y se cuenta hasta hace 570 millones de años. Durante este período se creó el complejo basal propio de la Guayana venezolana, al sur del país; también en Los Andes; en la cordillera norte de Perijá, estado de Zulia; y en el Baúl, estado de Cojedes.
El documento publicado por el Dr. Gabriel Toro aborda los priones y las enfermedades relacionadas con estos agentes infecciosos. Los priones son proteínas mal plegadas que pueden inducir el plegamiento incorrecto de otras proteínas normales en el cerebro, llevando a enfermedades neurodegenerativas mortales. El Dr. Toro examina tanto la estructura y función de los priones como su capacidad para propagarse y causar enfermedades devastadoras como la enfermedad de Creutzfeldt-Jakob, la encefalopatía espongiforme bovina (conocida como "enfermedad de las vacas locas"), y el síndrome de Gerstmann-Sträussler-Scheinker. En el documento, se exploran los mecanismos moleculares detrás de la replicación de los priones, así como las implicaciones para la salud pública y la investigación en tratamientos potenciales. Además, el Dr. Toro analiza los desafíos y avances en el diagnóstico y manejo de estas enfermedades priónicas, destacando la necesidad de una mayor comprensión y desarrollo de terapias eficaces.
CAMBIOS INSTITUCIONALES Y NORMATIVOS. CIENCIAS SOCIALES
Redes Neuronales
1. Introducción a las redes neuronales
aplicadas
Conceptos básicos
Las Redes Neuronales (NN: Neural Networks) fueron originalmente una simulación
abstracta de los sistemas nerviosos biológicos, constituidos por un conjunto de unidades
llamadas neuronas o nodos conectados unos con otros.
El primer modelo de red neuronal fue propuesto en 1943 por McCulloch y Pitts en
términos de un modelo computacional de actividad nerviosa. Este modelo era un modelo
binario, donde cada neurona tenía un escalón o umbral prefijado, y sirvió de base para
los modelos posteriores.
Una primera clasificación de los modelos de NN es:
1. Modelos inspirados en la Biología: Estos comprenden las redes que tratan de
simular los sistemas neuronales biológicos, así como ciertas funciones como las au-
ditivas o de visión.
2. Modelos artificiales aplicados: Estos modelos no tienen por qué guardar simili-
tud estricta con los sistemas biológicos. Sus arquitecturas están bastante ligadas a
las necesidades de las aplicaciones para las que son diseñados.
Redes Neuronales de tipo biológico
Se estima que el cerebro humano contiene más de cien mil millones (1011
) de neuronas y
1014
sinapsis en el sistema nervioso. Los estudios realizados sobre la anatomía del cerebro
1
2. humano concluyen que hay, en general, más de 1000 sinapsis por término medio a la
entrada y a la salida de cada neurona.
Aunque el tiempo de conmutación de las neuronas biológicas (unos pocos milisegundos)
es casi un millón de veces mayor que en las actuales componentes de las computadoras, las
neuronas naturales tienen una conectividad miles de veces superior a la de las artificiales.
El objetivo principal de las redes neuronales de tipo biológico es desarrollar operaciones
de síntesis y procesamiento de información, relacionadas con los sistemas biológicos.
Las neuronas y las conexiones entre ellas (sinapsis) constituyen la clave para el proce-
sado de la información.
La mayor parte de las neuronas poseen una estructura de árbol, llamada dendritas,
que reciben las señales de entrada procedentes de otras neuronas a través de las sinapsis.
Una neurona consta de tres partes:
1. El cuerpo de la neurona,
2. Las dendritas, que reciben las entradas,
3. El axón, que lleva la salida de la neurona a las dendritas de otras neuronas.
2
3. La forma completa en la que dos neuronas se relacionan no es totalmente conocida,
y depende además del tipo particular de cada neurona. En general, una neurona envía
su salida a otras por su axón, y éste lleva la información por medio de diferencias de
potencial eléctrico.
Este proceso es a menudo modelizado como una regla de propagación representada
por una función u(·). La neurona recoge las señales por su sinapsis sumando todas las
influencias excitadoras e inhibidoras. Si las influencias excitadoras positivas dominan, en-
tonces la neurona produce una señal positiva y manda este mensaje a otras neuronas por
sus sinapsis de salida. En este sentido, la neurona actúa como una simple función escalón
f(·).
3
4. Redes Neuronales Artificiales (NN)
Las NN aplicadas están, en general, inspiradas en las redes neuronales biológicas,
aunque poseen otras funcionalidades y estructuras de conexión distintas a las vistas desde
la perspectiva biológica. Las características principales de las NN son las siguientes:
1. Auto-Organización y Adaptabilidad: utilizan algoritmos de aprendizaje adaptativo
y auto-organización, por lo que ofrecen mejores posibilidades de procesado robusto
y adaptativo.
2. Procesado no Lineal: aumenta la capacidad de la red para aproximar funciones,
clasificar patrones y aumenta su inmunidad frente al ruido.
3. Procesado Paralelo: normalmente se usa un gran número de nodos de procesado,
con alto nivel de interconectividad.
El elemento básico de computación (modelo de neurona) se le llama habitualmente
nodo o unidad. Recibe un input desde otras unidades o de una fuente externa de datos.
Cada input tiene un peso asociado w, que se va modificando en el llamado proceso de
aprendizaje . Cada unidad aplica una función dada f de la suma de los inputs ponderadas
4
5. mediante los pesos
yi =
j
wijyj
El resultado puede servir como output de otras unidades.
Las características de las NN juegan un importante papel, por ejemplo, en el procesado
de señales e imágenes. Se usan arquitecturas que comprenden elementos de procesado
adaptativo paralelo, combinados con estructuras de interconexiones jerárquicas.
Hay dos fases en la modelización con redes neuronales:
Fase de entrenamiento: se usa un conjunto de datos o patrones de entrenamiento
para determinar los pesos (parámetros) que definen el modelo de red neuronal. Se
calculan de manera iterativa, de acuerdo con los valores de los valores de entre-
namiento, con el objeto de minimizar el error cometido entre la salida obtenida por
la red neuronal y la salida deseada.
Fase de Prueba: en la fase anterior, el modelo puede que se ajuste demasiado a las
particularidades presentes en los patrones de entrenamiento, perdiendo su habilidad
de generalizar su aprendizaje a casos nuevos (sobreajuste).
Para evitar el problema del sobreajuste, es aconsejable utilizar un segundo grupo
de datos diferentes a los de entrenamiento, el grupo de validación, que permita
controlar el proceso de aprendizaje.
5
6. Normalmente, los pesos óptimos se obtienen optimizando (minimizando) alguna fun-
ción de energía. Por ejemplo, un criterio muy utilizado en el llamado entrenamiento su-
pervisado, es minimizar el error cuadrático medio entre el valor de salida y el valor real
esperado.
6
7. Redes Neuronales Supervisadas y No Supervisadas
Las redes neuronales se clasifican comúnmente en términos de sus correspondientes
algoritmos o métodos de entrenamiento: redes de pesos fijos, redes no supervisadas, y
redes de entrenamiento supervisado. Para las redes de pesos fijos no existe ningún tipo
de entrenamiento.
Reglas de entrenamiento Supervisado
Las redes neuronales de entrenamiento supervisado son las más populares. Los datos
para el entrenamiento están constituidos por varios pares de patrones de entrenamiento
de entrada y de salida. El hecho de conocer la salida implica que el entrenamiento se
beneficia de la supervisión de un maestro. Dado un nuevo patrón de entrenamiento, en la
etapa (m + 1)-ésima, los pesos se adaptan de la siguiente forma:
wm+1
ij = wm
ij + ∆wm
ij
Se puede ver un diagrama esquemático de un sistema de entrenamiento supervisado
en la siguiente figura:
Reglas de Entrenamiento No Supervisado
Para los modelos de entrenamiento no supervisado, el conjunto de datos de entre-
namiento consiste sólo en los patrones de entrada. Por lo tanto, la red es entrenada sin el
beneficio de un maestro. La red aprende a adaptarse basada en las experiencias recogidas
7
8. de los patrones de entrenamiento anteriores. Un esquema típico de un sistema No Super-
visado:
Ejemplos típicos son la Regla de Aprendizaje de Hebb, y la Regla de Aprendizaje
Competitivo. Un ejemplo del primero consiste en reforzar el peso que conecta dos nodos
que se excitan simultáneamente.
En el aprendizaje competitivo, si un patrón nuevo pertenece a una clase reconocida
previamente, entonces la inclusión de este nuevo patrón a esta clase matizará la repre-
sentación de la misma. Si el nuevo patrón no pertenece a ninguna de las clases reconocidas
anteriormente, entonces la estructura y los pesos de la red neuronal serán ajustados para
reconocer a la nueva clase.
Funciones de Base y Activación
Una red neuronal típica se puede caracterizar por la función de base y la función de
activación.
Cada nodo (unidad de proceso), suministra un valor yj a su salida. Este valor se
propaga a través de la red mediante conexiones unidireccionales hacia otros nodos de la
red. Asociada a cada conexión hay un peso sináptico denominado {wij}, que determina
el efecto del nodo j-ésimo sobre el nodo i-ésimo.
Las entradas al nodo i-ésimo que provienen de las otros nodos son acumulados junto
con el valor umbral θi, y se aplica la función base f, obteniendo ui. La salida final yi se
obtiene aplicando la función de activación sobre ui.
8
9. Función Base (Función de Red)
La función de base tiene dos formas típicas:
Función lineal de tipo hiperplano: El valor de red es una combinación lineal de las
entradas,
ui (w, x) =
n
j=1
wijxj
Función radial de tipo hiperesférico: es una función de base de segundo orden no
lineal. El valor de red representa la distancia a un determinado patrón de referencia,
ui (w, x) =
n
j=1
(xj − wij)2
Función de Activación (Función de neurona)
El valor de red, expresado por la función de base, u(w, x), se transforma mediante una
función de activación no lineal. Las funciones de activación más comunes son la función
sigmoidal y gausiana:
Función sigmoidal
f (ui) =
1
1 + exp{− ui
σ2 }
Función gausiana
f (ui) = c exp{−
u2
i
σ2
}
Estructuras de conexión de atrás hacia delante
Una red neuronal se determina por las neuronas y la matriz de pesos.
Hay tres tipos de capas de neuronas:
la capa de entrada,
la capa oculta y
la capa de salida.
9
10. Entre dos capas de neuronas existe una red de pesos de conexión, que puede ser de los
siguientes tipos:
hacia delante, hacia atrás, lateral y de retardo:
1. Conexiones hacia delante: los valores de las neuronas de una capa inferior son propa-
gados hacia las neuronas de la capa superior por medio de las redes de conexiones
hacia adelante.
2. Conexiones hacia atrás: estas conexiones llevan los valores de las neuronas de una
capa superior a otras de la capa inferior.
3. Conexiones laterales: Un ejemplo típico de este tipo es el circuito “el ganador toma
todo” (winner-takes-all), que cumple un papel importante en la elección del ganador:
a la neurona de salida que da el valor más alto se le asigna el valor total (por ejemplo,
1), mientras que a todas las demás se le da un valor de 0
10
11. 4. Conexiones con retardo: los elementos de retardo se incorporan en las conexiones
para implementar modelos dinámicos y temporales, es decir, modelos que precisan
de memoria.
Las conexiones sinápticas pueden ser total o parcialmente interconectadas, como se
muestra la siguiente figura:
También es posible que las redes sean de una capa con el modelo de pesos hacia atrás
o bien el modelo multicapa hacia adelante. Es posible así mismo, el conectar varias redes
de una sola capa para dar lugar a redes más grandes.
Tamaño de las Redes Neuronales
En una red multicapa de propagación hacia delante, puede haber una o más capas
ocultas entre las capas de entrada y salida. El tamaño de las redes depende del número
de capas y del número de neuronas ocultas por capa.
El número de unidades ocultas está directamente relacionado con las capacidades
de la red. Para que el comportamiento de la red sea correcto, se tiene que determinar
apropiadamente el número de neuronas de la capa oculta.
11
12. Métodos de Regresión y Redes Neuronales
Los modelos de regresión estudian la relación entre una serie de variables, denominadas
independientes xi, y otras variables dependientes o respuesta que se denotan como y. El
objetivo es predecir los valores de y en función de los valores de xi.
El modelo básico se puede expresar como
η =
N
i=0
βixi
donde
η = h(µ)
E(y) = η
En estas expresiones h(·) es la función que liga los componentes, βi son los coeficientes,
N es el número de variables independientes y β0 es la pendiente.
Un modelo lineal se puede implementar como una red neuronal simple: tiene una
unidad de sesgo, una unidad de input y una unidad de salida. El input se refiere a una
variable x, mientras que el sesgo siempre es una constante igual a 1. El output sería
y2 = y1w21 + 1,0w20
Gráficamente se puede representar como
12
13. El modelo tiene tres componentes:
1. Un componente aleatorio de la variable respuesta y con media µ y varianza σ2
.
2. Un componente que relaciona las variables independientes xi con un predictor lineal
η = N
i=0 βixi.
3. Una función que relaciona la media con el predictor lineal η = h(µ).
El modelo lineal generalizado se reduce al modelo de regresión lineal múltiple si se
considera que el componente aleatorio se distribuye como una normal y la función h(·) se
asume que es la identidad. El modelo queda, entonces, como
yp = β0 +
N
i=1
βixpi + εp
donde εp ∼ N(0, σ2
).
El objetivo es encontrar los coeficientes βi que minimizan la suma de cuadrados de los
errores
E =
n
p=1
yp −
N
i=0
βixpi
2
.
Este problema es equivalente al recogido por una red neuronal con una sola capa,
donde los parámetros βi equivalen a los pesos de la misma y la función de activación es
la identidad.
13
14. El Perceptrón Multicapa
Es capaz de actuar como un aproximador universal de funciones: una red backpropa-
gation conteniendo al menos una capa oculta con suficientes unidades no lineales puede
aproximar cualquier tipo de función o relación continua entre un grupo de variables de en-
trada y salida. Esta propiedad convierte a las redes perceptrón multicapa en herramientas
de propósito general, flexibles y no lineales.
Rumelhart et al. (1986) formalizaron un método para que una red del tipo perceptrón
multicapa aprendiera la asociación que existe entre un conjunto de patrones de entrada y
sus salidas correspondientes: método backpropagation error (propagación del error hacia
atrás).
Esta red tiene la capacidad de generalización: facilidad de dar salidas satisfactorias a
entradas que el sistema no ha visto nunca en su fase de entrenamiento.
Arquitectura
Un perceptrón multicapa está compuesto por una capa de entrada, una capa de salida
y una o más capas ocultas; aunque se ha demostrado que para la mayoría de problemas
bastará con una sola capa oculta. En la figura siguiente se puede observar un perceptrón
típico formado por una capa de entrada, una capa oculta y una de salida.
14
15. Las conexiones entre neuronas son siempre hacia delante: las conexiones van desde las
neuronas de una determinada capa hacia las neuronas de la siguiente capa; no hay conex-
iones laterales ni conexiones hacia atrás. Por tanto, la información siempre se transmite
desde la capa de entrada hacia la capa de salida.
Se considera wji como el peso de conexión entre la neurona de entrada i y la neurona
oculta j, y vkj como el peso de conexión entre la neurona oculta j y la neurona de salida
k.
Algoritmo backpropagation
Se considera una etapa de funcionamiento donde se presenta, ante la red entrenada,
un patrón de entrada y éste se transmite a través de las sucesivas capas de neuronas
hasta obtener una salida y, después, una etapa de entrenamiento o aprendizaje donde se
15
16. modifican los pesos de la red de manera que coincida la salida deseada por el usuario con
la salida obtenida por la red.
Etapa de funcionamiento
Cuando se presenta un patrón p de entrada Xp
: xp
1, . . . , xp
i , . . . , xp
N , éste se transmite
a través de los pesos wji desde la capa de entrada hacia la capa oculta. Las neuronas
de esta capa intermedia transforman las señales recibidas mediante la aplicación de una
función de activación proporcionando, de este modo, un valor de salida. Este se transmite
a través de los pesos vkj hacia la capa de salida, donde aplicando la misma operación que
en el caso anterior, las neuronas de esta última capa proporcionan la salida de la red.
Este proceso se resume en lo siguiente:
La entrada total o neta que recibe una neurona oculta j, netp
j , es:
netp
j =
N
i=1
wjixp
i + θj
donde θj es el umbral de la neurona que se considera como un peso asociado a una neurona
ficticia con valor de salida igual a 1.
El valor de salida de la neurona oculta j, yp
j , se obtiene aplicando una función f(·)
sobre su entrada neta:
yp
j = f netp
j
De igual forma, la entrada neta que recibe una neurona de salida k, netp
k, es:
netp
k =
H
j=1
vkjyp
j + θk
Por último, el valor de salida de la neurona de salida k, yp
k, es:
yp
k = f (netp
k)
Etapa de aprendizaje
En la etapa de aprendizaje, el objetivo es hacer mínimo el error entre la salida obtenida
por la red y la salida deseada por el usuario ante la presentación de un conjunto de patrones
denominado grupo de entrenamiento.
16
17. Así el aprendizaje en las redes backpropagation es de tipo supervisado.
La función de error que se pretende minimizar para cada patrón p viene dada por:
Ep
=
1
2
M
k=1
(dp
k − yp
k)2
donde dp
k es la salida deseada para la neurona de salida k ante la presentación del patrón
p.
A partir de esta expresión se puede obtener una medida general de error mediante:
E =
P
p=1
Ep
La base del algoritmo backpropagation para la modificación de los pesos es la técnica
conocida como gradiente decreciente.
Como Ep
es función de todos los pesos de la red, el gradiente de Ep
es un vector igual a
la derivada parcial de Ep
respecto a cada uno de los pesos. El gradiente toma la dirección
que determina el incremento más rápido en el error, mientras que la dirección opuesta, es
decir, la dirección negativa, determina el decremento más rápido en el error. Por tanto, el
error puede reducirse ajustando cada peso en la dirección:
−
P
p=1
∂Ep
∂wji
Un peligro que puede surgir al utilizar el método de gradiente decreciente es que el
aprendizaje converja a un mínimo local. Sin embargo, el problema potencial de los mínimos
locales se da en raras ocasiones en datos reales.
A nivel práctico, la forma de modificar los pesos de forma iterativa consiste en aplicar
la regla de la cadena a la expresión del gradiente y añadir una tasa de aprendizaje η. Así,
en una neurona de salida:
∆vkj (n + 1) = −η
∂Ep
∂vkj
= η
P
p=1
δp
kyp
j
donde
δp
k = (dp
k − yp
k) f′
(netp
k)
17
18. y n indica la iteración.
En una neurona oculta:
∆wji (n + 1) = η
P
p=1
δp
j xp
i
donde
δp
j = f netp
j
M
k=1
δp
kvkj
Se puede observar que el error o valor delta asociado a una neurona oculta j, viene
determinado por la suma de los errores que se cometen en las k neuronas de salida que
reciben como entrada la salida de esa neurona oculta j. De ahí que el algoritmo también
se denomine propagación del error hacia atrás.
Para la modificación de los pesos, la actualización se realiza después de haber pre-
sentado todos los patrones de entrenamiento. Este es el modo habitual de proceder y se
denomina aprendizaje por lotes o modo batch.
Otra modalidad denominada aprendizaje en serie o modo on line consistente en actu-
alizar los pesos tras la presentación de cada patrón de entrenamiento. Ha de hacerse en
orden aleatorio.
Para acelerar el proceso de convergencia de los pesos, Rumelhart et al. (1986) sugirieron
añadir un factor momento, α, que tiene en cuenta la dirección del incremento tomada en
la iteración anterior:
∆vkj (n + 1) = η
P
p=1
δp
kyp
j + α∆vkj (n)
Fases en la aplicación de un perceptrón multicapa
Una red del tipo perceptrón multicapa intenta resolver dos tipos de problemas:
— Problemas de predicción, que consisten en la estimación de una variable continua de
salida, a partir de la presentación de un conjunto de variables predictoras de entrada
(discretas y/o continuas).
— Problemas de clasificación, que consisten en la asignación de la categoría de pertenencia
de un determinado patrón a partir de un conjunto de variables predictoras de entrada
18
19. (discretas y/o continuas).
Selección de las variables relevantes y preprocesamiento de los datos
Para obtener una aproximación funcional óptima, se deben elegir cuidadosamente las
variables a emplear: se trata es de incluir en el modelo las variables predictoras que
realmente predigan la variable dependiente o de salida, pero que a su vez no tengan
relaciones entre sí ya que esto puede provocar un sobreajuste innecesario en el modelo.
Las variables deben seguir una distribución normal o uniforme, y el rango de posibles
valores debe ser aproximadamente el mismo y acotado dentro del intervalo de trabajo de
la función de activación empleada en las capas ocultas y de salida de la red neuronal.
Así, las variables de entrada y salida suelen acotarse en valores comprendidos entre 0
y 1 ó entre −1 y 1.
Si la variable es discreta, se utiliza la codificación dummy. Por ejemplo, la variable
sexo podría codificarse como: 0 = hombre, 1 = mujer; estando representada por una
única neurona. La variable nivel social podría codificarse como: 100 = bajo, 010 = medio,
001 = alto; estando representada por tres neuronas. Por su parte, si la variable es de
naturaleza continua, ésta se representa mediante una sola neurona, como, por ejemplo, el
CI de un sujeto.
Entrenamiento de la red neuronal
Elección de los pesos iniciales
Se hace una asignación de pesos pequeños generados de forma aleatoria, en un rango
de valores entre −0,5 y 0,5 o algo similar.
Arquitectura de la red
Respecto a la arquitectura de la red, se sabe que para la mayoría de problemas prácticos
bastará con utilizar una sola capa oculta .
El número de neuronas de la capa de entrada está determinado por el número de
variables predictoras.
Así, en los ejemplos anteriores, la variable sexo estaría representada por una neurona
19
20. que recibiría los valores 0 ó 1. La variable status social estaría representada por tres
neuronas. La variable puntuación en CI estaría representada por una neurona que recibiría
la puntuación previamente acotada, por ejemplo, a valores entre 0 y 1.
El número de neuronas de la capa de salida está determinado bajo el mismo esquema
que en el caso anterior. Cuando intentamos discriminar entre dos categorías, bastará con
utilizar una única neurona (por ejemplo, salida 1 para la categoría A, salida 0 para la
categoría B). Si estamos ante un problema de estimación, tendremos una única neurona
que dará como salida el valor de la variable a estimar.
El número de neuronas ocultas determina la capacidad de aprendizaje de la red neu-
ronal. Recordando el problema del sobreajuste, se debe usar el mínimo número de neu-
ronas ocultas con las cuales la red rinda de forma adecuada. Esto se consigue evaluando
el rendimiento de diferentes arquitecturas en función de los resultados obtenidos con el
grupo de validación.
Tasa de aprendizaje y factor momento
El valor de la tasa de aprendizaje (η) controla el tamaño del cambio de los pesos
en cada iteración. Se deben evitar dos extremos: un ritmo de aprendizaje demasiado
pequeño puede ocasionar una disminución importante en la velocidad de convergencia y
la posibilidad de acabar atrapado en un mínimo local; en cambio, un ritmo de aprendizaje
demasiado grande puede conducir a inestabilidades en la función de error, lo cual evitará
que se produzca la convergencia debido a que se darán saltos en torno al mínimo sin
alcanzarlo.
Por tanto, se recomienda elegir un ritmo de aprendizaje lo más grande posible sin que
provoque grandes oscilaciones. En general, el valor de la tasa de aprendizaje suele estar
comprendida entre 0.05 y 0.5.
El factor momento (α) acelera la convergencia de los pesos. Suele tomar un valor
próximo a 1 (por ejemplo, 0.9).
Función de activación de las neuronas ocultas y de salida
20
21. Hay dos formas básicas que cumplen esta condición: la función lineal (o identidad) y
la función sigmoidal (logística o tangente hiperbólica).
21
22. Para aprovechar la capacidad de las NN de aprender relaciones complejas o no lineales
entre variables, se recomienda la utilización de funciones no lineales al menos en las
neuronas de la capa oculta. Por tanto, en general se utilizará una función sigmoidal
(logística o tangente hiperbólica) como función de activación en las neuronas de la capa
oculta.
La elección de la función de activación en las neuronas de la capa de salida dependerá
del tipo de tarea impuesto.
En tareas de clasificación, las neuronas normalmente toman la función de activación
sigmoidal. En cambio, en tareas de predicción o aproximación de una función, general-
mente las neuronas toman la función de activación lineal.
Evaluación del rendimiento del modelo
Una vez seleccionado el modelo de red cuya configuración de parámetros ha obtenido
la mejor ejecución ante el conjunto de validación, debemos evaluar la capacidad de gen-
eralización de la red de una forma completamente objetiva a partir de un tercer grupo de
datos independiente, el conjunto de test.
22
23. Cuando se trata de la estimar una función, normalmente se utiliza la media cuadrática
del error para evaluar la ejecución del modelo:
MCerror =
P
p=1
M
k=1
(dp
k − yp
k)2
P · M
En problemas de clasificación de patrones es mejor la frecuencia de clasificaciones
correctas e incorrectas. Se puede construir una tabla de confusión y calcular diferentes
índices de asociación y acuerdo entre el criterio y la decisión tomada por la red neuronal.
Interpretación de los pesos obtenidos
Se trata de interpretar los pesos de la red neuronal. El método más popular es el
análisis de sensibilidad.
El análisis de sensibilidad está basado en la medición del efecto que se observa en una
salida yk debido al cambio que se produce en una entrada xi. Cuanto mayor efecto se
observe sobre la salida, mayor sensibilidad se puede deducir que presenta respecto a la
entrada.
Un método común consiste en fijar el valor de todas las variables de entrada a su valor
medio e ir variando el valor de una de ellas a lo largo de todo su rango, registrando el
valor de salida de la red.
Redes Neuronales como generalización de las técnicas
de Análisis Discriminante
En este apartado se trata la visión de las redes neuronales en términos de una gener-
alización de las funciones lineales empleadas en Análisis Discriminante.
En éste se clasifica un objeto como resultado de una aplicación lineal, cuyos parámetros
se estiman a partir de un proceso de optimización.
Se puede generalizar el concepto anterior, considerando diferentes formas de la función
discriminante φ. De modo específico, se considera una función de la forma
gj(x) =
m
i=1
wjiφi (x; µi) + wj0,
23
24. j = 1, . . . , C;
donde hay m funciones base, φi, cada una de las cuales tiene una serie de parámetros, y
se utiliza la siguiente regla discriminante, dado un nuevo elemento x:
Asignar x a la clase ωi si gi(x) = m´ax
j
gj(x),
esto es, x se asigna a la clase cuya función discriminante alcanza mayor valor.
La ecuación anterior generaliza el Análisis Discriminante lineal, usando funciones no
lineales φi.
Si,
φi (x; µi) ≡ (x)i, esto es, una función lineal discriminante m = p, donde p es la
dimensión de x.
φi (x; µi) ≡ φi(x)i esto es, una función generalizada discriminante que puede ser no
lineal.
Se puede interpretar como una transformación de los datos x ∈ Rp
a RC
mediante un
espacio intermediario Rm
determinado por las funciones φi.
Ejemplo: La llamada función de base radial (RBF) se puede describir como una com-
binación lineal de funciones de base no lineales radialmente simétricas
gj(x) =
m
i=1
wjiφi (|x − µi|) + wj0
donde j = 1, . . . n. Los parámetros wji son los pesos; wj0 se denomina el sesgo y a los
vectores µi se les denomina los centros.
Aplicaciones
Con el fin de llegar al entendimiento global de NN, se suele adoptar la siguiente
perspectiva, llamada top-down, que empieza por la aplicación, después se pasa al algoritmo
y de aquí a la arquitectura:
24
25. Las principales aplicaciones son para el procesado de señales y el reconocimiento de
patrones. Así, la ventaja de las NN reside en el procesado paralelo, adaptativo y no
lineal. Las NN han encontrado muchas aplicaciones con éxito en la visión artificial, en
el procesado de señales e imágenes, reconocimiento del habla y de caracteres, sistemas
expertos, análisis de imágenes médicas, control remoto, control de robots e inspección
industrial.
Las aplicaciones de las NN se puede clasificar de la siguiente forma: asociación y
clasificación, regeneración de patrones, regresión y generalización, y optimización.
A C
En esta aplicación, los patrones de entrada estáticos o señales temporales deben ser
clasificadas o reconocidas. Idealmente, un clasificador debería ser entrenado para que
cuando se le presente una versión distorsionada ligeramente del patrón, pueda ser recono-
cida correctamente sin problemas. De la misma forma, la red debería presentar cierta
inmunidad contra el ruido, esto es, debería ser capaz de recuperar una señal limpia de
ambientes o canales ruidosos.
25
26. Asociación. De especial interés son las dos clases de asociación autoasociación y het-
eroasociación. El problema de la autoasociación es recuperar un patrón enteramente,
dada una información parcial del patrón deseado. La heteroasociación es recuperar
un conjunto de patrones B, dado un patrón de ese conjunto. Los pesos en las redes
asociativas son a menudo predeterminados basados en la llamada regla de Hebb:
cuando una neurona participa constantemente en activar una neurona de salida, la
influencia de la neurona de entrada es aumentada. Normalmente, la autocorrelación
del conjunto de patrones almacenado determina los pesos en las redes autoasociati-
vas. Por otro lado, la correlación cruzada de muchas parejas de patrones se usa para
determinar los pesos de la red de heteroasociación.
Clasificación. En muchas aplicaciones de clasificación, por ejemplo en reconocimiento
de voz, los datos de entrenamiento consisten en pares de patrones de entrada y
salida. En este caso, es conveniente adoptar las redes supervisadas, como las redes
de retropropagación. Este tipo de redes son apropiadas para las aplicaciones que
tienen una gran cantidad de clases con límites de separación complejos.
En muchos problemas de clasificación una cuestión a solucionar es la recuperación
la información, esto es, recuperar el patrón original cuando se dispone de sólo una
información parcial.
G
Se puede extender a un problema de interpolación. El sistema es entrenado por un
gran conjunto de muestras de entrenamiento basados en un procedimiento de aprendizaje
supervisado.
Una red se considera que esta entrenada con éxito si puede aproximar los valores de los
patrones de entrenamiento y puede dar interpolaciones suaves para el espacio de datos no
entrenado. El objetivo de la generalización es dar una respuesta correcta a la salida para
un estímulo de entrada que no ha sido entrenado con anterioridad. El sistema debe inducir
la característica saliente del estímulo a la entrada y detectar la regularidad. Tal habilidad
26
27. para el descubrimiento de esa regularidad es crítica en muchas aplicaciones. Esto hace
que el sistema funcione eficazmente en todo el espacio, incluso ha sido entrenado por un
conjunto limitado de ejemplos. Por ejemplo, en la siguiente figura:
O
Las NN son una herramienta interesante para la optimización de aplicaciones, que
normalmente implican la búsqueda del mínimo absoluto de una función de energía.
27
28. Una vez que se define la función de energía, se determinan los pesos sinápticos. Para
algunas aplicaciones, la función de energía es fácilmente deducible. En otras, sin embargo,
esta función de energía se obtiene de ciertos criterios de coste y limitaciones especiales. El
mayor problema asociado al problema de optimización es la alta posibilidad de converger
hacia un mínimo local, en vez de hacia el mínimo absoluto. Para evitar este problema se
utilizan algunas técnicas estadísticas como, por ejemplo, procedimientos estocásticos.
Páginas sobre Redes Neuronales
Tutorial sobre Redes Neuronales en Castellano
http://www.bibliopsiquis.com/psicologiacom/vol5num2/2833/
An Introduction to Neural Networks
http://www.cs.stir.ac.uk/~lss/NNIntro/InvSlides.html
CS-449: Neural Networks
http://www.willamette.edu/ %7Egorr/classes/cs449/intro.html
Neural Computing Publications Worldwide
http://www.ewh.ieee.org/tc/nnc/research/nnpubs.html
Tutor in Neural Nets
http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html
Neural Nets de MatLab
http://www.mathworks.com/access/helpdesk/help/toolbox/nnet/
Stuttgart Neural Network Simulator
http://www-ra.informatik.uni-tuebingen.de/SNNS/
28
29. 29
Redes Neuronales con R
En R para estudiar redes neuronales con una sola capa se tiene la librería nnet.
El formato de la función principal es
nnet(formula, data, weights, size, Wts, linout=F, entropy=F, softmax=F, skip=F,
rang=0.7, decay=0, maxit=100, trace=T)
Para estudiar sus opciones escribe:
help(nnet)
Ejemplo (procede del libro Modern Applied Statistics with S (4ª Edición), de W.N.
Venables y B.D. Ripley. Springer. ISBN 0-387-95457-0 (2002):
library(nnet)
attach(rock)
area1 <- area/10000
peri1 <- peri/10000
rock1 <- data.frame(perm, area=area1, peri=peri1, shape)
rock.nn <- nnet(log(perm)~area+peri+shape, rock1, size=3, decay=1e-3, linout=T,
skip=T, maxit=1000, Hess=T)
summary(rock.nn)
Se obtiene una red neuronal 3-3-1 con 19 pesos.
En la salida de summary la letra b se refiere al sesgo (input 0) y, por otro lado i, h, o son
los nodos de input, hidden y output.
sum((log(perm)-predict(rock.nn))^2)
detach()
eigen(rock.nn$Hessian,T)$values
Se pueden obtener distintas soluciones cuando se toma un punto inicial diferente.
Para obtener la superficie predicha para los datos:
library(lattice)
Xp <-expand.grid(area=seq(0.1,1.2,0.05), peri=seq(0,0.5,0.02), shape=0.2)
trellis.device()
rock.grid <- cbind(Xp, fit=predict(rock.nn,Xp))
wireframe(fit~area+peri, rock.grid, screen=list(z=160,x=-60), aspect=c(1,0.5),
drape=T)
Ejemplo con la librería neural que ofrece una interfaz gráfica.
# Ejemplo de interfaz grafica de redes neuronales
library(neural)
# Entreno una red de base radial
neurons <- 16
data <- rbftrain(x, neurons, y, sigma=NaN)
rbf(x, data$weigth, data$dist, data$neurons, data$sigma)
# Genero un conjunto de datos artificial
x <- matrix(c(1,1,0,0,1,0,1,0), 4, 2)
y <- matrix(c(0,1,1,0), 4, 1)
# Entreno un perceptron multicapa
neurons <- 4
data <- mlptrain(x, neurons, y, it=1000);
mlp(x, data$weigth, data$dist, data$neurons, data$actfns)
30. 30
Ejemplo con los datos clásicos de Fisher con las flores del género Iris
library(nnet)
data(iris)
# Flores del genero Iris
table(iris$Species)
iS <- iris$Species=="setosa"
iV <- iris$Species=="versicolor"
matplot(c(1, 8), c(0, 4.5), type="n", xlab="Longitud", ylab="Anchura",
main="Dimensiones de pétalos y sépalos en Iris")
matpoints(iris[iS,c(1,3)], iris[iS,c(2,4)], pch="sS", col=c(2,4))
matpoints(iris[iV,c(1,3)], iris[iV,c(2,4)], pch="vV", col=c(2,4))
legend(1,4,c(" Pétalos Setosa", " Sépalos Setosa",
" Pétalos Versicolor", "Sépalos Versicolor"), pch="sSvV", col=rep(c(2,4),2))
# Uso la mitad del fichero de datos de Iris
ir <- rbind(iris3[,,1],iris3[,,2],iris3[,,3])
targets <- class.ind(c(rep("s",50), rep("c",50), rep("v",50)))
samp <- c(sample(1:50,25), sample(51:100,25), sample(101:150,25))
ir.nn1 <- nnet(ir[samp,], targets[samp,], size=2, rang=0.1,
decay=5e-4, maxit=200)
names(ir.nn1)
ir.nn1$wts
ir.nn1$fitted.values
test.cl <- function(true, pred) {
true <- max.col(true)
cres <- max.col(pred)
table(true, cres)
}
test.cl(targets[-samp,], predict(ir.nn1, ir[-samp,]))
# O bien
ird <- data.frame(rbind(iris3[,,1], iris3[,,2], iris3[,,3]),
species=c(rep("s",50), rep("c",50), rep("v",50)))
ir.nn2 <- nnet(species~., data=ird, subset=samp, size=2,
rang=0.1, decay=5e-4, maxit=200)
names(ir.nn2)
ir.nn2$wts
ir.nn2$fitted.values
table(ird$species[-samp], predict(ir.nn2, ird[-samp,], type = "class"))
Ejemplo con la librería RWeka
library(RWeka)
NB <- make_Weka_classifier("weka/classifiers/functions/MultilayerPerceptron")
NB
WOW(NB)
# Genero un conjunto de datos artificial
x <- t(matrix(-5:10*24,1,160))
y <- t(matrix(sin(pi/180*(-5:10*24)),1,160))
plot(x,y,type="l",col="blue")
datos <- as.data.frame(cbind(x,y))
train <- sample(100)