Redes neuronales con funciones de activación de base radial

1. Funciones de Base Radial
Diego Sarmiento

2. Las funciones de base radial se caracterizan por una salida que se
incrementa (o decrece) monótonamente con la distancia de la entrada
respeto a un punto central (distancia euclidiana). Son por lo tanto
funciones de la forma R(X,u,σ ) , donde c es el punto central de la función
R , y σ es el ancho de la misma, indica como se incrementa (o decrece) el
valor de la función con la distancia de la entrada X a su centro.
(a) (b) (C)
A continuación tenemos ejemplos de funciones de base radial centradas
en 0 y de ancho con valor 1mas utilizadas en la implementación de este
tipo de redes.
RBF Gaussiana: R( x) = exp
RBF cuadrática:
RBF logística: R(x) =

3. La estructura característica de este tipo de redes es una red estática con
una capa oculta, donde las funciones de activación son de tipo radial
(gauseana) en la capa oculta y lineal en la capa de salida, como se
muestra a continuación:

4. Una red RBF que tiene una función de activación lineal en la capa de salida
puede hacer una aproximación arbitrariamente cercana a cualquier función
continua siempre y cuando tenga el número suficiente de neuronas en la
capa oculta.
De la implementación de las funciones de base radial como funciones de
activación para redes neuronales que ha sido realizada por Broomhead , han
seguido posteriormente bastantes trabajos de investigación, debido a las
características que tienen estas funciones como su sencilla configuración y el
haber demostrado que son unos aproximadores universales como lo pueden
ser los perceptrones multicapa.
MLP (2 neuronas ocultas) RBF (5 neuronas ocultas)

5. La capa de salida realiza clasificación lineal sobre las salidas de la oculta
La capa oculta realiza una expansión no lineal del espacio de entrada en un
espacio “oculto” donde las clases son linealmente separables
Teorema de Cover sobre la separabilidad de patrones dice: “un problema de
clasificación de patrones transformado no linealmente a un espacio de
dimensión superior tiene mayor probabilidad de ser linealmente separable
que en un espacio de dimensión menor”.
• Cuanto mayor es el nº de neuronas ocultas mayor es la probabilidad de
separabilidad lineal
• En muchos problemas es suficiente con una transformación no lineal sin
aumentar la dimensión
Separabilidad del problema XOR
Capacidad de clasificación MLP-RBF
La eficiencia de cada modelo (nº de neuronas que resuelven el problema de
clasificación) depende de la distribución de las clases

6. Ejemplo : clases anidadas
(RBF independiente de la dimensión)
MLP (3 nodos ocultos) RBF (1 nodo oculto)
Ejemplo 2: clases separables
RBF y MLP dependientes de la dimensión

7. Bibliografía:
Mouncef Filali Bouami, “Desarrollo y optimización de nuevos modelos
de redes neuronales basadas en funciones de base radial”, Universidad
de Granada, Tesis doctoral, Departamento de Arquitectura y Tecnología
de Computadores, 2005.
Simon Haykin, “Neural Networks”, 2nd edition, Prentice Hall, 1999.