El documento describe el concepto de momento en redes neuronales. El momento se introduce para resolver la dicotomía entre usar una tasa de aprendizaje pequeña, que lleva a un aprendizaje lento, y una tasa grande, que puede causar divergencia. El momento modifica la ecuación de peso delta para incluir una porción del cambio de peso anterior, actuando como un filtro que refuerza tendencias generales y cancela comportamiento oscilatorio, permitiendo usar una tasa pequeña sin comprometer la velocidad de aprendizaje. El documento analiza el momento en perceptrones

1. Investigación: “Momento en Perceptroón Multicapa” 12/Nov/201
Centro Universitario U.A.E.M. Atlacomulco
Línea de aprendizaje: Redes Neuronales
Tema: Momento en Perceptrón Multicapa
Docente: Marco Antonio López Paredes
Alumnos:
Juan Carlos Tomas Reyes
Levi Guadarrama Tercero
Oliver Sánchez Cruz
Grupo: ICO-17
Grado: 5° Semestre
Atlacomulco México, Noviembre del 2014

2. Investigación: “Momento en Perceptroón Multicapa” 12/Nov/201
¿Qué es el Momento?
Uno de los problemas de un algoritmo de descenso por el gradiente es el asignar una tasa de aprendizaje apropiada. El cambiar los pesos como una función lineal de las derivadas parciales como está definido en hace la suposición que la superficie de error es localmente lineal, donde “localmente” se define por el tamaño del coeficiente de aprendizaje. En puntos de alta curvatura, esta asunción de linealidad no cuadra y un comportamiento divergente puede ocurrir cerca de dichos puntos. Es entonces importante el mantener el coeficiente de aprendizaje pequeño y eludir tal comportamiento.
Por otra parte un coeficiente de aprendizaje pequeño puede conllevar hacia un aprendizaje lento. El concepto de “término de momento” fue introducido para resolver esta dicotomía. La ecuación de peso delta se modifica para que la una porción del anterior peso delta sea alimentado a través del actual peso delta:
Esto actúa como un filtro de baja permisión (low-pass filter) en los términos de pesos delta dado que las tendencias generales se refuerzan mientras que el comportamiento oscilatoria se auto cancela. Esto permite entonces un pequeño valor para el coeficiente de aprendizaje y un aprendizaje más rápido.
Momento en Perceptron Multicapa

3. Investigación: “Momento en Perceptroón Multicapa” 12/Nov/201

4. Investigación: “Momento en Perceptroón Multicapa” 12/Nov/201

5. Investigación: “Momento en Perceptroón Multicapa” 12/Nov/201