Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Algoritmo de Gradiente Conjugado CGBP

15.543 visualizaciones

Publicado el

Algoritmo de Gradiente Conjugado CGBP

Publicado en: Educación, Tecnología
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download Full EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download Full doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book THIS can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer THIS is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story THIS Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money THIS the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths THIS Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ...................................ALL FOR EBOOKS................................................. Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ...................................ALL FOR EBOOKS................................................. Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí

Algoritmo de Gradiente Conjugado CGBP

  1. 1. CGBP Algoritmo del Gradiente Conjugado
  2. 2. Algoritmo de Gradiente Conjugado (CGBP) <ul><li>CGBP converge a un mínimo de una función cuadrática en un numero finito de iteraciones. </li></ul><ul><li>El procedimiento general para localizar un mínimo de una función en una dirección requiere: </li></ul><ul><li>Localizar el intervalo donde se encuentra </li></ul><ul><li>Reducir el intervalo </li></ul>
  3. 3. Algoritmo de Gradiente Conjugado
  4. 4. <ul><li>1. La primera dirección de búsqueda es el gradiente descendente </li></ul><ul><li>2. Tomar un paso y escoger una razón de aprendizaje para minimizar la función a lo largo de la dirección búsqueda. </li></ul>
  5. 5. <ul><li>3. Seleccione la siguiente dirección de búsqueda de acuerdo a: </li></ul><ul><li>Donde: </li></ul>
  6. 6. <ul><li>Si el algoritmo no ha convergido regrese al paso 2. </li></ul>
  7. 7. Ejemplos Método del Gradiente Conjugado
  8. 8. Ejemplo: 1 <ul><li>Aplique el algoritmo de Gradiente Conjugado a la siguiente función. </li></ul><ul><li>Los valores iniciales son: </li></ul><ul><li>A) Realice 2 iteraciones. </li></ul><ul><li>B) Dibuje la superficie de error en 2D. </li></ul><ul><li>C) Grafique los punto obtenidos. </li></ul>
  9. 9. Solución
  10. 10. Método de Gradiente conjugado para la solución de Ecuaciones Normales <ul><li>1.- Inicialice los componentes del vector de pesos con valores arbitrarios pequeños. </li></ul><ul><li>2.- Ajustar k=0, Calcular la dirección inicial del conjugado d 0 y el vector de ganancia g 0. </li></ul>
  11. 11. <ul><li>3.- Determine el coeficiente del vector conjugado. Donde </li></ul><ul><li>4.- Actualice el vector de pesos. </li></ul>
  12. 12. <ul><li>5.- Determine el nuevo vector de ganancia. </li></ul><ul><li>6.- Determine la nueva dirección del gradiente conjugado. </li></ul>
  13. 13. <ul><li>Ajuste : </li></ul><ul><li>y pruebe la condición de salida. </li></ul><ul><li>Si , </li></ul><ul><li>ir al paso 3, de otra forma detener </li></ul>
  14. 14. Inconvenientes del CGBP . <ul><li>El algoritmo GC nos puede aplicar directamente al entrenamiento de RNA, dado que el índice de desempeño de las mismas no es cuadrático. </li></ul><ul><li>No se puede usar  k para minimizar la función a lo largo de una línea. </li></ul><ul><li>No se alcanzara un mínimo exacto en un numero finito de iteraciones. </li></ul>
  15. 15. <ul><li>Para localizar un mínimo de una función en una dirección especificada se requiere: </li></ul><ul><ul><li>a) Localización del intervalo. </li></ul></ul><ul><ul><li>b) Reducción del intervalo. </li></ul></ul><ul><li>El propósito del paso de localización del intervalo es encontrar un intervalo inicial que contenga un mínimo local. </li></ul>
  16. 16. <ul><li>El paso de la reducción del intervalo, reduce el tamaño del intervalo hasta que el mínimo es localizado en la precisión deseada. </li></ul><ul><li>Para lo anterior se propuso: </li></ul><ul><li>“El método de búsqueda de la Sección de Oro” </li></ul>
  17. 17. A) Localización del Intervalo Búsqueda de la sección de oro
  18. 18. B) Reducción del Intervalo
  19. 19. Búsqueda de la sección de oro  =0.618 Set c 1 = a 1 + (1-  )( b 1 - a 1 ), F c = F ( c 1 ) d 1 = b 1 - (1-  )( b 1 - a 1 ), F d = F ( d 1 ) For k =1,2, ... repeat If F c < F d then Set a k +1 = a k ; b k +1 = d k ; d k +1 = c k c k +1 = a k +1 + (1-  )( b k +1 - a k +1 ) F d = F c ; F c = F ( c k +1 ) else Set a k +1 = c k ; b k +1 = b k ; c k +1 = d k d k +1 = b k +1 - (1-  )( b k +1 - a k +1 ) F c = F d ; F d = F ( d k +1 ) end end until b k +1 - a k +1 < tol
  20. 20. Ejemplo: 2 <ul><li>Realice una iteración del algoritmo de Gradiente Conjugado para la función: </li></ul><ul><li>Para la minimización lineal use la localización del intervalo mediante la evaluación de la función F(x); y para la reducción del intervalo por medio de Búsqueda de la Sección de Oro. </li></ul>
  21. 21. Algoritmo CGBP Pasos Intermedios w 1 1,1 w 2 1,1
  22. 22. Trayectoria Completa w 1 1,1 w 2 1,1
  23. 23. Algoritmo de Gradiente Conjugado para entrenar MLP NN <ul><li>Paso 1. Inicializar los pesos de la red con valores aleatorios pequeños. </li></ul><ul><li>Paso 2. Propague el q-esimo patrón de entrenamiento, a través de la red calculando la salida en cada nodo. </li></ul><ul><li>Paso 3. Calcule el error local en cada nodo de la red. Para los nodos de salida el error local se calcula por: </li></ul>
  24. 24. <ul><li>Donde g(.) es la derivada de la funcion de activación f(.). Para cada nodo de la capa oculta el error se calcula como: </li></ul>
  25. 25. <ul><li>Paso 4. Cada combinador lineal estima la salida deseada, dado por: </li></ul><ul><li>donde </li></ul><ul><li>Paso 5. Actualice el estimado de la matriz de covarianza en cada capa. </li></ul><ul><li>Actualice el estimado del vector de correlación cruzado para cada nodo. </li></ul>
  26. 26. <ul><li>Donde k es el índice de presentación del patrón. </li></ul><ul><li>Paso 6.Actualice el vector de pesos para cada nodo en la red, como sigue. </li></ul><ul><li>(a) En cada nodo calcule </li></ul><ul><li>sino, </li></ul><ul><li>Si ,no actualice el vector de pesos para el nodo y vaya al paso 7; sino realice los siguientes pasos. </li></ul>
  27. 27. <ul><li>(b) Encuentre la direccion d (k). Si el numero de iteración es un entero múltiplo del numero de pesos en el nodo , entonces: </li></ul><ul><li>sino </li></ul><ul><li>donde </li></ul>
  28. 28. <ul><li>(c) Calcule el tamaño del paso </li></ul><ul><li>(d) Modifique el vector de pesos de acuerdo a </li></ul><ul><li>Paso 7. Si la red no ha convergido vaya </li></ul><ul><li>al paso 2. </li></ul>
  29. 29. Simulación en Matlab / NNT
  30. 30. Algoritmos de Gradiente Conjugado <ul><li>Fletcher-Reeves (traincgf). Tiene los requerimientos mas pequeños de almacenaje de todos los algoritmos de Gradiente conjugado. </li></ul><ul><li>Polak-Riviére (traincgp). Tiene los requerimientos de almacenaje ligeramente mas grandes que el de Fletcher-Reeves. Tiene una mayor velocidad de convergencia en algunos problemas </li></ul>
  31. 31. Algoritmos de Gradiente Conjugado (2) <ul><li>Powell-Beale (traincgb). Tiene los requerimientos de almacenaje ligeramente mas grandes que el de Polak-Riviére. Tiene generalmente una mayor velocidad de convergencia. </li></ul><ul><li>Gradiente Conjugado Escalado (trainscg). Es el único algoritmo de este tipo que no requiere línea de búsqueda. Es un algoritmo de entrenamiento de propósito general muy bueno. </li></ul>
  32. 32. <ul><li>trainscg </li></ul><ul><li>Es una funcion que entrena redes multicapa con retropropagación, actualizando W y b de acuerdo al método de gradiente conjugado escalado. </li></ul><ul><li>Sintaxis </li></ul><ul><li>[net, tr] = trainscg (net, P,T,A,Q,Ts,VV) </li></ul>Algoritmo de BP con Gradiente Conjugado Escalado (SCGBP)
  33. 33. <ul><li>Donde: </li></ul><ul><li>net = Define la red neuronal </li></ul><ul><li>net = netff([0 5 ], [3 1] ,{´tansig´, ´logsig ´}, trainscg ) </li></ul><ul><li>P patrones de entrada </li></ul><ul><li>T valores objetivo </li></ul><ul><li>Ai Condiciones iniciales </li></ul><ul><li>Q Tamaño del lote </li></ul><ul><li>Ts Tamaño del paso </li></ul><ul><li>VV Matriz vacía o vectores de validación </li></ul>
  34. 34. <ul><li>Valores por omisión </li></ul><ul><li>net.trainParam.epochs= 100 </li></ul><ul><li>net. trainParam.show= 25 </li></ul><ul><li>net.trainParam.goal= 0 </li></ul><ul><li>net. trainParam.time= inf </li></ul><ul><li>net.trainParam.min_grad= 1e-6 </li></ul>
  35. 35. <ul><li>Valores por omisión (2) </li></ul><ul><li>net.trainParam.max_fail= 5 </li></ul><ul><li>net.trainParam.sigma= 5e-5 </li></ul><ul><li>net. trainParam.lambda= 5e-7 </li></ul>
  36. 36. <ul><li>traincgf </li></ul><ul><li>Es una funcion que entrena redes multicapa con retropropagación, actualizando W y b de acuerdo al método de gradiente conjugado de Fletcher-Reeves . </li></ul><ul><li>Sintaxis </li></ul><ul><li>[net, tr] = traincgf (net, P,T,Ai,Q,Ts,VV) </li></ul>Algoritmo de BP con Gradiente Conjugado . Fletcher-Reeves
  37. 37. <ul><li>Donde: </li></ul><ul><li>net = Define la red neuronal </li></ul><ul><li>net = netff([0 5 ], [3 1] ,{´tansig´, ´logsig ´}, traincgf ) </li></ul><ul><li>P patrones de entrada </li></ul><ul><li>T valores objetivo </li></ul><ul><li>Ai Condiciones iniciales </li></ul><ul><li>Q Tamaño del lote </li></ul><ul><li>Ts Tamaño del paso </li></ul><ul><li>VV Matriz vacía o vectores de validación </li></ul>
  38. 38. <ul><li>Valores por omisión </li></ul><ul><li>net.trainParam.epochs= 100 </li></ul><ul><li>net. trainParam.show= 25 </li></ul><ul><li>net.trainParam.goal= 0 </li></ul><ul><li>net. trainParam.time= inf </li></ul><ul><li>net.trainParam.min_grad= 1e-6 </li></ul>
  39. 39. <ul><li>Valores por omisión (2) </li></ul><ul><li>net.trainParam.max_fail= 5 </li></ul><ul><li>net.trainParam.searchFcn= Nombre de la rutina de linea de busqueda usar ´srchcha´. </li></ul>
  40. 40. <ul><li>traincgp </li></ul><ul><li>Es una funcion que entrena redes multicapa con retropropagación, actualizando W y b de acuerdo al método de gradiente conjugado de Polak-Ribiére . </li></ul><ul><li>Sintaxis </li></ul><ul><li>[net, tr] = traincgp (net, P,T,A,Q,Ts,VV,TV) </li></ul>Algoritmo de BP con Gradiente Conjugado Polak-Ribiére
  41. 41. <ul><li>Donde: </li></ul><ul><li>net = Define la red neuronal </li></ul><ul><li>net = netff([0 5 ], [3 1] ,{´tansig´, ´logsig ´}, traincgp ) </li></ul><ul><li>P patrones de entrada </li></ul><ul><li>T valores objetivo </li></ul><ul><li>Ai Condiciones iniciales </li></ul><ul><li>Q Tamaño del lote </li></ul><ul><li>Ts Tamaño del paso </li></ul><ul><li>VV Matriz vacía o vectores de validación </li></ul><ul><li>TV Matriz vacía o vectores de prueba </li></ul>
  42. 42. <ul><li>Valores por omisión </li></ul><ul><li>net.trainParam.epochs= 100 </li></ul><ul><li>net. trainParam.show= 25 </li></ul><ul><li>net.trainParam.goal= 0 </li></ul><ul><li>net. trainParam.time= inf </li></ul><ul><li>net.trainParam.min_grad= 1e-6 </li></ul>
  43. 43. <ul><li>Valores por omisión (2) </li></ul><ul><li>net.trainParam.max_fail= 5 </li></ul><ul><li>net.trainParam.searchFcn= Nombre de la rutina de linea de busqueda usar ´srchcha´. </li></ul>
  44. 44. <ul><li>traincgb </li></ul><ul><li>Es una funcion que entrena redes multicapa con retropropagación, actualizando W y b de acuerdo al método de gradiente conjugado de Powell-Beale. </li></ul><ul><li>Sintaxis </li></ul><ul><li>[net, tr] = traincgb (net, P,T,A,Q,Ts,VV,TV) </li></ul>Algoritmo de BP con Gradiente Conjugado Powell-Beale
  45. 45. <ul><li>Donde: </li></ul><ul><li>net = Define la red neuronal </li></ul><ul><li>net = netff([0 5 ], [3 1] ,{´tansig´, ´logsig´}, traincgb ) </li></ul><ul><li>P patrones de entrada </li></ul><ul><li>T valores objetivo </li></ul><ul><li>Ai Condiciones iniciales </li></ul><ul><li>Q Tamaño del lote </li></ul><ul><li>Ts Tamaño del paso </li></ul><ul><li>VV Matriz vacía o vectores de validación </li></ul><ul><li>TV Matriz vacía o vectores de prueba </li></ul>
  46. 46. <ul><li>Valores por omisión </li></ul><ul><li>net.trainParam.epochs= 100 </li></ul><ul><li>net. trainParam.show= 25 </li></ul><ul><li>net.trainParam.goal= 0 </li></ul><ul><li>net. trainParam.time= inf </li></ul><ul><li>net.trainParam.min_grad= 1e-6 </li></ul>
  47. 47. <ul><li>Valores por omisión (2) </li></ul><ul><li>net.trainParam.max_fail= 5 </li></ul><ul><li>net.trainParam.searchFcn= Nombre de la rutina de linea de busqueda usar ´srchcha´. </li></ul>
  48. 48. Dudas ???
  49. 49. Hasta la próxima !!!

×