metodos de aprendizaje y aprendizaje por refuerzo

METODOS ESTADISTICOS DE APRENDIZAJE Y
APRENDIZAJE POR REFUERZO
INTELIGENCIA ARTIFICIAL Y ROBOTICA
DOCENTE:
QUISPE ARCOS, Hans
INTEGRANTES:
- ARCOS HUASASQUICHE, Juan Francisco
- HERENCIA AQUIJE, Sheila Antonella
- HUANCAHUARI CAHUANA, Kevin William
- VILLAGOMEZ AIBAR, Sandra Geraldine N.
CICLO:
X CICLO – “A”
TURNO:
NOCHE
ICA – PERÚ
2019 - II

CURSO: INTELIGENCIA ARTIFICIAL Y ROBOTICA 1
INDICE
INDICE.....................................................................................................................................................................1
INTRODUCCION................................................................................................................................................3
1. EL PROCESO DE APRENDIZAJE.................................................................................................................4
1.1. ¿Cómo aprendemos? ...............................................................................................................................4
1.2. ESTILOS DE APRENDIZAJE .................................................................................................................5
1.2.1. APRENDIZAJE ESTATICO VS APRENDIZAJE DINAMICO...............................................5
2. MACHINE LEARNING....................................................................................................................................6
2.1. El nacimiento del machine learning......................................................................................................6
2.2. ¿Qué es exactamente?.............................................................................................................................7
2.3. ¿Cómo funciona?.......................................................................................................................................8
2.4. ¿Por qué es importante el machine learning? ....................................................................................8
2.5. ¿Qué se requiere para crear buenos sistemas de machine learning?...........................................8
2.6. TIPOS DE MACHINE LEARNING......................................................................................................8
2.6.1. Supervised learning.........................................................................................................................8
2.6.2. Unsupervised learning....................................................................................................................9
2.6.3. Reinforcement learning..................................................................................................................9
2.7. ¿Cuáles son las diferencias entre el data mining, el machine learning y el deep learning?......9
2.7.1. Minería de datos..............................................................................................................................9
2.7.2. Machine Learning.............................................................................................................................9
2.7.3. Deep Learning................................................................................................................................10
2.8. ¿Cuáles son sus perspectivas y aplicaciones actuales?...................................................................10
2.9. Pero, ¿exactamente a qué áreas puede aplicarse este tipo de tecnologías?.............................10
2.10. EL FUTURO DEL MACHINE LEARNING PARA LOS NEGOCIOS ...................................11
3. MINERIA DE DATOS ....................................................................................................................................11
3.1. CONCEPTO DE DATA MINING.....................................................................................................11
 Datos:........................................................................................................................................................12
 Información:.............................................................................................................................................12
 Conocimiento:.........................................................................................................................................12
3.2. CARACTERISTICAS .............................................................................................................................12
3.3. PROCESO................................................................................................................................................13
1. Selección del conjunto de datos .........................................................................................................13
2. Análisis de las propiedades de los datos...........................................................................................13
3. Transformación del conjunto de datos de entrada........................................................................13

4. Selección y aplicación de la técnica de minería de datos..............................................................13
5. Extracción de conocimiento................................................................................................................13
6. Interpretación y evaluación de datos.................................................................................................13
3.4. PROTOCOLO DE UN PROYECTO DE MINERIA DE DATOS ..............................................13
3.5. TECNICAS DE MINERIA DE DATOS..............................................................................................14
 Redes neuronales: ..................................................................................................................................14
 Regresión lineal:......................................................................................................................................14
 Árboles de decisión: ..............................................................................................................................14
 Modelos estadísticos:.............................................................................................................................14
 Agrupamiento o Clustering:.................................................................................................................14
 Reglas de asociación: .............................................................................................................................14
4. REDES NEURONALES..................................................................................................................................14
4.1. ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL..............................................................15
4.2. ESTRUCTURA DE UNA RED NEURONAL ARTIFICIAL ..........................................................16
4.3. CARACTERISTICAS DE LAS REDES NEURONALES .................................................................16
4.4. IMPLEMENTACION DE LAS REDES NEURONALES..................................................................18
4.5. VENTAJAS DE LAS REDES NEURONALES ...................................................................................19
4.6. TIPOS DE REDES NEURONALES.....................................................................................................20
4.7. APLICACIONES DE LAS REDES NEURONALES.........................................................................20
4.8. REDES NEURONALES Y CONTROL..............................................................................................21
5. APRENDIZAJE POR REFUERZO................................................................................................................21
5.1. MODELO BASICO DE APRENDIZAJE POR REFORZAMIENTO.................................................22
EJEMPLO: TORRES DE HANOI..................................................................................................................23
5.2. aprendizaje pasivo y activo.........................................................................................................................25
5.2.1. Aprendizaje por refuerzo pasivo......................................................................................................25
5.2.2. aprendizaje por refuerzo activo........................................................................................................25
5.3. APLICACIONES DE APRENDIZAJE POR REFUERZO.....................................................................25
5.3.1. OPEN AI DEXTERITY........................................................................................................................25
5.3.2 AlphaStar.................................................................................................................................................26
5.3.3. navegacion de robot ............................................................................................................................26
5.3.4. conduccion de autos autonomos......................................................................................................27
CONCLUSIONES................................................................................................................................................28
RECOMENDACIONES......................................................................................................................................29
E-GRAFIA...............................................................................................................................................................30

INTRODUCCION
En el presente documento tocaremos temas como Proceso y estilos de Aprendizaje, tratará
de aportar información que nos ayude a interpretar cómo se lleva a cabo la adquisición de
conocimientos, teniendo en cuenta algunas características del elemento clave de este proceso
como es el discente.
De igual manera, conocedores de que cada individuo asimila, procesa y transforma la
información para su aprendizaje de manera distinta, se verán diferentes estilos de aprendizaje
que nos permitan elegir las estrategias adecuadas.
Finalmente, con la idea de que el acto de aprender se desarrolle y se adquiera de forma
eficiente se tendrán en cuenta factores como: la atención, la memoria y a la motivación.

MÉTODOS ESTADÍSTICOS DE
APRENDIZAJE Y APRENDIZAJE
POR REFUERZO
1. EL PROCESO DE APRENDIZAJE
Etimológicamente, aprender proviene del latín apprehendere: atrapar, asir, agarrar. Y según el
diccionario de la Real Academia Española contiene varias acepciones, pero tomaremos “Adquisición
por la práctica de una conducta duradera”.
Sabemos que la adquisición del conocimiento es un acto que se realiza durante toda la vida y a través
de la experiencia. Para aprender se deben realizar los siguientes procesos:
 Acceder a la información
 Procesar y comprender la información
 Memorizar a largo plazo
 Transferir el conocimiento a nuevas situaciones
Pero no todas las experiencias que tenemos logran ser aprendidas. Así, las conductas pueden ser
innatas: (no necesitan aprendizaje) o adquiridas (conductas aprendidas mediante la experiencia).
1.1. ¿CÓMO APRENDEMOS?
Conociendo cómo funciona el cerebro se puede llevar a cabo un aprendizaje más efectivo. A este
respecto, algunos principios básicos a tener en cuenta como, por ejemplo: que lo que vemos no es
exactamente lo que nuestro cerebro ve; que el orden de los contenidos influye para su procesamiento
al igual que el ambiente que rodea a la persona; cuánto tiempo estamos prestando atención a un
determinado tema o que la participación activa de la persona promueve el aprendizaje.
Igualmente, Cody Blair nos indica, a través de la pirámide del aprendizaje, la manera en que aprenden
y recuerdan los estudiantes en función de las actividades que realizan. De la imagen se desprende que
cuando se involucra al estudiante en el proceso de aprendizaje el porcentaje de retención es mayor
que si el estudiante es un sujeto pasivo.
1 PIRAMIDE DE APRENDIZAJE DE CODY BLAIR

Finalmente, dando unas breves pinceladas en relación a la prospectiva del aprendizaje, hay nuevas
formas de aprender innovando con las TICs en la Universidad centradas en: el sujeto que aprende
(activo, constructivo, con motivación e implicación), en el aprendizaje social (compartir, colaborar en
comunidad) y en el aprendizaje a lo largo de la vida (en cualquier momento y lugar, mediante una
combinación de físico y virtual).
1.2. ESTILOS DE APRENDIZAJE
Se denomina estilos de aprendizaje a las diferente técnicas o estrategias que cada uno utilizamos para
aprender algo.
En el proceso de Enseñanza-Aprendizaje, al igual que existen diferentes enfoques metodológicos
debido a la variedad de docentes que imparten sus clases, nos encontramos con estudiantes que
cuentan con estilos de aprendizaje distintos, pues no todos aprendemos igual ni con la misma rapidez.
Así, si conocemos los diferentes estilos de aprendizaje de los alumnos, podremos diseñar las
experiencias de aprendizaje que mejor se adecuen a esos estilos.
En este sentido, dependiendo de cómo seleccionamos la información se establecen 3 tipos de alumnos:
visual, auditivo y kinestésico.
Igualmente, una vez que escogemos la información la tenemos que ordenar. A este respecto, la Teoría
de los hemisferios cerebrales se ocupa de la manera en que organizamos la información y se distinguen
alumnos de hemisferio derecho y de hemisferio izquierdo.
Asimismo, esta información se puede procesar de diferentes maneras. Y es en el modelo de Kolb
donde se especifica que para aprender hay que trabajar con la información en 4 etapas: actuar,
reflexionar, experimentar y teorizar, por lo que se pueden diferenciar 4 tipos de alumnos: activos,
reflexivos, pragmáticos y teóricos.
1.2.1. APRENDIZAJE ESTATICO VS APRENDIZAJE DINAMICO
El aprendizaje estático es un aprendizaje que carece de movimiento, acción o cambio, especialmente
de una manera que no es atractiva -donde el aprendizaje ocurre en ráfagas cortas y se demuestra a
menudo en las actividades individuales, las asignaciones a corto plazo, u hojas de trabajo (incluso hojas
de trabajo digitales), que están confinados dentro de los límites tradicionales del sistema escolar, la
jornada escolar y los muros de la escuela.

El aprendizaje dinámico es un aprendizaje caracterizado por cambios constantes, actividad y progreso,
donde el aprendizaje vive, crece, se conecta y se extiende más allá de los límites de una clase, más allá
de la ubicación física, más allá del uso de herramientas como sustitutos digitales e incluso más allá de
las fechas de vencimiento.
1.2.1.1. CUANDO PIENSAS DINAMICO, PIENSA:
 Más allá de la campana (una mentalidad): El aprendizaje no tiene que terminar cuando
suena la campana. Con herramientas y dispositivos digitales que están disponibles las 24 horas
del día, los estudiantes pueden continuar aprendiendo, colaborando, creciendo y
profundizando en su aprendizaje en sus propios términos. Esta idea de ir más allá de la frontera
del día de clase no significa tarea. Esta es una mentalidad para los estudiantes que significa que
el aprendizaje puede tener lugar en cualquier momento, en cualquier lugar y que los
estudiantes pueden poseerlo. Para convertirse en un alumno más dinámico, los estudiantes
necesitan tomar posesión no sólo de su aprendizaje, sino también de su tiempo.
 Más allá del nivel de grado y el área temática: El sistema educativo que tenemos hoy
todavía se basa en un modelo de fábrica, donde los estudiantes son básicamente colocados en
una cinta transportadora. Lo que aprenden es dictado por su edad y curso, lo que encaja
dentro de la fábrica "caja". Vamos a sacar a los niños de la cinta transportadora de la educación
y darles oportunidades para aprender acerca de las cosas que les interesan más allá de las
materias que enseñamos, mientras siguen dibujando conexiones, e incluso más allá de lo que
dice que deben aprender en cada curso. El aprendizaje no tiene que caber dentro de una caja.
 Más allá de las paredes: Trae el mundo a tus estudiantes y trae a tus estudiantes al mundo.
Cada estudiante en cada curso debe tener oportunidades de conectarse y aprender
globalmente, así como publicar su trabajo en línea para una audiencia global. Las oportunidades
para que los estudiantes publiquen su trabajo en línea son casi interminables.
 Más allá de las herramientas: Piensa más allá del uso de herramientas digitales para hacer
cosas tradicionales, como escribir un papel. ¡Utiliza herramientas digitales para hacer cosas
NUEVAS! Simplemente ir sin papel o digital no es suficiente, usar herramientas para ir más
allá, profundizar y ampliar el aprendizaje, y considerar el uso de herramientas de maneras
alternativas, más allá de su propósito original. Llega más allá de lo que piensas que una
herramienta digital puede hacer y para lo que debe ser utilizada. Considera formas alternativas
en el uso de herramientas para hacer cosas nuevas.
 Más allá de la fecha de vencimiento: Permite que los estudiantes continúen el trabajo que
les interesa más allá de la evaluación final de la asignación o tarea. Pensar, aprender, explorar,
no debe ser sofocado simplemente porque era el momento de entregarlo. Creo que esta idea
puede ser la que los maestros lucharán con más. Recuerde, estamos tratando de pasar a
experiencias de aprendizaje más dinámicas que tienen menos enfoque en el dicho y hecho.
Cuando se habla de conceptos relacionados a la inteligencia artificial (IA) es normal que muchos de
ellos resulten extraños o desconocidos, ya que la propia IA es algo “relativamente nuevo”; no
obstante, no es tan intimidante como parece. Basta con que conozcas algunas nociones básicas para
que puedas familiarizarte con el tema.
2. MACHINE LEARNING
2.1. EL NACIMIENTO DEL MACHINE LEARNING
El machine learning, conocido en español como aprendizaje automático o aprendizaje de máquina,
nació como una idea ambiciosa de la IA en la década de los 60. Para ser más exactos, fue una
subdisciplina de la IA, producto de las ciencias de la computación y las neurociencias.

Lo que esta rama pretendía estudiar era el reconocimiento de patrones (en los procesos de ingeniería,
matemáticas, computación, etc.) y el aprendizaje por parte de las computadoras. En los albores de la
IA, los investigadores estaban ávidos por encontrar una forma en la cual las computadoras pudieran
aprender únicamente basándose en datos.
Sucedió con el paso de los años que el machine learning comenzó a enfocarse en diferentes asuntos,
tales como el razonamiento probabilístico, investigación basada en la estadística, recuperación de
información, y continuó profundizando cada vez más en el reconocimiento de patrones (todos estos
asuntos aplicados a procesos de ingeniería, matemáticas, computación y otros campos relacionados
con objetos físicos o abstractos).
Esto ocasionó que en los 90 se separara de la IA para convertirse en una disciplina por sí sola, aunque
muchos puristas aún la consideran como parte de la IA. Ahora, el principal objetivo del machine
learning es abordar y resolver problemas prácticos en donde se aplique cualquiera de las disciplinas
numéricas antes mencionadas.
2.2. ¿QUÉ ES EXACTAMENTE?
Como establecimos previamente, es un campo de las ciencias de la computación que, de acuerdo a
Arthur Samuel en 1959, les da a las computadoras la habilidad de aprender sin ser explícitamente
programadas.
Si esta definición resultó muy trivial, pongámoslo de esta forma: es la idea de que existen algoritmos
que pueden darte hallazgos o conclusiones relevantes obtenidas de un conjunto de datos, sin que el
ser humano tenga que escribir instrucciones o códigos para esto.
De acuerdo, pero ¿qué es un algoritmo? Pues no es otra cosa que una secuencia o serie de
instrucciones, que representan la solución a un determinado problema
El propósito del machine learning es que las personas y las máquinas trabajen de la mano, al éstas ser
capaces de aprender como un humano lo haría. Precisamente esto es lo que hacen los algoritmos,
permiten que las máquinas ejecuten tareas, tanto generales como específicas.
Si bien al principio sus funciones eran básicas y se limitaban a filtrar emails, hoy en día puede hacer
cosas tan complejas como predicciones de tráfico en intersecciones muy transitadas, detectar cáncer,
mapear sitios para generar proyectos de construcción en tiempo real, e incluso, definir la
compatibilidad entre dos personas.

2.3. ¿CÓMO FUNCIONA?
El principal objetivo de todo aprendiz (learner) es desarrollar la capacidad de generalizar y asociar.
Cuando traducimos esto a una máquina o computadora, significa que éstas deberían poder
desempeñarse con precisión y exactitud, tanto en tareas familiares, como en actividades nuevas o
imprevistas.
¿Y cómo es posible esto? Haciendo que repliquen las facultades cognitivas del ser humano, formando
modelos que “generalicen” la información que se les presenta para realizar sus predicciones. Y el
ingrediente clave en toda esta cuestión son los datos.
En realidad, el origen y el formato de los datos no es tan relevante, dado que el machine learning es
capaz de asimilar una amplia gama de éstos, lo que se conoce como big data, pero éste no los percibe
como datos, sino como una enorme lista de ejemplos prácticos.
Podríamos decir que sus algoritmos se dividen principalmente en tres grandes categorías: supervised
learning (aprendizaje supervisado), unsupervised learning (aprendizaje no supervisado) y reinforcement
learning (aprendizaje por refuerzo). A continuación, detallaremos las diferencias entre éstas.
2.4. ¿POR QUÉ ES IMPORTANTE EL MACHINE LEARNING?
El resurgimiento del interés en el aprendizaje basado en máquina se debe a los mismos factores que
han hecho la minería de datos y el análisis Bayesiano más populares que nunca. Cosas como los
volúmenes y variedades crecientes de datos disponibles, procesamiento computacional más
económico y poderoso, y almacenaje de datos asequible.
Todas estas cosas significan que es posible producir modelos de manera rápida y automática que
puedan analizar datos más grandes y complejos y producir resultados más rápidos y precisos incluso
en una escala muy grande. Y con la construcción de modelos precisos, una organización tiene una
mejor oportunidad de identificar oportunidades rentables o de evitar riesgos desconocidos.
2.5. ¿QUÉ SE REQUIERE PARA CREAR BUENOS SISTEMAS DE MACHINE
LEARNING?
 Recursos de preparación de datos.
 Algoritmos – básicos y avanzados.
 Automatización y procesos iterativos.
 Escalabilidad.
 Modelado en conjunto.
2.6. TIPOS DE MACHINE LEARNING
2.6.1. SUPERVISED LEARNING
Depende de datos previamente etiquetados, como podría ser el que una computadora logré distinguir
imágenes de coches, de las de aviones. Para esto, lo normal es que estas etiquetas o rótulos sean
colocadas por seres humanos para asegurar la efectividad y calidad de los datos.
En otras palabras, son problemas que ya hemos resuelto, pero que seguirán surgiendo en un futuro.
La idea es que las computadoras aprendan de una multitud de ejemplos, y a partir de ahí puedan hacer
el resto de cálculos necesarios para que nosotros no tengamos que volver a ingresar ninguna
información.
Ejemplos: reconocimiento de voz, detección de spam, reconocimiento de escritura, entre
otros.

2.6.2. UNSUPERVISED LEARNING
En esta categoría lo que sucede es que al algoritmo se le despoja de cualquier etiqueta, de modo que
no cuenta con ninguna indicación previa. En cambio, se le provee de una enorme cantidad de datos
con las características propias de un objeto (aspectos o partes que conforman a un avión o a un coche,
por ej.), para que pueda determinar qué es, a partir de la información recopilada.
Ejemplos: detectar morfología en oraciones, clasificar información, etc.
2.6.3. REINFORCEMENT LEARNING
En este caso particular, la base del aprendizaje es el refuerzo. La máquina es capaz de aprender con
base a pruebas y errores en un número de diversas situaciones.
Aunque conoce los resultados desde el principio, no sabe cuáles son las mejores decisiones para llegar
a obtenerlos. Lo que sucede es que el algoritmo progresivamente va asociando los patrones de éxito,
para repetirlos una y otra vez hasta perfeccionarlos y volverse infalible.
Ejemplos: navegación de un vehículo en automático, toma de decisiones, etc.
Existen otros enfoques más complejos para tareas más específicas, pero no vale la pena ahondar en
éstos. De momento no queremos complicar las cosas. De cualquier forma, si estuvieras interesado
en conocer más acerca de éstos, puedes ver algunos ejemplos más concretos aquí.
2.7. ¿CUÁLES SON LAS DIFERENCIAS ENTRE EL DATA MINING, EL MACHINE
LEARNING Y EL DEEP LEARNING?
Aunque todos estos métodos tienen la misma meta obtener insights, patrones y relaciones que se
puedan usar para tomar decisiones tienen diferentes enfoques y habilidades.
2.7.1. MINERÍA DE DATOS
La minería de datos puede ser considerada un súper conjunto de muchos métodos
diferentes para extraer insights de datos. Podría implicar métodos estadísticos
tradicionales y machine learning. La minería de datos aplica métodos de muchas
áreas diferentes para identificar patrones antes desconocidos de datos. Esto puede
incluir algoritmos estadísticos, aprendizaje basado en máquina, analítica de texto,
análisis de series de tiempo y otras áreas de la analítica. La minería de datos incluye
también el estudio y la práctica del almacenaje y la manipulación de datos.
2.7.2. MACHINE LEARNING
La diferencia principal con el aprendizaje basado en máquina es que, al igual que
los modelos estadísticos, el objetivo es entender la estructura de los datos –
ajustar distribuciones teóricas a los datos que son bien entendidos. De modo
que con modelos estadísticos hay una teoría detrás del modelo que se
demuestra en términos matemáticos, pero esto requiere que los datos cumplan
también con ciertas suposiciones de rigor. El machine learning se ha
desarrollado con base en la posibilidad de usar computadoras para sondear la
estructura de los datos, incluso si no tenemos una teoría de qué aspecto tiene
la estructura. La prueba para un modelo de machine learning es un error de
validación en nuevos datos, no una prueba teórica que demuestra una hipótesis
nula. Como el machine learning utiliza a menudo un enfoque iterativo para
aprender de datos, el aprendizaje puede ser automatizado con facilidad. Se
hacen pases por los datos hasta que se encuentra un patrón sólido.

2.7.3. DEEP LEARNING
El aprendizaje a fondo o mejor conocido como deep learning, combina avances en
poder de cómputo y tipos especiales de redes neurales para aprender patrones
complicados en grandes cantidades de datos. Las técnicas de aprendizaje a fondo son
actualmente métodos de vanguardia para identificar objetos en imágenes y palabras
en sonidos. Los investigadores buscan ahora aplicar estos aciertos en el
reconocimiento de patrones a tareas más complejas como traducción automática
del lenguaje, diagnósticos médicos y otros problemas sociales y de negocios
importantes.
2.8. ¿CUÁLES SON SUS PERSPECTIVAS Y APLICACIONES ACTUALES?
Una vez que compruebas lo fácil y práctico que resulta aplicar las técnicas de machine learning a
problemas que creías serían imposibles, es cuando empiezas a creer que podría resolver prácticamente
cualquier problema, siempre y cuando existan suficientes datos.
*¡Ojo! Cabe recordar que esto solamente funciona si el problema en cuestión es solucionable.
Para el consumidor moderno, el machine learning es un facilitador clave de muchas de sus tareas
cotidianas. Desde servicios de traducción, a predicciones climáticas, hasta adivinar lo que los usuarios
quieren con base a sus actividades recientes; las prestaciones que ofrece son incomparables.
En lo que respecta a los negocios, muchas compañías han empezado a incorporar esta tecnología a sus
sistemas operativos, con grandes expectativas de mejorar y automatizar sus procesos.
De acuerdo a la encuesta Global Digital IQ de este año, 54% de las organizaciones que entrevistaron
están haciendo inversiones significativas en IA y se prevé que ese porcentaje incremente a 63% en
menos de tres años. Por su parte, HubSpot reportó de acuerdo a una encuesta sobre inteligencia
artificial que realizó, que el 63% de las personas utilizan IA diariamente, sin siquiera saberlo.
2.9. PERO, ¿EXACTAMENTE A QUÉ ÁREAS PUEDE APLICARSE ESTE TIPO DE
TECNOLOGÍAS?
Dado que el machine learning es un sistema basado en el procesamiento y análisis de datos que son
traducidos a hallazgos, se puede aplicar a cualquier campo que cuente con bases de datos lo
suficientemente grandes. De momento, algunos de sus usos más populares y desarrollados son:
 Clasificación de secuencias de DNA
 Predicciones económicas y fluctuaciones en el mercado bursátil
 Mapeos y modelados 3D

 Detección de fraudes
 Diagnósticos médicos
 Buscadores en Internet
 Sistemas de reconocimiento de voz
 Optimización e implementación de campañas digitales publicitarias
2.10. EL FUTURO DEL MACHINE LEARNING PARA LOS NEGOCIOS
Aunque ya hemos visto lo que la IA es capaz de aportar a nuestras actividades del día a día, ¿cómo
podría esto beneficiar el mundo de los negocios?
Bueno, puesto que las conversaciones y comentarios de un sinfín de consumidores digitales, cuyo
número día con día sigue incrementando le ofrecen a este tipo de tecnologías una cantidad de
información abrumadora, éstas continuamente obtienen conocimientos nuevos y detectan tendencias
más rápido de lo que cualquier humano podría hacerlo.
Si bien es cierto que esta enorme cantidad de datos la volverá mucho más eficiente, requerirá
necesariamente de mucho talento humano para perfeccionarse, ya que finalmente las computadoras
no tienen un dominio tan elevado del lenguaje aplicado al razonamiento. O lo que es, no son
precisamente hábiles para determinar contextos.
Lo que significa que para que el machine learning se desarrolle en estas áreas, los expertos en cada
campo de trabajo tendrán que tomarse el tiempo para entrenar a las máquinas e irlas incorporando
paulatinamente a cada uno de los procesos que deseen afinar.
Finalmente, como sucede con todas las tecnologías, los negocios tendrán que empezar por entender
los principios básicos de esta tecnología, para poder usarla a su favor y mejorar la productividad de
todas las operaciones de su negocio. Por lo pronto, se estima que ésta -como muchos otros derivados
de la IA- va a transformar por completo el mundo como lo conocemos.
3. MINERIA DE DATOS
3.1. CONCEPTO DE DATA MINING
Es el conjunto de técnicas y tecnologías que permiten explorar grandes bases de datos, de manera
automática o semiautomática, con el objetivo de encontrar patrones repetitivos, tendencias o reglas
que expliquen el comportamiento de los datos en un determinado contexto. Básicamente, el data
mining surge para intentar ayudar a comprender el contenido de un repositorio de datos. Con este
fin, hace uso de prácticas estadísticas y, en algunos casos, de algoritmos de búsqueda próximos a la

Inteligencia Artificial y a las redes neuronales. De forma general, los datos son la materia prima bruta.
En el momento que el usuario les atribuye algún significado especial pasan a convertirse en información.
Cuando los especialistas elaboran o encuentran un modelo, haciendo que la interpretación que surge
entre la información y ese modelo represente un valor agregado, entonces nos referimos al
conocimiento. Para ello es importante conocer la diferencia entre datos, información y conocimiento.
 DATOS: Los datos son la mínima unidad semántica, y se corresponden con elementos
primarios de información que por sí solos son irrelevantes como apoyo a la toma de decisiones.
También se pueden ver como un conjunto discreto de valores, que no dicen nada sobre el
porqué de las cosas y no son orientativos para la acción.
 INFORMACIÓN: La información se puede definir como un conjunto de datos procesados
y que tienen un significado, y que por lo tanto son de utilidad para quién debe tomar decisiones,
al disminuir su incertidumbre. Los datos se pueden transforman en información añadiéndoles
valor:
- Contextualizando: se sabe en qué contexto y para qué propósito se generaron.
- Categorizando: se conocen las unidades de medida que ayudan a interpretarlos.
- Calculando: los datos pueden haber sido procesados matemática o estadísticamente.
- Corrigiendo: se han eliminado errores e inconsistencias de los datos. Condensando: los
datos se han podido resumir de forma más concisa (agregación).
Por tanto, la información es la comunicación de conocimientos o inteligencia, y es capaz de
cambiar la forma en que el receptor percibe algo, impactando sobre sus juicios de valor y sus
comportamientos.
Información = Datos + Contexto (añadir valor) + Utilidad (disminuir la incertidumbre)
 CONOCIMIENTO: El conocimiento es una mezcla de experiencia, valores, información y
know-how que sirve como marco para la incorporación de nuevas experiencias e información,
y es útil para la acción. Se origina y aplica en la mente de los conocedores. En las organizaciones
con frecuencia no sólo se encuentra dentro de documentos o almacenes de datos, sino que
también está en rutinas organizativas, procesos, prácticas, y normas. El conocimiento se deriva
de la información, así como la información se deriva de los datos. Para que la información se
convierta en conocimiento es necesario realizar acciones como:
- Comparación con otros elementos.
- Predicción de consecuencias.
- Búsqueda de conexiones.
- Conversación con otros portadores de conocimiento.
3.2. CARACTERISTICAS
La minería de datos se caracteriza por:
 Explorar los datos se encuentra en las profundidades de las bases de datos, como los
almacenes de datos, que algunas veces contienen información almacenada durante varios años.
 En algunos casos, los datos se consolidan en un almacén de datos y en mercados de datos; en
otros, se mantienen en servidores de Internet e Intranet.
 El entorno de la minería de datos suele tener una arquitectura cliente servidor.
 Las herramientas de la minería de datos ayudan a extraer el mineral de la información
enterrado en archivos corporativos o en registros públicos, archivados.
 Las herramientas de la minería de datos se combinan fácilmente y pueden analizarse y
procesarse rápidamente.
 Debido a la gran cantidad de datos, algunas veces resulta necesario usar procesamiento en
paralelo para la minería de datos.

3.3. PROCESO
Un proceso típico de minería de datos consta de los siguientes pasos generales:
1. SELECCIÓN DEL CONJUNTO DE DATOS, tanto en lo que se refiere a las variables
objetivo (aquellas que se quiere predecir, calcular o inferir), como a las variables
independientes (las que sirven para hacer el cálculo o proceso), como posiblemente al
muestreo de los registros disponibles.
2. ANÁLISIS DE LAS PROPIEDADES DE LOS DATOS, en especial los histogramas,
diagramas de dispersión, presencia de valores atípicos y ausencia de datos (valores nulos).
3. TRANSFORMACIÓN DEL CONJUNTO DE DATOS DE ENTRADA, se realizará de
diversas formas en función del análisis previo, con el objetivo de prepararlo para aplicar la
técnica de minería de datos que mejor se adapte a los datos y al problema, a este paso también
se le conoce como preprocesamiento de los datos. Un problema sustancial asociado al
desarrollo de este tipo de sistemas cuando contienen texto en Inglés es el tamaño de su
vocabulario; que es más grande que el de cualquier otra Lengua en el mundo. Un método que
se está ahora utilizando en estos casos es el de simplificación antes de proceder con el proceso,
por medio de convertir dicho texto a Ingles básico; mismo que contiene solo 1,000 palabras
que también se utilizan para describir en notas al pie el sentido de las más de 30,000 palabras
definidas en el “Diccionario Básico de Ciencias”.3
4. SELECCIÓN Y APLICACIÓN DE LA TÉCNICA DE MINERÍA DE DATOS, se
construye el modelo predictivo, de clasificación o segmentación.
5. EXTRACCIÓN DE CONOCIMIENTO, mediante una técnica de minería de datos, se
obtiene un modelo de conocimiento, que representa patrones de comportamiento
observados en los valores de las variables del problema o relaciones de asociación entre dichas
variables. También pueden usarse varias técnicas a la vez para generar distintos modelos,
aunque generalmente cada técnica obliga a un preprocesado diferente de los datos.
6. INTERPRETACIÓN Y EVALUACIÓN DE DATOS, una vez obtenido el modelo, se debe
proceder a su validación comprobando que las conclusiones que arroja son válidas y
suficientemente satisfactorias. En el caso de haber obtenido varios modelos mediante el uso
de distintas técnicas, se deben comparar los modelos en busca de aquel que se ajuste mejor
al problema. Si ninguno de los modelos alcanza los resultados esperados, debe alterarse alguno
de los pasos anteriores para generar nuevos modelos.
Si el modelo final no superara esta evaluación el proceso se podría repetir desde el principio o, si el
experto lo considera oportuno, a partir de cualquiera de los pasos anteriores. Esta retroalimentación
se podrá repetir cuantas veces se considere necesario hasta obtener un modelo válido.
Una vez validado el modelo, si resulta ser aceptable (proporciona salidas adecuadas y/o con márgenes
de error admisibles) éste ya está listo para su explotación. Los modelos obtenidos por técnicas de
minería de datos se aplican incorporándolos en los sistemas de análisis de información de las
organizaciones, e incluso, en los sistemas transaccionales.
3.4. PROTOCOLO DE UN PROYECTO DE MINERIA DE DATOS
Un proyecto de minería de datos tiene 5 fases necesarias que son, esencialmente:
 Comprensión: del negocio y del problema que se quiere resolver.
 Determinación, obtención y limpieza: de los datos necesarios.
 Creación de modelos matemáticos.
 Validación, comunicación: de los resultados obtenidos.
 Integración: si procede, de los resultados en un sistema transaccional o similar.
La relación entre todas estas fases sólo es lineal sobre el papel. En realidad, es mucho más compleja y
esconde toda una jerarquía de subfases. A través de la experiencia acumulada en proyectos de minería

de datos se han ido desarrollando metodologías que permiten gestionar esta complejidad de una
manera más o menos uniforme.
3.5. TECNICAS DE MINERIA DE DATOS
Provienen de la inteligencia artificial y de la estadística, dichas técnicas, no son más que algoritmos,
más o menos sofisticados que se aplican sobre un conjunto de datos para obtener unos resultados.
Las técnicas más representativas son:
 REDES NEURONALES: Son un paradigma de aprendizaje y procesamiento automático
inspirado en la forma en que funciona el sistema nervioso de los animales. Se trata de un
sistema de interconexión de neuronas en una red que colabora para producir un estímulo de
salida. Algunos ejemplos de red neuronal son:
- El perceptrón.
- El perceptrón multicapa.
- Los mapas auto organizados, también conocidos como redes de Kohonen.
 REGRESIÓN LINEAL: Es la más utilizada para formar relaciones entre datos. Rápida y eficaz
pero insuficiente en espacios multidimensionales donde puedan relacionarse más de 2 variables.
 ÁRBOLES DE DECISIÓN: Un árbol de decisión es un modelo de predicción utilizado en
el ámbito de la inteligencia artificial y el análisis predictivo, dada una base de datos se
construyen estos diagramas de construcciones lógicas, muy similares a los sistemas de
predicción basados en reglas, que sirven para representar y categorizar una serie de
condiciones que suceden de forma sucesiva, para la resolución de un problema. Ejemplos:
- Algoritmo ID3.
- Algoritmo C4.5
 MODELOS ESTADÍSTICOS: Es una expresión simbólica en forma de igualdad o ecuación
que se emplea en todos los diseños experimentales y en la regresión para indicar los diferentes
factores que modifican la variable de respuesta.
 AGRUPAMIENTO O CLUSTERING: Es un procedimiento de agrupación de una serie de
vectores según criterios habitualmente de distancia; se tratará de disponer los vectores de
entrada de forma que estén más cercanos aquellos que tengan características comunes.
Ejemplos:
- Algoritmo K-means
- Algoritmo K-medoids
 REGLAS DE ASOCIACIÓN: Se utilizan para descubrir hechos que ocurren en común
dentro de un determinado conjunto de datos.
Según el objetivo del análisis de los datos, los algoritmos utilizados se clasifican en supervisados y no
supervisados (Weiss y Indurkhya, 1998):
Algoritmos supervisados (o predictivos): predicen un dato (o un conjunto de ellos) desconocido a
priori, a partir de otros conocidos.
Algoritmos no supervisados (o del descubrimiento del conocimiento): se descubren patrones y
tendencias en los datos.
4. REDES NEURONALES
Las Redes Neuronales (NN: Neural Networks) Las NN aplicadas están, en general, inspiradas en las
redes neuronales biológicas, aunque poseen otras funcionalidades y estructuras de conexión distintas
a las vistas desde la perspectiva biológica. Las características principales de las NN son las siguientes:
 Auto-Organización y Adaptabilidad: utilizan algoritmos de aprendizaje adaptativo y auto-
organización, por lo que ofrecen mejores posibilidades de procesado robusto y adaptativo.

 Procesado no Lineal: aumenta la capacidad de la red para aproximar funciones, clasificar
patrones y aumenta su inmunidad frente al ruido.
 Procesado Paralelo: normalmente se usa un gran número de nodos de procesado, con alto
nivel de interconectividad.
4.1. ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL
Las redes neuronales artificiales (RNA) son modelos que intentan reproducir el comportamiento del
cerebro. Como tal modelo, realiza una simplificación, averiguando cuáles son los elementos relevantes
del sistema, bien porque la cantidad de información de que se dispone es excesiva o bien porque es
redundante. Una elección adecuada de sus características, más una estructura conveniente, es el
procedimiento convencional utilizado para construir redes capaces de realizar determinada tarea.
 Unidad de proceso: La neurona Artificial. Existen tres tipos de unidades en cualquier sistema:
entradas, salidas y ocultas. Las unidades de entrada reciben señales desde el entorno; las de
salida envían la señal fuera de la red, y las unidades ocultas son aquellas cuyas entradas y salidas
se encuentran dentro del sistema.
Se conoce como capa o nivel a un conjunto de neuronas cuyas entradas provienen de la misma
fuente y cuyas salidas se dirigen al mismo destino.
 Estado de Activación. Los estados del sistema en un tiempo t se representan por un vector
A(t). Los valores de activación pueden ser continuos o discretos, limitados o ilimitados. Si
son discretos, suelen tomar un conjunto discreto de valores binarios, así un estado activo se
indicaría con un 1 y un estado pasivo se representaría por un cero. En otros modelos se
considera un conjunto de estados de activación, en cuyo valor entre [0,1], o en el intervalo [-
1,1], siendo una función sigmoidal.
 Función de Salida o de Transferencia. Asociada con cada unidad hay una función de salida, que
transforma el estado actual de activación en una señal de salida.
Existen cuatro funciones de transferencia típicas que determinan distintos tipos de neuronas:
- Función Escalón
- Función Lineal y Mixta
- Sigmoidal
- Función Gaussiana
 Conexiones entre neuronas. Las conexiones que unen a las neuronas que forman una RNA
tiene asociado un peso, que es el que hace que la red adquiera conocimiento. Se considera
que el efecto de cada señal es aditivo, de tal forma que la entrada neta que recibe una neurona
es la suma del producto de cada señal individual por el valor de la sinapsis que conecta ambas
neuronas y es lo que se conoce como red de propagación. Se utiliza una matriz W con todos
los pesos, Si wji es positivo indica que la relación entre las neuronas es excitadora, es decir,
siempre que la neurona i esté activada, la neurona j recibirá una señal que tenderá a activarla.
Si wji es negativo, la sinapsis será inhibidora. En este caso si i está activada, enviará una señal
que desactivará a j. Finalmente si wji es 0 se supone que no hay conxión entre ambas
 Función o Regla de Activación. Se requiere una regla que combine las entradas con el estado
actual de la neurona para producir un nuevo estado de activación. Esta función F produce un
nuevo estado de activación en una neurona a partir del estado que existía y la combinación de
las entradas con los pesos de las conexiones. Esa F es denominada función de activación, y las
salidas que se obtienen en una neurona para las diferentes formas de F serán:
- Función de Activación Escalón
- Función de Activación Identidad
- Función de Activación Lineal –Mixta
- Función de Activación Sigmoidal
 Regla de Aprendizaje. El aprendizaje puede ser comprendido como la modificación de
comportamiento inducido por la interacción con el entorno y como resultado de experiencias
conduce al establecimiento de nuevos modelos de respuesta a estímulos externos. En el
cerebro humano el conocimiento se encuentra en la sinapsis. En el caso de las RNA el

conocimiento se encuentra en los pesos de las conexiones entre neuronas. Todo procesode
aprendizaje implica cierto número de cambios en estas conexiones. En realidad, puede decirse
que se aprende modificando los valores de lo pesos de la red.
4.2. ESTRUCTURA DE UNA RED NEURONAL ARTIFICIAL
Anteriormente ya se estipuló que la distribución de neuronas dentro de la red se realiza formando
niveles o capas de un número determinado de neuronas cada una, y que existen capas de entrada, de
salida, y ocultas, ahora veamos las formas de conexión entre neuronas.
Cuando ninguna salida de las neuronas es entrada de neuronas del mismo nivel o de niveles
precedentes, la red se describe como de propagación hacia adelante.
Cuando las salidas pueden ser conectadas como entradas de neuronas de niveles previos o del mismo
nivel, incluyendose ellas mismas, la red es de propagación hacia atrás.
4.3. CARACTERISTICAS DE LAS REDES NEURONALES
Existen cuatro aspectos que caracterizan una red neuronal: su topología, el mecanismo de aprendizaje,
tipo de asociación realizada entre la información de entrada y salida, y la forma de representación de
estas informaciones.
1. Topología de las Redes Neuronales. La arquitectura de las redes neuronales consiste en la
organización y disposición de las neuronas formando capas más o menos alejadas de la entrada
y salida de la red. En este sentido, los parámetros fundamentales de la red son: el número de
capas, el número de neuronas por capa, el grado de conectividad y el tipo de conexiones entre
neuronas.
- Redes Monocapa: Se establecen conexiones laterales, cruzadas o autorrecurrentes entre
las neuronas que pertenecen a la única capa que constituye la red. Se utilizan en tareas
relacionadas con lo que se conoce como autoasociación; por ejemplo, para generar
informaciones de entrada que se presentan a la red incompletas o distorsionadas.
- Redes Multicapa: Son aquellas que disponen de conjuntos de neuronas agrupadas en varios
niveles o capas. Una forma de distinguir la capa a la que pertenece la neurona, consiste
en fijarse en el origen de las señales que recibe a la entrada y el destino de la señal de
salida. Según el tipo de conexión, como se vio previamente, se distinguen las redes
feedforward, y las redes feedforward/feedback.
2. Mecanismo de Aprendizaje. El aprendizaje es el proceso por el cual una red neuronal modifica
sus pesos en respuesta a una información de entrada. Los cambios que se producen durante
el proceso de aprendizaje se reducen a la destrucción, modificación y creación de conexiones
entre las neuronas, la creación de una nueva conexión implica que el peso de la misma pasa a
tener un valor distinto de cero, una conexión se destruye cuando su peso pasa a ser cero. Se
puede afirmar que el proceso de aprendizaje ha finalizado (la red ha aprendido) cuando los
valores de los pesos permanecen estables (dwij / dt = 0).
Un criterio para diferenciar las reglas de aprendizaje se basa en considerar si la red puede
aprender durante su funcionamiento habitual, o si el aprendizaje supone la desconexión de la
red.

Otro criterio suele considerar dos tipos de reglas de aprendizaje: las de aprendizaje
supervisado y las correspondientes a un aprendizaje no supervisado, estas reglas dan pie a una
de las clasificaciones que se realizan de las RNA: Redes neuronales con aprendizaje
supervisado y redes neuronales con aprendizaje no supervisado. La diferencia fundamental
entre ambos tipos estriba en la existencia o no de un agente externo (supervisor) que controle
el aprendizaje de la red.
- Redes con Aprendizaje Supervisado. El proceso de aprendizaje se realiza mediante un
entrenamiento controlado por un agente externo (supervisor, maestro) que determina la
respuesta que debería generar la red a partir de una entrada determinada. El supervisor
comprueba la salida de la red y en el caso de que ésta no coincida con la deseada, se
procederá a modificar los pesos de las conexiones, con el fin de conseguir que la salida se
aproxime a la deseada.
Se consideran tres formas de llevar a cabo este tipo de aprendizaje:
A. Aprendizaje por corrección de error: Consiste en ajustar los pesos en fución de la
diferencia entre los valores deseados y los obtenidos en la salida de la red; es decir,
en función del error.
B. Aprendizaje por refuerzo: Se basa en la idea de no indicar durante el entrenamiento
exactamente la salida que se desea que proporcione la red ante una determinada
entrada. La función del supervisor se reduce a indicar mediante una señal de refuerzo
si la salida obtenida en la red se ajusta a la deseada (éxito=+1 o fracaso=-1), y en
función de ello se ajustan los pesos basandose en un mecanismo de probabilidades.
C. Aprendizaje estocástico: Este tipo de aprendizaje consiste básicamente en realizar
cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar
su efecto a partir del objetivo deseado y de distribuciones de probabilidad.
- Redes con Aprendizaje No Supervisado. Estas redes no requieren influencia externa para
ajustar los pesos de las conexiones entre neuronas. La red no recibe ninguna información
por parte del entorno que le indique si la salida generada es o no correcta, asi que existen
varias posibilidades en cuanto a la interpretación de la salida de estas redes.
En algunos casos, la salida representa el grado de familiaridad o similitud entre la
información que se le está presentando en la entrada y las informaciones que se le han
mostrado en el pasado. En otro caso podría realizar una codificación de los datos de
entrada, generando a la salida una versión codificada de la entrada, con menos bits, pero
manteniendo la información relevante de los datos, o algunas redes con aprendizaje no
supervisado lo que realizan es un mapeo de características, obteniendose en las neuronas
de salida una disposición geométrica que representa un ,apa topográfico de las
características de los datos de entrada, de tal forma que si se presentan a la red
informacikones similares, siempre sean afectadas neuronas de salidas próximas entre sí,
en la misma zona del mapa.
En general en este tipo de aprendizaje se suelen considerar dos tipos:
A. Aprendizaje Hebbiano: Consiste básicamente en el ajuste de los pesos de las
conexiones de acuerdo con la correlación, así si las dos unidades son activas (positivas),
se produce un rforzamiento de la conexión. Por el contrario cuando un es activa y la
otra pasiva (negativa), se produce un debilitamiento de la conexión.
B. Aprendizaje competitivo y cooperativo: Las neuronas compiten (y cooperan) unas
con otras con el fin de llevar a cabo una tarea dada . Con este tipo de aprendizaje se
pretende que cuando se presentye a la red cierta iinformación de entrada, solo una

de las neuronas de salida se active (alcanze su valor de respuesta máximo). Por tanto
las neuronas compiten por activarse , quedando finalmente una, o una por grupo,
como neurona vencedora
3. Tipo de Asociación entre las Informaciones de Entrada y Salida. Las RNA son sistemas que
almacenan cierta información aprendida; está información se registra de forma distribuida en
los pesos asociados a las conexiones entre neuronas de entrada y salida. Existen dos formas
primarias de realizar esa asociación de entrada/salida. Una primera sería la denominada
heteroasociación, que se refiere al caso en el que la red aprende parejas de datos [(A1, B1),
(A2, B2)… (An, Bn)], de tal forma que cuando se presente cierta información de entrada Ai,
deberá responder generandola correspondiente salida Bi. La segunda se conoce como
autoasociación, donde la red aprende ciertas informaciones A1, A2…An, de tal forma que
cuando se le presenta una información de entrada realizará una autocorrelación, respondiendo
con uno de los datos almacenados, el más parecido al de laentrada.
Estos dos mecanismos de asociación de asociación dan lugar a dos tipos de redes neuronales:
las redes heteroasosciativas y laas autoasociativas. Una red heteroasociativa podría
considerarse aquella que computa cierta función, que en la mayoría de los casos no podrá
expresarse analíticamente, entre un conjunto de entradas y un conjunto de salidas,
correspondiendo a cada posible entrada una determinada salida. Existen redess
heteroasociativas con conexiones feedforward, feedforward/feedback y redes con conexiones
laterales. Tambien existen redes heteroasociativas multidimensionales y su aprendizaje puede
ser supervisado o no supervisado.
Por otra parte, una red autoasociativa es una red cuya principal misión es reconstruir una
determinada información de entrada que se presenta incomp´leta o distorsionada (le asocia el
dato almacenado más parecido). Pueden implementarse con una sola capa, existen conexiones
laterales o tambien autorrecurrentes, habitualmente son de aprendizaje no supervisado.
4. Representación de la Infomación de Entrada y Salida. Las redes neuronales pueden tambien
clasificarse en función de la forma en que se representan lasinformaciones de entrada y las
respuestas o datos de salida. Así un un gran número de redes, tanto los datos de entrada
como de salida son de naturaleza analógica, cuando esto ocurre, las funciones de activación
de las neuronas serán tambien continuas, del tipo lineal o sigmoidal. Otras redes sólo admiten
valores discretos o binarios a su entrada, generando también unas respuestas en la salida de
tipo binario. En este caso, las funciones de activación de las neuronas son de tipo escalón.
Existe también un tipo de resdes híbridas en las que las informaciones de entrada pueden ser
valores continuos, aunque las salidas de la red son discretas.
4.4. IMPLEMENTACION DE LAS REDES NEURONALES
En la búsqueda de sistemas inteligentes en general, se ha llegado a un importante desarrollo del
software, dentro de esta línea se encuentran algunos de los neurocomputadores más conocidos. Un
neurocomputador es básicamente un conjunto de procesadores conectados con cierta regularidad
que operan concurrentemente. En la actualidad ya existen un serie de neurocomputadores
comerciales destinados a la realización de redes neuronales. Por otro lado la realización de RNA
puede llevarse a cabo por medio de uno o varios circuitos integrados específicos, para así poder
obtener una estructura que se comporte lo más similar posible a como lo haría una red neuronal.
Otra tecnología que podría ser apropiada en la implementación de las redes neuronales es la tecnología
electroóptica, con la ventaje de utilizar la luz como medio de transporte de la información, permitiendo
la transmición, masiva de datos.
 Realización de Redes Neuronales: La realización más simple e inmediata consiste en simular
la red sobre un ordenador convencional mediante un software específico. Es un
procedimiento rápido, economico, e instituible, pero su mayor desventaja radica en el hecho

de que se intentan simular redes con un alto grado de paralelismo sobre máquinas que
ejecuten secuencialmente las operaciones. Valores intrínsecos de las redes neuronales no
pueden obtenerse de esta forma.
Otro método es la realización de redes neuronales a través de arquitecturas orientadas a la ejecución
de procesos con un alto de paralelismo, tales como redes de transputers, arquitecturas sistólicas, etc.
Este método es una optimización del anterior, ya que el acelera el proceso, permitiendo una respuesta
en tiempo real, pero el comportamiento real de la red sigue siendo simulado por una estructura ajena
a la estructura intrínseca de una red neuronal.
Una tercera aproximación radicalmente distinta es la realización de redes neuronales mediante su
implementación por uno o varios circuitos integrados específicos. Son los llamados chips neuronales.
Las neuronas y las conexiones se emulan con dispositivos específicos, de forma que la estructura del
circuito integrado refleja la arquitectura de la red. Se consigue de esta forma realizaciones que
funcionan a alta velocidad, pero a costa de una pérdida notable de velocidad..
 Herramientas software de desarrollo: La comercialización de productos software es la forma
más extendida para simular redes neuronales, debido a las ventajas citadas anteriormente. La
diferencia entre los distintos productos software radica en aspectos tales como el tipo y el
número de arquitecturas de red que soporta, velocidad de procesamiento, iinterfaz gráfica,
exportación de codigo C para el desarrollo automático de aplicaciones, etc.
Algunos de los productos comerciales son: ANSim (DOS), ExpertNet (DOS, Windows), Neuralesk
(Windows), Neuralworks Pro II/Plus (DOS, OS/2, UNIX, VMS)
 Neurocomputadores de propósito especial y de propósito general: Como se dijó
anteriormente un neurocomputador es básicamente un conjunto de procesadores conectados
con cierta regularidad que operann concurrentemente. Los de propósito general deben ser
capaces de emular un gran número de modelos de red neuronal.
Los de propósito especial han sido diseñados para implementar un modelo específico de red neuronal.
 Implementación microelectronica (VLSI). En general si la red ha estado previamente simulada
y su configuración de conexiones perfectamente determinada, se busca la implementación
sobre un circuito de conexiones fijas. La presentación del panorama que actualmente existe
en el ámbito de la implementación VLSI de redes neuronales resulta complicada por la gran
cantidad de aportaciones existentes, tanto en soluciones analógicas como digitales y con la
alternativa de matriz de neuronas o de sinapsis.
4.5. VENTAJAS DE LAS REDES NEURONALES
Debido a su constitución y a sus fundamentos, las RNA presentan un gran número de características
semejantes a las del cerebro. Por ejemplo, son capaces de aprender de la experiencia, de generalizar
de casos anteriores a nuevos casos, de abstraer características esenciales a partir de entradas que
representan información irrelevante, etc. Esto hace que ofrezcan numerosas ventajas y que este tipo
de tecnología se esté aplicando en múltiples áreas. Estas ventajas incluyen:
1. Aprendizaje Adaptativo: Es una de las características más atractivas de las redes neuronales, es la
capacidad de aprender a realizar tareas basadas en un entrenamiento o una experiencia inicial.
En el proceso de aprendizaje, los enlaces ponderados de las neuronas se ajustan de manera que se
obtengan unos resultados específicos. Una RNA no necesita un algoritmo para resolver un problema,
ya que ella puede generar su propia distribución de los pesos de los enlaces mediante el aprendizaje.
Tambien existen redes que continúan aprendiendo a lo largo de su vida, despúes de completado e
periodo inicial de entrenamiento.

La función del diseñador es únicamente la obtención de la arquitectura apropiada. No es problema
del diseñador el cómo la red aprenderá a dioscriminar; sin embargo, si es necesario que desarrolle un
buen algoritmo de aprendizaje que proporcione la capacidad de discriminar de la red mediante un
entrenamiento con patrones.
2. Autoorganización: Las redes neuronales usan su capacidad de aprendizaje adaptativo para
organizar la información que reciben durante el aprendizaje y/o la operación. Una RNA puede
crear su propia organización o representación de la información que recibe mediante una etapa
de aprendizaje. Esta autoorganización provoca la facultad de las redes neuronales de responder
apropiadamente cuando se les presentan datos o situaciones a los que no habían sido expuestas
anteriormente.
3. Tolerancia a Fallos: Comparados con los sistemas computacionales tradicionales, los cuales
pierden su funcionalidad en cuanto sufren un pequeño error de memoria, en las redes neuronales,
si se produce un fallo en un pequeño número de neuronas, aunque el comportamiento del sistema
se ve influenciado, sin embargo no sufre una caída repentina.
Hay dos aspectos distintos respecto a la tolerancia a fallos: primero, las redes pueden aprender a
reconocer patrones con ruido, distorsionados, o incompleta. Segundo pueden seguir realizando su
función (con cierta degradación) aunque se destruya parte de la red.
La razón por la que las redes neuronales son tolerantes a fallos es que tienen su información distribuida
en las conexiones entre neuronas, existiendo cierto grado de redundancia en ese tipo de
almacenamiento, a diferencia de la mayoría de los ordenadores algorítmicos y sistemas de
recuperación de datos que almacenan cada pieza de información en un estado único, localizado y
direccionable.
4. Operación en Tiempo Real: Los computadores neuronales pueden ser realizados en paralel, y
se diseñan y fabrican máquinas con hradware especial para obtener esta capacidad.
5. Fácil inserción dentro de la tecnología existente. Debido a que una red puedeser rápidamente
entrenada, comprobada, verificada y trasladada a una implementación hardware de bajo costo, es
fácil insertar RNA para aplicaciones específicas dentro de sistemas existentes (chips, por ejemplo).
De esta manera, las redes neuronales se pueden utilizar para mejorar sistemas de forma
incremental, y cad paso puede ser evaluado antes de acometer un desarrollo más amplio.
4.6. TIPOS DE REDES NEURONALES
En la el Anexo 1 se presenta una tabla de los tipos de redes más conocidos, comentando
esquematicamente su topología, tipo de aprendizaje (ON/OFF line, supervisado/no supervisado, regla),
clase de asociación (Auto/Heterogenea), presentación entrada y salida y autores.
4.7. APLICACIONES DE LAS REDES NEURONALES
Las redes neuronales son una tecnología computacional emergente que puede utilizarse en un gran
número y variedad de aplicacione, tanto como comerciales como militares.
Hay muchos tipos diferentes de redes neuronales, cada uno de los cuales tiene un aplicación particular
más apropiada. Separandolas según las distintas disciplinas algunos ejemplos de sus aplicaciones son:
 Biología:
- Aprender más acerca del cerebro y otros sistemas.
- Obtención de modelos de la retina.
 Empresa
- Reconocimiento de caracteres escritos.
- Identificación de candidatos para posiciones específicas.

- Optimización de plazas y horarios en líneas de vuelo.
- Explotación de bases de datos.
- Evaluación de probabilidad de formaciones geológicas y petrolíferas.
- Sintesís de voz desde texto.
 Medio Ambiente
- Analizar tendencias y patrones.
- Previsión del tiempo.
 Finanzas
- Previsión de la evolución de los precios.
- Valoración del riesgo de los créditos.
- Identificación de falsificaciones.
- Interpretación de firmas.
 Manufacturación
- Robots automatizados y sistemas de control (visión artificial y sensores de presión,
temperatura, gas, etc.)
- Control de producción en líneas de proceso.
- Inspección de calidad.
- Filtrado de señales.
 Medicina
- Analizadores del habla para la ayuda de audición de sordos profundos.
- Diagnóstico y tratamiento a partir de síntomas y/o de datos analíticos (encefalograma,
etc.).
- Monitorización en cirugía.
- Predicción de reacciones adversas a los medicamentos.
- Lectoras de Rayos X.
- Entendimiento de causa de ataques epilépticos.
 Militares
- Clasificación de las señales de radar .
- Creación de armas inteligentes.
- Optimización del uso de recursos escasos.
4.8. REDES NEURONALES Y CONTROL
Lo que se hace en control es modelar, según los parámetros aprendidos en sistemas dinamicos, los
sistemas para luego controlarlos, sin embargo en ese modelamiento se desprecian muchos datos
debido a la alinealidad de los mismos, por ejemplo, al modelar un motor se desprecian datos como el
desgaste de máquina, esos son valores importantes, pero al tenerlos en cuenta la solución de un
sistema se haría imposible, así que se hace necesario despreciar esos términos, sin ellos el
modelamiento funciona pero en la vida práctica no es tan preciso.
Ese problema se soluciona con redes neuronales, debido a las teorías anteriormente expuestas, si por
ejemplo, usted modela un sistema de manera tradicional y luego este sufre variación alguna los
planteamientos iniciales ya no funcionan, con las redes neuronales eso ya no sucede, porque el sistema
despúes de haber recibido unps patrones inicales comienza a identificar, acepta, aprende y responde
ante diferentes señales. Sin importar que estas no sean identicas a los patrones iniciales.
5. APRENDIZAJE POR REFUERZO
El aprendizaje por refuerzo consiste en aprender a decidir, ante una situación determinada, que acción
es la más adecuada para lograr un objetivo.
El comportamiento inteligente es elemento que se presenta en muchos de los sistemas que se está
acostumbrados a tratar en la vida diaria, desde aparatos muy sencillos como un reloj o aparatos muy
complejos como una empresa de ensamblaje de carros.

Para dar inteligencia a éstos son definen dos características.
 El aprendizaje de una tarea por parte del sistema o agente se realiza mediante un proceso
iterativo de prueba y error en el entorno donde el interactúa
 La forma en que el entorno informa al agente sobre si está haciendo bien o mal la tarea que
está aprendiendo
En la psicología conductista se hace un hincapié en describir las leyes generales que rigen nuestra
conducta voluntaria. Uno de los conceptos que manejan para ello es el de 'condicionamiento operante',
al que definen como un proceso de aprendizaje por el cual una acción en particular es seguida por algo
deseable (haciendo más probable que el sujeto repita la acción) o por algo no deseable (disuadiendo
de realizarla).
Por ejemplo, estudiamos porque nos satisface sacar notas más altas, o jugamos a un videojuego porque
nos satisface jugar. Y para satisfacer esos estímulos positivos (reforzamientos), estudiamos/jugamos
más horas y recurrimos a procesos de prueba y error para evaluar nuevas estrategias de estudio/juego.
Esto es, aprendemos gracias al condicionamiento operante.
El aprendizaje por refuerzo (o aprendizaje reforzado) se basa en aplicar exactamente este mismo
principio a las inteligencias artificiales, con el fin de que puedan aprender por sí mismas. Y es que las
IAs cuentan con dos ventajas de las que nosotros los humanos no disponemos: no se cansan ni se
aburren, y realizan sus tareas extraordinariamente rápido.
5.1. MODELO BASICO DE APRENDIZAJE POR REFORZAMIENTO
El modelo básico de aprendizaje por refuerzo consiste en:
- Un conjunto de estados de retorno (S)
- Un conjunto de acciones (A)
- Reglas de la transición entre los estados
- Reglas que determinan la recompensa inmediata escalar de una transición
- Reglas que describen lo que observa el agente
Las reglas son a menudo estocásticas. La observación implica típicamente la recompensa inmediata al
escalar asociado con la última transición. En escenarios, el agente también supone que observa el
estado actual del medio ambiente, en cuyo caso se habla de plena observabilidad, mientras que en el
caso contrario se habla de observabilidad parcial. A veces, el conjunto de acciones disponibles para el
agente está restringido (por ejemplo, no se puede gastar más dinero del que se posee). Un agente de
refuerzo de aprendizaje interactúa con su entorno en pasos de tiempo discretos. En cada tiempo de
T. El agente recibe una observación Ot, que normalmente incluye la recompensa Rt. Se elige entonces
una acción At. Del conjunto de acciones, que se envía posteriormente al medio ambiente. El entorno
se mueve a un nuevo estado St+1, y la recompensa Rt+1 asociada con la transición [St, At, St+1] se
determina. El objetivo de un agente de aprendizaje por refuerzo es recoger tanta recompensa como
sea posible. El agente puede elegir cualquier acción en función de la historia e incluso puede aleatorizar
su selección de acciones. Cuando el rendimiento del agente se compara al de un agente que actúa de
manera óptima desde el principio, la diferencia entre estos da lugar a la noción de arrepentimiento.

Notar que para poder actuar cerca de manera óptima, el agente debe razonar sobre las consecuencias
a largo plazo de sus acciones: Con el fin de maximizar mis ingresos futuros sería mejor ir a la escuela
ahora, a pesar de la recompensa monetaria inmediata asociada a esto podría ser negativa. Por lo tanto,
el aprendizaje por refuerzo es especialmente adecuado para los problemas que incluyen un
razonamiento a largo plazo frente a uno a corto plazo. Se ha aplicado con éxito a diversos problemas,
entre ellos el control de robots, telecomunicaciones, backgammon y damas. Dos componentes hacen
aprendizaje por refuerzo de gran alcance: El uso de muestras para optimizar el rendimiento y el uso
de la función de aproximación para hacer frente a entornos de gran tamaño. Gracias a estos dos
componentes clave, el aprendizaje por refuerzo se puede utilizar en entornos de un tamaño
considerable en cualquiera de las siguientes situaciones:
 Un modelo del entorno es conocido, pero una solución analítica no está disponible;
 Solo un modelo de simulación del medio ambiente se da (el tema de la optimización basada
en la simulación);
 La única manera de recopilar información sobre el medio ambiente es mediante la interacción
con él.
Los dos primeros de estos problemas podrían ser considerados problemas de planificación (desde
alguna forma si el modelo está disponible), mientras que el último podría ser considerado como un
problema de aprendizaje clásico. Sin embargo, bajo una metodología de aprendizaje por refuerzo tanto
de los problemas de planificación se convierten en problemas de aprendizaje automático.
El objetivo del aprendizaje por refuerzo es extraer qué acciones deben ser elegidas en los diferentes
estados para maximizar la recompensa. En cierta forma, buscamos que el agente aprenda lo que se
llama una política, que formalmente podemos verla como una aplicación que dice en cada estado qué
acción tomar. Dividiremos la política del agente en dos componentes: por una parte, cómo de buena
cree el agente que es una acción sobre un estado determinado y, por otra, cómo usa el agente lo que
sabe para elegir una de las acciones posibles.
EJEMPLO: TORRES DE HANOI
Por ejemplo, en el caso de estar intentando aprender a resolver el problema de las Torrres de Hanoi ,
cuando tanto el número de torres como el de discos es bajo podemos trabajar con el espacio completo
de estados y representar las acciones (mover el disco superior de una torre a otra) como aristas del
grafo completo de transiciones.

En la figura anterior, podemos ver que es el caso de 3 torres con 3 discos y el camino aprendido (en
rojo) por el programa para pasar de la configuración en la que todos los discos están en la primera
torre ([ [1 2 3] [ ] [ ] ]) a la configuración final en la que todos los discos se encuentran en la tercera
torre ([ [ ] [ ] [1 2 3] ]). El grosor de las aristas asociadas a las diversas acciones representa el
valor Q aprendido por el algoritmo (a mayor grosor, mayor valor).
Se inicia el algoritmo proporcionando una recompensa inicial de 100 a las transiciones que llevan
directamente a la configuración deseada, y posteriormente se irá propagando hacia las demás
transiciones por medio del valor Q, hasta que el algoritmo se estabiliza. Puede observarse que aquellas
transiciones que están más cerca de la solución final obtienen un valor de Q más alto. En este caso,
como el grafo completo es manejable y lo hemos podido calcular a priori, no hemos tenido la necesidad
de explorar aleatoriamente el espacio de soluciones, y podemos permitirnos el lujo de recorrer
completamente todo el espacio de pares (estado, acción) las veces necesarias hasta considerar que el
algoritmo se ha estabilizado.
Tras el entrenamiento del algoritmo lo único que hemos de hacer es partir de la configuración inicial
(en verde en la parte inferior del grafo) e ir aplicando las acciones con mayor recompensa hasta llegar
a la configuración final (en rojo en la esquina superior izquierda).
El entrenamiento completo depende únicamente del estado final que se quiere alcanzar (lo que no
ocurre cuando no podemos trabajar con el espacio completo de soluciones), por lo que una vez
entrenado para una determinada salida no necesitamos reentrenarlo, y podemos modificar la
configuración inicial deseada para obtener automáticamente la solución que proporciona el aprendizaje.

5.2. APRENDIZAJE PASIVO Y ACTIVO
Hay diferentes formas de aprender algo. Una de las más habituales, por cómoda, es la repetición. El
problema de la repetición es que no queda bien almacenada en la memoria a largo plazo. Funciona
cuando queremos retener algo a corto plazo. Pero cuando pasa un tiempo, casi seguro que lo hemos
olvidado. Puede llegar a retenerse a largo plazo, pero requiere de mucha repetición. Y aun así, no es
seguro.
El caso de Benjamin Franklin, su aprendizaje era activo. Es decir, él tomaba partido, estudiaba y
analizaba sus propios errores. Pensaba y razonaba dónde podía estar fallando y cómo podía mejorar.
Este tipo de aprendizaje requiere mucho más esfuerzo. Sin embargo, también es más efectivo.
5.2.1. APRENDIZAJE POR REFUERZO PASIVO
Consisten en aprender en base a observaciones y ya que no se tiene que estar probando cada estado
es más rápida que el aprendizaje por refuerzo activo.
5.2.2. APRENDIZAJE POR REFUERZO ACTIVO
Estas variantes del aprendizaje de refuerzo consisten en que el agente aprenderá experimentando y
probando acciones. Es más lenta que el aprendizaje pasivo ya que se necesita estar probando cada
estado funciona, aunque el agente no actué de forma óptima y además requiere de mucha exploración
5.3. APLICACIONES DE APRENDIZAJE POR REFUERZO
Las aplicaciones del aprendizaje por refuerzo pueden ser muchas y estar aplicada y estudiada en
muchos campos
5.3.1. OPEN AI DEXTERITY
Open AI desarrollo un sistema llamado Dactyl el cual está completamente entrenado en simulaciones
de computadora y transfiere el conocimiento aprendido hacia el mundo real, este sistema aprende
desde cero utilizando aprendizaje por refuerzo, el objetivo de este sistema es demostrar que el
entrenamiento por refuerzo en simulaciones puede lograr un gran impacto en la vida real, incluso con
lo “ruidoso” que significa esto, por ejemplo con sensores que no responden a tiempo y con datos
parciales, igual logra manipular con destreza el objeto y lograr el objetivo propuesto (mostrar una cara
específica del cubo).

5.3.2 ALPHASTAR
Los juegos se han usado por décadas como una manera de probar el desempeño de sistemas de
inteligencia artificial, como la capacidad de los mismos ha aumentado se ha buscado con el tiempo
juegos mucho mas complejos y desafiantes que contengan elementos básicos de inteligencia que
permitan resolver problemas científicos o de la vida real. Como ya ha ocurrido con otros juegos antes
(Atari, Mario, Quake, Dota 2), en una serie de partidas de prueba AlphaStar venció al jugador
profesional Grzegorz “MaNa” Komincz por 5–0, esto se dio en condiciones de partidas oficiales entre
jugadores profesionales.
AlphaStar fue entrenado inicialmente utilizando aprendizaje supervisado sobre partidas anónimas
liberadas por Blizzard, esto permitió que aprendiera micro y macro estrategias de jugadores reales,
luego el sistema comenzó a jugar contra si mismo para mejorar sus estrategias por medio de
aprendizaje por refuerzo
.
5.3.3. NAVEGACION DE ROBOT
Cada día se encuentran nuevas aplicaciones del aprendizaje por refuerzo, este tipo de aprendizaje
resulta siendo útil para mapear entradas de sensores, agarrar objetos y controlar movimientos de
robots, es por esto que se ha generado este sistema de prueba el cual puede servir para gente que
posee algún impedimento para moverse libremente, estos robots pueden recorrer grandes distancias,
traer las compras, medicinas y en general cualquier tipo de paquetes, es el futuro de los repartos y se
está haciendo con aprendizaje por refuerzo.

5.3.4. CONDUCCION DE AUTOS AUTONOMOS
Un coche autónomo capaz de aprender a conducir por sí mismo. El equipo de Wayne, una empresa
fundada por investigadores del Departamento de Ingeniería de la Universidad de Cambridge, dice
haber desarrollado un algoritmo de "aprendizaje reforzado" con el que la inteligencia artificial de un
coche ha sido capaz de aprender a conducirlo en sólo 15 o 20 minutos.

CONCLUSION GENERAL
En la sociedad, dentro de las ciencias de la computación, la de la Inteligencia Artificial es una
de las áreas que causa más expectación. Que un sistema pueda mejorar su comportamiento
sobre la base de la experiencia y que, además, tenga una noción de lo que es un error y que
pueda evitarlo, resulta muy interesante.
No obstante, la realización del trabajo, me ha servido para darme cuenta de que la IA no es
algo nuevo, lleva décadas de estudio y está en constante evolución. La realidad es que la
mayoría de la gente, al hablar de inteligencia artificial tiende a relacionarlo con el mundo de la
robótica y, más concretamente a los robots con formas humanas, capaces de relacionarse.
Gracias a este trabajo he descubierto que no es así. La robótica existía mucho antes de la
inteligencia artificial.
Resulta también interesante que, al encontrarse en constante evolución, encontramos antiguas
referencias de robots en la ciencia ficción que ahora sabemos que son posibles a medio o
largo plazo.

RECOMENDACION
Al encontrarse en constante evolución, encontramos antiguas referencias de robots en la
ciencia ficción que ahora sabemos que son posibles a medio o largo plazo.
Por otro lado, nos ha parecido apasionante todo lo relacionado con las redes neuronales y
los sistemas biónicos. Parece increíble que una máquina pueda reproducir funciones
típicamente humanas.
Los métodos tradicionales en Inteligencia Artificial que permiten el desarrollo de los primeros
sistemas expertos y otras aplicaciones, ha ido de la mano de los avances tecnológicos y las
fronteras se han ido expandiendo constantemente cada vez que un logro, considerado
imposible en su momento, se vuelve posible gracias a los avances en todo el mundo,
generando incluso una nueva mentalidad de trabajo que no reconoce fronteras físicas ni
políticas.

E-GRAFIA
 https://www.xataka.com/inteligencia-artificial/conceptos-inteligencia-artificial-que-
aprendizaje-refuerzo
 https://medium.com/aprendizaje-por-refuerzo-introducci%C3%B3n-al-mundo-
del/aprendizaje-por-refuerzo-introducci%C3%B3n-al-mundo-del-rl-1fcfbaa1c87
 https://www.imnovation-hub.com/es/transformacion-digital/aprendizaje-reforzado-
cuando-las-maquinas-aprenden-solas/
 https://www.youtube.com/watch?v=pljiFgRnBAQ&list=PLYWD-
VqrD5BAjKleGKIOWCY3exkvE4wS6&index=10
 https://es.wikipedia.org/wiki/Aprendizaje_por_refuerzo
 https://www.xataka.com/robotica-e-ia/esta-ia-ha-aprendido-conducir-coche-solo-20-
minutos-proximo-paso-que-aprenda-circular

metodos de aprendizaje y aprendizaje por refuerzo

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a metodos de aprendizaje y aprendizaje por refuerzo

Similar a metodos de aprendizaje y aprendizaje por refuerzo (20)

Último

Último (20)

metodos de aprendizaje y aprendizaje por refuerzo