Este documento presenta un resumen de tres oraciones sobre el modelo de cadena de Markov. Explica que una cadena de Markov es un proceso estocástico donde la probabilidad del estado futuro depende únicamente del estado actual y no de los estados previos. Luego detalla que el documento conceptualiza modelos de cadenas de Markov, procesos estocásticos, procesos de decisión de Markov y sus tipos. Por último, indica que el objetivo es indagar teóricamente sobre estas temáticas mediante fuentes bibliográficas para la realización de un informe.

1. 1
Modelo de la cadena de Markov
Aguirre Caspi Gloria Morayma, Chimbo Moposita Johanna Isabel, Chicaiza Chicaiza
Karen Lizeth, Tipan Suntaxi Gabriela Esthefania
Facultad de Ciencias Administrativas, Universidad Técnica de Cotopaxi
Toma de Decisiones
Ing. Angelita Falconi
08 de diciembre de 2021

2. 2
Índice del contenido
Índice del contenido.......................................................................................................2
Índice de figuras.............................................................................................................2
Glosario..........................................................................................................................3
1. Introducción...............................................................................................................4
2. Objetivos....................................................................................................................4
2.1. Objetivo General.................................................................................................4
2.2. Objetivos Específicos..........................................................................................4
3. Fundamentación teórica.............................................................................................5
4. Conclusiones..............................................................................................................8
5. Recomendaciones ......................................................................................................8
6. Referencias Bibliográficas.........................................................................................9
7. Anexos .....................................................................................................................10
Índice de figuras
Figura 1 Ejemplo de probabilidades de cambio en el análisis a corto plazo.........10

3. 3
Glosario
Absorbente: Sustancia que tiene un elevado poder de absorción.
Algoritmos: Conjunto ordenado y finito de operaciones que permite hallar la solución de un
problema.
Cadena de Márkov: Es un concepto desarrollado dentro de la teoría de la probabilidad y la
estadística que establece una fuerte dependencia entre un evento y otro suceso anterior.
Conjunto finito: Son aquellos cuya cardinalidad, o número de elementos de contiene, es igual
a un número natural.
Irreducible: Significa que no se puede reducir.
Matriz de transición: Es una matriz cuadrada que describe las probabilidades de pasar de un
estado a otro en un sistema dinámico.
Pagerank: Es una puntuación que realiza Google de cada página web y que influye en el
posicionamiento de la misma.
Probabilidad: En un proceso aleatorio, razón entre el número de casos favorables y el número
de casos posibles.
Proceso estocástico: Es un conjunto de variables aleatorias que depende de un parámetro o de
un argumento.
Recurrente: Que vuelve a ocurrir o a aparecer, especialmente después de un intervalo.
Simulación: Como la experimentación con un modelo que imita ciertos aspectos de la realidad.
Transición: Es la acción y efecto de pasar de un estado a otro distinto.

4. 4
1. Introducción
El presente informe hace referencia a la cadena de Márkov en donde conceptualizan
diferentes temáticas como son los modelos de la cadena de Márkov, procesos estocásticos,
procesos de decisión de Márkov, características de un proceso de Márkov, utilización de
procesos de Márkov en problemas de decisión, y por ultimo los tipos de cadenas de Márkov
todos aquellos temas serán profundizados teóricamente en el marco teórico mediante
organizadores gráficos.
Por lo que una cadena de Márkov se define como una secuencia de variables aleatorias
que representan los estados de un determinado sistema durante una serie de intervalos de
tiempo, de modo tal que el estado del sistema en el intervalo actual depende únicamente de su
estado en el intervalo inmediato anterior y no de los estados previos. Por otra parte, en método
que se utilizó para la debida investigación es el inductivo ya que el objetivo es poner en práctica
el pensamiento y razonamiento de las temáticas nuevas.
La aplicación de Cadenas de Márkov en el análisis y pronóstico de series de tiempo es
una metodología alternativa con la cual se pueden realizar pronósticos con buena exactitud y
confiabilidad. El análisis Márkov constituye un modelo de predicción, acerca del
comportamiento futuro de ciertas variables relacionadas a un sistema.
2. Objetivos
2.1. Objetivo General
Indagar el Modelo de la cadena de Márkov, de por medio de fuentes bibliográficas para la
realización de un informe.
2.2. Objetivos Específicos
− Conceptuar el modelo de cadena de Márkov, el proceso estocástico, mediante revisión
bibliográfica para la fundamentación teórica.
− Detallar el proceso de decisión de Márkov y los tipos de cadena de Márkov, a través de
revisión bibliográfica para la sustentación de la fundamentación teórica.
− Desarrollar los elementos, importancia y aplicaciones de Márkov, indagando en fuentes
bibliográficas para la fundamentación teórica.

5. 5
3. Fundamentación teórica
Modelo de la cadena de Márkov
Una cadena de Márkov es un proceso estocástico en el que: si el estado actual y lo
sestados previos son conocidos.
La probabilidad del estado futuro (no depende de los estados anteriores, solamente
depende del estado actual).
Proceso estocástico
Un proceso estocástico es llamado específicamente una Cadena de Márkov –que debe su nombre al
matemático ruso Andrei Andreevitch Márkov–, cuando en este modelo aparece una sucesión de
variables aleatorias tal que el "siguiente" estado del proceso es independiente de los estados
anteriores, siempre que sea conocido el estado presente.
Procesos de decisión
de Márkov
Formulación del
modelo.
El valor de una
política, la función
valor y las políticas de
Markov.
El principio de
optimalidad y su
aplicación en el diseño
de políticas.
Aplicación numérica.
La esencia va a ser considerar un espacio medible en el
que cada elemento ω es una realización; sobre éste, la
probabilidad va a venir definida por unas matrices de
transición en base a la sucesión de decisiones que se
escoja.
Definir un criterio de acuerdo al cuál se pueda
determinar la bondad de una política o, al menos, su
calidad en comparación con otras.
Exponer el procedimiento para encontrar políticas
óptimas (o arbitrariamente cercanas a la cota superior)
para procesos de decisión de Márkov.
Como se ha podido comprobar, la iteración de la
función valor es un procedimiento teóricamente sólido
y ampliamente aceptado y testado.

6. 6
Elementos
de Márkov
Importancia
de Márkov
Aplicaciones
Los elementos
que se integran
en una cadena
de Márkov son:
Un conjunto finito de M estados.
Ciclo de Márkov: periodo de tiempo que sirve de
base para examinar las transiciones entre estados.
Probabilidades de transición entre estados, en un
ciclo.
Distribución inicial del sistema entre los M
estados posibles.
Se convierten en una herramienta matemática eficiente para el análisis a un
futuro cercano de eventos que cambian de estado a medida del tiempo, en los
que las probabilidades de que se encuentre. (Viñamagua, 2017, p.11)
Internet
Simulación
Juegos de azar
Economía y
Finanzas
Música
Operaciones
El Pagerank de una página web, es la posición que tendrá una
página en el buscador.
Son utilizadas para proveer una solución analítica a
ciertos problemas de simulación.
Como ruleta, lotería, dados, póker y otros donde se
establecen las probabilidades de ganar o perder.
Se han utilizado para analizar los patrones de compra
de los deudores morosos.
Diversos algoritmos de composición musical usan
cadenas de Márkov.
Se emplean cadenas de Márkov en inventarios,
mantenimiento y flujo de proceso.

7. 7
Tipos de cadenas de
Markov
Cadenas Irreducibles
Desde cualquier estado se
puede acceder a cualquier
otro.
Todos los estados se
comunican entre sí.
Cadena Positivo-
recurrente.
Cadenas Regulares
Cadenas Absorbentes.
Todos sus estados son
recurrentes positivos.
Potencia positiva de la
matriz de transición.
La cadena tiene al
menos un estado
absorbente.

8. 8
4. Conclusiones
1. En síntesis, podemos decir que las cadenas de Márkov son una herramienta para
analizar el comportamiento y el gobierno de determinados tipos de procesos
estocásticos, esto es, procesos que evolucionan de forma no determinística a lo largo
del tiempo en torno a un conjunto de estados.
2. En definitiva, logramos conocer los conceptos básicos y requisitos para analizar un
problema con las cadenas de Márkov. y sus tipos de cadenas para su solución en la toma
de decisiones.
3. En conclusión podemos decir que las cadenas de Márkov es un método importante, ya
que ha comenzado a usarse en los últimos años como instrumento de investigaciones
de rutas críticas, valores esperados, mercadotecnia, etc., para examinar y pronosticar el
comportamiento de los clientes desde el punto de vista de su lealtad a un cierto producto
y de sus formas de cambio a otros productos.
5. Recomendaciones
1. Se recomienda, conocer más a fondo sobre las cadenas de Márkov por su importancia
a la hora de tomar decisiones ya que, nos da un resultado más preciso del problema
estudiado.
2. Investigar sobre los modelos matemáticos de Márkov ya que constituyen un proceso
estocástico muy utilizado para modelar problemas reales y situaciones generales,
basadas en las probabilidades de eventos de etapas exactamente bien definidas dentro
del comportamiento en la toma de decisiones de la empresa.
3. En base a los resultados recogidos en la presente investigación y al aporte bibliográfico
de este documento, se recomienda que para la elaboración de un modelo de Márkov
requieren del conocimiento de diversos elementos como son el estado y la matriz de
transición entre otros conocimientos tanto matemáticos como bibliográficos.

9. 9
6. Referencias Bibliográficas
Anónimo. (s.f.). Cadena de Márkov. Wikipedia.
https://es.wikipedia.org/wiki/Cadena_de_M%C3%A1rkov#Aplicaciones
Anónimo. (s.f.). Cadena de Márkov. PPE´s & RSC.
https://sites.google.com/site/ppsrsc/unidad-iii/cadenas-de-markov
Babio, S. (2021). Procesos de Decisión de Márkov y Q-Learning. Universidad Autónoma de
Madrid. https://cmc.deusto.eus/wp-content/uploads/2021/08/MScThesis_Santiago-
Babio.pdf
FAEDIS. (s.f.). Cadenas de Márkov. Universidad Militar Nueva Granada.
http://virtual.umng.edu.co/distancia/ecosistema/ovas/ingenieria_civil/investigacion_d
e_operaciones_ii/unidad_2/DM.pdf
López, E., y Joa, L. (2017). Cadenas de Márkov aplicadas al análisis de la ejecución de
proyectos de investigación. SciELO. Vol. 9 (No.1).
http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1684-18592017000100005
Viñamagua, G, (2017). Uso de las cadenas de Márkov para un modelo de negocios. UIDE.
https://repositorio.uide.edu.ec/bitstream/37000/3748/3/document%20%288%29.pdf

10. 10
7. Anexos
Figura 1
Ejemplo de probabilidades de cambio en el análisis a corto plazo
Inicio en estado 1
Inicio en estado 2
Nota: La figura muestra un ejemplo claro de probabilidad.
Estado inicial Día uno Día dos Día tres Probabilidad
de la ruta
1
2
1
2
1
2
1
0.49
0.21
0.18
0,12
0.7
0.3
0.6
0,4
0.7
0.3
1
2
1
2
1
2
2
0.42
0.18
0.24
0,16
0.7
0.3
0.6
0,4
0.6
0.4