Este documento resume los conceptos clave de las cadenas de Markov, incluyendo vectores de probabilidad, matrices estocásticas, y matrices de transición. Explica que las cadenas de Markov pueden representarse a través de matrices estocásticas, las cuales tienen vectores de probabilidad y propiedades como vectores de probabilidad fijos. También describe cómo usar matrices de transición para calcular los estados futuros de un proceso de Markov.

1. Presentado por : Alicia Peñuela
Leidy Murillo

2. Concepto
> Cadenas de Markov
Vector de Probabilidad. Vectores únicos de
probabilidad. Matriz Estocástica. Matriz estocástica
regular. Vector de probabilidad fijo (t). Matriz de
transición.

3. Cadenas de Markov
> Elementos importantes
• Las cadenas de Markov pueden ser representadas a
través de matrices. Es importante que el estudiante
tenga en cuenta que las cadenas de Markov obedecen
a un tipo de matrices específicas, las características
de las matrices que obedecen a las cadenas de
Markov son expuestas a continuación:

4. Cadenas de Markov
> Vector de probabilidad
• La primera característica es que tenga vectores de
probabilidad, estos son aquellos que sus elementos
son números positivos y al sumarlos el resultado es
uno. A continuación algunos ejemplos:
V1= [0, 0, ½, ½,] Es un vector de probabilidad
V2= [1, 0, ½, ½,] NO es un vector de probabilidad

5. Cadenas de Markov
> Vector único de probabilidad
Los vectores que no son de probabilidad, (la suma de sus
componentes es mayor que 1) pero que cumplen con la condición de
que todos sus componentes son positivos, tienen algo llamado vector
único de probabilidad, el cual corresponde a un escalar múltiplo de si
mismo. El vector único de probabilidad (qv) se obtiene de la
siguiente manera:
1. Se calcula la suma todos los componentes del vector
2. El vector se multiplica por ese resultado
Ejemplo:
Tengo la matriz: V2= [1, 0, ½, ½,]
Observo que no es un vector de probabilidad, pero que todos sus
elementos son positivos
Calculo la suma de sus elementos: 1+0+1/2+1/2 = 2
qv = 1/2 V2 = [1/2, 0, 1/4, 1/4]

6. Cadenas de Markov
> Matriz estocástica
• Es una matriz en la cual todos sus vectores son de probabilidad.
Cuando se multiplican dos matrices estocásticas o una matriz
estocástica por si misma, el resultado siempre es una matriz
estocástica. Una matriz estocástica, se considera regular, cuando
todos los elementos de alguna potencia de dicha matriz, son
positivos.
0 0 ½ ½
0 0 1 0
½ 0 ½ 0
0 0 1 0
0 1 ½ ½
1 0 1 0
½ 0 ½ 0
0 4 1 0
Estocástica NO Estocástica

7. Cadenas de Markov
> Matriz estocástica regular
Una matriz estocástica es regular, cuando todos los elementos de
una potencia son positivos. Como ejemplo, tomaremos nuestra
matriz estocástica de la diapositiva anterior la elevamos al cuadrado:
0 0 ½ ½
0 0 1 0
½ 0 ½ 0
0 0 1 0
A²= X
0 0 ½ ½
0 0 1 0
½ 0 ½ 0
0 0 1 0
¼ 0 ¾ 0
½ 0 ½ 0
¼ 0 ½ ¼
½ 0 ½ 0
=

8. Cadenas de Markov
> Matriz estocástica regular
Las características de una matriz estocástica regular son:
La matriz (P) tiene un vector de probabilidad fijo (t) cuyos
componentes son todos positivos.
La sucesión de potencias de la matriz: P, P2, P3, se aproxima a la
matriz T cuyas filas son cada punto fijo (t).
Si p es un vector de probabilidad, entonces la sucesión de vectores:
pP, pP2, pP3, se aproxima al punto fijo t.
X

9. Cadenas de Markov
> Hallar el vector de probabilidad fijo (t)
El vector de probabilidad fijo es una característica de las matrices
estocásticas regulares. Para hallarlo se requiere multiplicar cualquier
matriz por incógnitas con la finalidad de que estas puedan ser
despejadas. Tomaremos como ejemplo una matriz trabajada con
anterioridad:
0 0 ½ ½
0 0 1 0
½ 0 ½ 0
0 0 1 0
[w, x, y, z] X
Se realiza la multiplicación de las matrices y luego se despeja cada una de las
incógnitas para hallar el vector de probabilidad fijo (t). Si este no es un vector
de probabilidad, puede convertirse utilizando lo aprendido en diapositivas

10. Cadenas de Markov
> Matriz de transición
Para calcular lo que sucederá en un tiempo determinado, el proceso
es el siguiente:
Tomo el vector que representa el estado inicial del problema, este se
llamará q0
Si multiplico q0 por la Matriz me dará el estado 1, entonces para
hallar un estado n la fórmula es:
q0 Mn = qn

11. Cadenas de Markov
> Matriz de transición
Ejemplo: Si queremos hallar lo que sucederá en la transición 150,
entonces:
0 0 ½ ½
0 0 1 0
½ 0 ½ 0
0 0 1 0
V1= [0, 0, ½, ½,]
Estado inicial
X =
150
V150= [23/100, 3/20, 19/50, 23/100]

12. Cadenas de Markov
> Matriz de transición en MATLAB
Ejemplo: Si queremos hallar lo que sucederá en la transición 150 en
MATLAB revisa el siguiente video:
0 0 ½ ½
0 0 1 0
½ 0 ½ 0
0 0 1 0
V1= [0, 0, ½, ½,]
Estado inicial
X =
150
V150= [23/100, 3/20, 19/50, 23/100]

13. GRACIAS