Este documento presenta conceptos clave sobre cadenas de Markov, incluyendo definiciones de vectores y matrices, así como sus representaciones en MATLAB. Explica elementos importantes de las cadenas de Markov como vectores de probabilidad, matrices estocásticas y sus propiedades. También cubre el cálculo del vector de probabilidad fijo y el uso de la matriz de transición para determinar los estados futuros de un proceso de Markov.

1. > Conceptos para desarrollar cadenas de Markov El proceso Markov Adriana Inés Ávila Geovany Guatibonza

2. > ¿Qué es un vector? Definición de vectores. Representación de vectores. Representación de un vector en MATLAB. > ¿Qué es una matriz? Definición de Matriz. Representación de Matrices. Representación de matrices en MATLAB. Multiplicación de Matrices. Multiplicación de matrices en MATLAB. > Cadenas de Markov Vector de Probabilidad. Vectores únicos de probabilidad. Matriz Estocástica. Matriz estocástica regular. Vector de probabilidad fijo (t). Matriz de transición. Conceptos

3. > Definición y representación ¿Qué es un vector? Un vector a lista de números independientes cuyos valores son relacionados de manera sistémica. En matemáticas los vectores son representados así: V1= [0, 0, ½, ½,] V = [a1, a2, a3… an]

4. > Representación de un vector en MATLAB ¿Qué es un vector? Tomando el ejemplo de la diapositiva anterior, en el siguiente video observaremos la forma en que se representa un vector utilizando el programa MATLAB. V1= [0, 0, ½, ½,]

5. > Definición y representación ¿Qué es una matriz? Es una tabla cuadrada o rectangular de números, ordenados por filas y columnas. En algunos casos se pueden realizar sumas y multiplicaciones de matrices. Una matriz se representa así: 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0

6. > Representación en MATLAB ¿Qué es una matriz? Tomando el ejemplo de la diapositiva anterior, en el siguiente video observaremos la forma en que se representa una matriz utilizando el programa MATLAB. 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0

7. > Multiplicación de matrices ¿Qué es una matriz? Antes de proceder a multiplicar matrices se ha de tener en cuenta una condición fundamental: la cantidad de columnas de la primera matriz debe ser igual a la cantidad de filas de la segunda. El proceso de multiplicación se realiza así: La primera fila de la primera matriz por la primera columna de la segunda matriz. La primera fila de la primera matriz por la segunda columna de la segunda matriz (y así hasta completar el número de columnas) Luego se pasa a la segunda fila y se repite la multiplicación de las columnas. El resultado es una nueva matriz.

8. > Ejemplo de multiplicación de matrices ¿Qué es una matriz? 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 0 0 ½ ½ ¼ ½ ¼ 0 ½ 0 ½ 0 0 ½ 0 ½ X = ¼ ¼ ¼ ¼ ½ 0 ½ 0 ¼ 0 ½ ¼ ½ 0 ½ 0 Ejemplo de la primera fila por columna: A11= 0*0+ 0*1/4+ 1/2*1/2+1/2*0= 1/4 A12= 0*0+ 0*1/2+ 1/2*0+ 1/2*1/2=1/4 A13= 0*1/2+ 0*1/4+ 1/2*1/2+ 1/2*0=1/4 A14= 0*1/2+ 0*0+ 1/2*0+ 1/2*1/2=1/4 Así obtenemos la primera fila de la nueva matriz.

9. > Multiplicación de matrices en MATLAB ¿Qué es una matriz? Tomando el ejemplo de la diapositiva anterior, en el siguiente video observaremos la forma en que se multiplican matrices utilizando el programa MATLAB. 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 0 0 ½ ½ ¼ ½ ¼ 0 ½ 0 ½ 0 0 ½ 0 ½ X = ¼ ¼ ¼ ¼ ½ 0 ½ 0 ¼ 0 ½ ¼ ½ 0 ½ 0 VER VIDEO

10. > Elementos importantes Cadenas de Markov Las cadenas de Markov pueden ser representadas a a través de matrices. Es importante que el estudiante tenga en cuenta que las cadenas de Markov obedecen a un tipo de matrices específicas, las características de las matrices que obedecen a las cadenas de Markov son expuestas a continuación:

11. > Vector de probabilidad Cadenas de Markov La primera característica es que tenga vectores de probabilidad, estos son aquellos que sus elementos son números positivos y al sumarlos el resultado es uno. A continuación algunos ejemplos: V1= [0, 0, ½, ½,] Es un vector de probabilidad V2= [1, 0, ½, ½,] NO es un vector de probabilidad

12. > Vector único de probabilidad Cadenas de Markov Los vectores que no son de probabilidad, (la suma de sus componentes es mayor que 1) pero que cumplen con la condición de que todos sus componentes son positivos, tienen algo llamado vector único de probabilidad, el cual corresponde a un escalar múltiplo de si mismo. El vector único de probabilidad (qv) se obtiene de la siguiente manera: 1. Se calcula la suma todos los componentes del vector 2. El vector se multiplica por ese resultado Ejemplo: Tengo la matriz: V2= [1, 0, ½, ½,] Observo que no es un vector de probabilidad, pero que todos sus elementos son positivos Calculo la suma de sus elementos: 1+0+1/2+1/2 = 2 qv = 1/2 V2 = [1/2, 0, 1/4, 1/4]

13. > Matriz estocástica Cadenas de Markov Es una matriz en la cual todos sus vectores son de probabilidad. Cuando se multiplican dos matrices estocásticas o una matriz estocástica por si misma, el resultado siempre es una matriz estocástica. Una matriz estocástica, se considera regular, cuando todos los elementos de alguna potencia de dicha matriz, son positivos. 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 0 1 ½ ½ 1 0 1 0 ½ 0 ½ 0 0 4 1 0 Estocástica NO Estocástica

14. > Matriz estocástica regular Cadenas de Markov Una matriz estocástica es regular, cuando todos los elementos de una potencia son positivos. Como ejemplo, tomaremos nuestra matriz estocástica de la diapositiva anterior la elevamos al cuadrado: 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 A²= X 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 ¼ 0 ¾ 0 ½ 0 ½ 0 ¼ 0 ½ ¼ ½ 0 ½ 0 =

15. > Matriz estocástica regular Cadenas de Markov Las características de una matriz estocástica regular son: La matriz (P) tiene un vector de probabilidad fijo (t) cuyos componentes son todos positivos. La sucesión de potencias de la matriz: P, P2, P3, se aproxima a la matriz T cuyas filas son cada punto fijo (t). Si p es un vector de probabilidad, entonces la sucesión de vectores: pP, pP2, pP3, se aproxima al punto fijo t. X

16. > Hallar el vector de probabilidad fijo (t) Cadenas de Markov El vector de probabilidad fijo es una característica de las matrices estocásticas regulares. Para hallarlo se requiere multiplicar cualquier matriz por incógnitas con la finalidad de que estas puedan ser despejadas. Tomaremos como ejemplo una matriz trabajada con anterioridad: 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 [w, x, y, z] X Se realiza la multiplicación de las matrices y luego se despeja cada una de las incógnitas para hallar el vector de probabilidad fijo (t). Si este no es un vector de probabilidad, puede convertirse utilizando lo aprendido en diapositivas anteriores

17. > Matriz de transición Cadenas de Markov Para calcular lo que sucederá en un tiempo determinado, el proceso es el siguiente: Tomo el vector que representa el estado inicial del problema, este se llamará q0 Si multiplico q0 por la Matriz me dará el estado 1, entonces para hallar un estado n la fórmula es: q0 Mn = qn

18. > Matriz de transición Cadenas de Markov Ejemplo: Si queremos hallar lo que sucederá en la transición 150, entonces: 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 V1= [0, 0, ½, ½,] Estado inicial X = 150 V150= [23/100, 3/20, 19/50, 23/100]

19. > Matriz de transición en MATLAB Cadenas de Markov Ejemplo: Si queremos hallar lo que sucederá en la transición 150 en MATLAB revisa el siguiente video: 0 0 ½ ½ 0 0 1 0 ½ 0 ½ 0 0 0 1 0 V1= [0, 0, ½, ½,] Estado inicial X = 150 V150= [23/100, 3/20, 19/50, 23/100] VER VIDEO

20. Fin de la presentación