CADENA DE MARKOV

CADENA DE MARKOV.

Se determina la cadena de Markov como una herramienta para analizar el comportamiento de ciertos procesos aleatorios que evolucionan alrededor de un conjunto de estados a lo largo del tiempo de forma determinista lo que quiere decir es que es una serie de eventos en donde la la probabilidad de que ocurra un evento depende específicamente del evento anterior a el, donde podemos decir que este tipo de cadenas tiene una especie de memoria y con esto queremos decir que recuerdan el último evento y así definir la determinación de la posibilidad de uno o varios eventos a futuro. Siendo así:      P (Xn = j | Xn−1 = i). Aquí podemos encontramos diferentes formas en las que se puede tratar una cadena de Markov y tenemos  la probabilidad de transición,  La probabilidad de transición de n pasos satisface a    la ecuación de Chapman-Kolmogorov, es decir, para cualquier k tal que 0 <k <n, satisface:                                                      

[pic 1]

  Donde E representa el espacio de estados. Cuando la cadena de Markov es homogénea, muchas de sus propiedades se pueden obtener definiendo la matriz de transición de su entrada a la entrada, por ejemplo: La entrada i, j corresponde a la probabilidad de cambiar del estado i al j en un paso. Del mismo modo, la matriz de transformación se puede obtener en n pasos. [pic 2]

[pic 3]

Siendo esta tabla un claro ejemplo de lo anterior dicho.

Sabiendo esto es clave saber que existe la probabilidad  pj(n)  como la probabilidad de que la cadena esté en el estado Ej después de n pasos, dado que la cadena empezó en el estado Ei. Se tiene que:

[pic 4]

Probabilidad de transición en n pasos [pic 5]

Esta es más fácil realizar la por que lo que sea hace es muy sencillo partimos desde los valores en el instante r de la siguiente manera :

[pic 6]

Podemos ver como se ve representada la multiplicación de las dos matrices [pic 7]

De tal forma que  es solo la n-sima potencia de p.[pic 8]

Encontramos de igual manera la matriz de transición que es una  matriz cuadra cuyos elementos no son negativos por lo que la suma de los elementos en cada fila es igual a 1.

La cadena de Markov está completamente definida por su probabilidad de transición de un paso y la especificación de la distribución de estado inicial del proceso. Sin embargo, al calcular el proceso en el tiempo n, es decir, al calcular P (n), el cálculo de la potencia n de la matriz de Markov es estratégico (incluso para una matriz cuadrada infinita, el resultado es válido); ahora, supongamos que la matriz de Markov es M, hemos obtenido la matriz de potencias, obviamente.[pic 9]

Pero ahora, ¿cuál es el significado de la cadena de Markov de la matriz de potencia (especialmente la ecuación anterior)? Vale la pena definir la respuesta. Definamos[pic 10]

Representa la probabilidad de alcanzar el estado j desde el estado i hasta n pasos. Recuerde que se trata de una cadena de Markov suave, lo que significa que la definición anterior es equivalente a

[pic 11]

 Los principales resultados de la entrada de la matriz de potencia con probabilidad de n pasos son los siguientes:

Teorema: si M es una matriz de Markov relacionada con una cadena de Markov, entonces  corresponde a la entrada de la matriz (i,j) de tal matriz M^n[pic 12]

El cálculo de la matriz de potencia no suele ser sencillo. El hecho de que se entienda como "simple" es que no son necesarias n iteraciones de multiplicación, lo que significa encontrar un método analítico.

El cálculo como tal de tal matriz es más factible puesto lo que hay que hacer es encontrar la forma analítica para M^n.

Seguimos con la clasificación de los estados que son los siguientes:

• Estado absorbente: Un estado en el que si un proceso entra en este estado, permanecerá en este estado indefinidamente (porque la probabilidad de entrar en cualquier otro es cero), esto se llama estado de absorción. La cadena de Markov compuesta por el estado transitorio y el estado de absorción se denomina cadena de Markov de absorción.
• Estado periódico: Si un estado es periódico, a partir de ese estado, solo se puede devolver a ese estado con un número de etapas que sean múltiplos de un número entero mayor que uno.
• Estado recurrente: Un estado es recurrente, a partir de un estado determinado, es seguro que volverá a sí mismo en un momento determinado (un número determinado de etapas).

Encontramos la probabilidad de primera pasada en general. Que trata sobre El concepto de probabilidad de primer paso se puede calcular mediante la probabilidad de entrar en la etapa n del estado i al estado j por primera vez es: f ij^n no sin antes de que haya pasado la etapa intermedia j:

Y hablaremos sobre e estado transitorio En el estado repetido, la posibilidad de volver a ese estado por primera vez en algunos pasos, es 1, pero para otros estados,esto significa que no puede regresar con seguridad al estado Ej. Tal estado se llama Efímero.

...