Cadenas de Márkov

[pic 1]        [pic 2]

Índice

Introducción ………………………………………………………………

4.1 Introducción a las cadenas de Márkov ………………………….

4.2 Probabilidad de transiciones estacionarias de n pasos …….

4.3 Estado estable ……………………………………………………….

4.4 Estados absorbentes ……………………………………………….

4.5 Software ………………………………………………………………

Conclusión ……………………………………………………………….

Referencias bibliográficas …………………………………………….

CADENAS DE MARCOV

Las cadenas de Márkov son un tipo especial de proceso estocástico que se utiliza en la Investigación de Operaciones para predecir eventos futuros basados en eventos previos. Esta herramienta matemática permite determinar los estados o las condiciones futuras utilizando análisis de Márkov y calcular las condiciones a largo plazo. Las cadenas de Márkov son ampliamente utilizadas en la Investigación de Operaciones para resolver problemas de planificación y toma de decisiones en una variedad de campos, como la ingeniería, la economía, la biología y la física.

4.1 Introducción a las cadenas de Markov

Las Cadenas de Markov son un concepto fundamental en la Investigación de Operaciones, una rama de las matemáticas aplicadas que busca resolver problemas de toma de decisiones en sistemas complejos.

Este enfoque se basa en el uso de modelos matemáticos y estadísticos para analizar y optimizar procesos. Las Cadenas de Markov proporcionan un marco poderoso para modelar sistemas estocásticos, donde la evolución del sistema depende solo del estado actual y no de la historia previa.

Los procesos de paseo aleatorio en realidad son un caso particular de procesos más generales que son las cadenas de Markov. En esencia, una cadena es un proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo.

Las cadenas de Markov tienen la propiedad de que la probabilidad de que Xn = j sólo depende del estado inmediatamente anterior del sistema: Xn−1. Cuando en una cadena dichas probabilidades no dependen del tiempo en que se considere, n,

[pic 3]

se denomina cadena homogénea, esto es, las probabilidades son las mismas en cada paso.

Probabilidades de Transición

En una cadena homogénea finita con m posibles estados E1, E2,...,Em se puede introducir la notación

[pic 4]

donde i, j = 1, 2, . . . ,m. Si Pij > 0 entonces se dice que el estado Ei puede comunicar con Ej. La comunicación puede ser mutua si también Pji > 0.

Para cada i fijo, la serie de valores {Pij} es una distribución de probabilidad, ya que en cualquier paso puede ocurrir alguno de los sucesos E1, E2,...,Em y son mutuamente excluyentes.

Los valores Pij se denominan probabilidades de transición que satisfacen la condición[pic 5]

para cada i = 1, 2, . . . , m. Todos estos valores se combinan formando una matriz de transición T de tamaño m × m, donde

[pic 6]

Se puede observar que cada fila de la matriz es una distribución de probabilidad, es decir,

[pic 7]

Observación.

Si las matrices A = [aij] y B = [bij] son matrices estocásticas, entonces C = A · B es también estocástica.

Por la regla de multiplicación de matrices,

[pic 8]

De este modo

[pic 9]

Una consecuencia es que cualquier potencia de la matriz T es también una matriz estocástica: Tn.

[pic 10]

Probabilidad

Una probabilidad de bastante interés es la probabilidad de llegar a Ej después de n pasos, dada una distribución de probabilidad

[pic 11]

[pic 12]

Se observa que es la probabilidad de que el sistema ocupe

inicialmente el estado Ei, de modo que

[pic 13]

[pic 14]

Si se denomina a la probabilidad de alcanzar Ej en un solo paso, entonces, por el teorema de probabilidad total

[pic 15]

Esto se puede expresar de forma vectorial: sean p(0) y p(1) los vectores fila de probabilidad dados por

[pic 16][pic 17]

donde p (0) es la distribución de probabilidad inicial y p (1) es la probabilidad de que se alcance cada uno de los estados E1,...,Em después de un paso. Con esta notación, se puede expresar

[pic 18]

donde T es la matriz de transición.

Del mismo modo,

[pic 19]

[pic 20]

NOTA: es la probabilidad incondicional de estar en el estado Ej en el n- ésimo paso, dado que la probabilidad inicial es p(0), esto es,

[pic 21]

Que es tal que [pic 22]

4.2 Probabilidad de transiciones estacionarias en n de pasos

...