Markov

Los procesos de paseo aleatorio en realidad son un caso particular de procesos más

generales que son las cadenas de Markov. En esencia, una cadena es un proceso en tiempo

discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo. Las

cadenas de Markov tienen la propiedad de que la probabilidad de que Xn = j sólo depende

del estado inmediatamente anterior del sistema: Xn−1. Cuando en una cadena dichas

probabilidades no dependen del tiempo en que se considere, n,

P (Xn = j | Xn−1 = i)

se denomina cadena homogénea, esto es, las probabilidades son las mismas en cada paso.

Probabilidades de Transición

En una cadena homogénea finita con m posibles estados E1,E2, . . . , Em se puede introducir

la notación

pij = P (Xn = j | Xn−1 = i) ,

donde i, j = 1, 2, . . . , m. Si pij > 0 entonces se dice que el estado Ei puede comunicar con

Ej . La comunicación puede ser mutua si también pji > 0.

Para cada i fijo, la serie de valores {pij} es una distribución de probabilidad, ya que

en cualquier paso puede ocurrir alguno de los sucesos E1,E2, . . . , Em y son mutuamente

excluyentes. Los valores pij se denominan probabilidades de transición que satisfacen la

1

condición

pij > 0,

Xm

j=1

pij = 1,

para cada i = 1, 2, . . . , m. Todos estos valores se combinan formando una matriz de

transición T de tamaño m× m, donde

T = [pij] =

⎡

⎢⎢⎢⎣

p11 p12 · · · p1m

p21 p22 · · · p2m

...

...

. . .

...

pm1 pm2 · · · pmm

⎤

⎥⎥⎥⎦

Se puede observar que cada fila de la matriz es una distribución de probabilidad, es decir,

Pm

j=1 pij = 1.

Observación.

Si las matrices A = [aij ] y B = [bij ] son matrices estocásticas, entonces C = A · B es

también estocástica.

Por la regla de multiplicación de matrices,

C = [cij] = [aij ] · [bij] =

"

Xm

k=1

aikbkj

#

De este modo

Xm

j=1

cij =

Xm

j=1

Xm

k=1

aikbkj =

Xm

k=1

aik

Xm

j=1

bkj =

Xm

k=1

aik · 1 = 1.

Una consecuencia es que cualquier potencia de la matriz T es también una matriz estocástica:

Tn.

...