P es la matriz de probabilidades de transición

P es la matriz de probabilidades de transición.

Definición 2.3. Una matriz P se llama estocástica si cada uno de sus elementos, pij ≥ 0,

i, j ≥ 0 y , es decir cada uno de los elementos de la matriz es mayor o igual

que cero y en cada renglón su suma es uno.

1 ij

j E

p

∈

∑ =

Definición 2.4. Una matriz P se llama doblemente estocástica si cada uno de sus elementos

pij ≥ 0 , i, j ≥ 0 , 1 y ij

j E

p

∈

∑ = 1 ij

i E

p

∈

∑ =

La definición 2.4 nos dice que una matriz es doblemente estocástica si tanto sus

columnas como sus renglones suman uno.

Ejemplo 2.1. Supóngase que la posibilidad de que el día de mañana llueva sólo depende

de la situación climatológica de hoy y no de días previos, además supongamos que si

llueve hoy, la probabilidad de que mañana llueva es α y si hoy no llueve, la

probabilidad de que llueva mañana es β, esto quiere decir que si hoy llueve, entonces

mañana no lloverá con probabilidad 1 – α y si hoy no llueve, la probabilidad de que

mañana tampoco sería 1 – β, si consideramos que el estado 0 es que llueva y al estado 1

26 Cadenas de Markov Capítulo 2 ________________________________________________________________________________

0

0

1

#

0

que no llueva, claramente bajo los supuestos que hemos hecho éste ejemplo es una

cadena de Markov con la siguiente matriz de transición,

P =   1

1

α α

β β

  −

  −

Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad p

de ganar $1 o perder $1 con probabilidad 1 – p , el jugador se retirará cuando se quede

sin dinero o bien cuando haya duplicado su dinero original $N.

Si consideramos Xn como el dinero que tienen el apostador después de la n-ésima

vez que apuesta, Xn claramente es una cadena de Markov, ya que lo que va apostar

únicamente dependerá del dinero que tenga actualmente y no de lo que haya jugado

antes, Xn tienen espacio de estados E = {0, 1 , 2, … , 2N}, sus probabilidades de

transición son

pij = p con j = i +1 , i = 1, 2, … , 2N – 1

pij = 1 – p con j = i – 1, i = 1, 2, … , 2N – 1 y

p00 = p2N,2N = 1

los estados 0 y 2N son estados absorbentes, este concepto lo definiremos más adelante,

de aquí obtenemos la siguiente matriz de transición

P =  

1 0 00 0 0

1 0 0 00

0 1 0 0 00

0 0 00 1 0

...