AREA DE ENERGIA LAS INDUSTRIAS Y LOS RECURSOS NATURALES NO RENOVABLES[pic 7][pic 8] MÓDULO VI

[pic 1][pic 2][pic 3][pic 4][pic 5][pic 6]

UNIVERSIDAD NACIONAL DE LOJA

AREA DE ENERGIA LAS INDUSTRIAS Y LOS RECURSOS NATURALES NO RENOVABLES[pic 7][pic 8]

MÓDULO VI

[pic 9]

“Entropía Condicional”

Período Académico: Septiembre-febrero 2016

DOCENTE: ING.PAULO SAMANIEGO

ALUMNO:  NELSON BARRAZUETA                   

MATERIA: TEORÍA DE LA INFORMACIÓN

FECHA: MARTES, 20 DE OCTUBRE DE 2015

LOJA – ECUADOR

2015

Entropía Condicional

La entropía condicional es una medida de la incertidumbre que tenemos sobre X cuando conocemos Y.

Entropías a considerar en un sistema

Igual que cuando se estudió las probabilidades en el caso de tener dos variables aleatorias (Ej.: transmisor X y receptor Y) se consideran las siguientes entropías para medir relaciones entre las variables:

H(X): Información o entropía por carácter en el transmisor (en bits)

H(Y): Información o entropía por carácter en el receptor (en bits)

H (X, Y): Información o entropía por par de caracteres transmitidos y recibidos (en bits)

H (Y| X): Información o entropía condicional sobre el receptor Y sabiendo que X = i fue transmitido (en bits)

H (X| Y): Información o entropía condicional sobre el transmisor sabiendo que Y= j fue recibido, también conocido como equivocación (en bits)

• Si se supone que una variable alectorias X representa el símbolo que se transmitirá a través de un canal de comunicación y otra variable aleatoria Y representa el símbolo que se recibe después de la transmisión.

La entropía del vector (X, Y) es:

[pic 10]

La entropía condicional de Y dado que X= es:[pic 11]

[pic 12]

La entropía condicional de Y dado que X es:

[pic 13]

• La entropía condicional mide la incertidumbre sobre el valor de Y que se tiene una vez que se conoce X.

Propiedades

1. Aditividad fuerte.

H (X, Y) =H(X)+H(Y|X)

1. Aditividad

Si X y Y son variables aleatorias independientes entonces:

H (X, Y) =H(X)+H(Y)

1. Subaditivilidad

H (X, Y) <=H(X)+H(Y)

Ejercicio 1.

La Serie Mundial es una serie de siete juegos que termina cuando un equipo gana cuatro juegos. Sea X la variable aleatoria que representa el resultado de una serie entre los equipos A y B. Algunos posibles valores de X son AAAA, BABABAB y BBBAAAA. Sea Y el número de juegos jugados, cuyo rango esta entre 4 y 7. Asumiendo que los equipos están a la misma altura y que los juegos son independientes se quiere calcular H(X), H (Y), H (Y |X) y H (X|Y).

RESOLUCIÓN:

Hay que ver primero cuáles son todas las posibles series mundiales o valores de X y sus respectivas probabilidades. Por ejemplo, los valores que puede tomar X si el número de juegos, n, de la serie es 4 son AAAA, BBBB. Si n = 5 los valores que toma X son BAAAA, ABAAA, AABAA, AAABA, ABBBB, BABBB, BBABB, BBBAB

La distribución de Y es:

[pic 18]

[pic 19]

[pic 20]

[pic 21]

Ahora se puede calcular H(X), H (Y), H (Y |X) y H (X|Y)

...