TEORÍA DE LA INFORMACIÓN

TEORÍA DE LA INFORMACIÓN

• El objetivo de un sistema de comunicación en su sentido amplio es la transmisión eficiente de información de un punto denominado ORIGEN, a otro punto denomInado DESTINO.

• Los análisis de señales y circuitos nos permiten presentar una serie de elementos y sistemas eléctronicos que realizan dicho objetivo con eficiencia y seguridad.

• La teoría de la información nos proporciona una serie de conceptos y formulaciones desde el punto de vista matemático, que permiten en última instancia plantear alternativas para el manejo inteligente del proceso de comunicación.

• La teoría de la información nos resuelve desde el punto de vista de la ingeniería situaciones como:

a) Cuál es el contenido real de información de un mensaje?

b) Entre varias formas de expresar un mensaje cuál es la óptima cuando se trata de optimizar parámetros como: tiempo invertido para transmitirlo, ancho de banda, cantidad de símbolos o señales para representarlo?

c) Si los mensajes se codifican para su almacenamiento y transmisión, cómo selecciono o diseño un código óptimo para ello?

d) Cuál es la capacidad máxima, que un medio ó canal específico de comunicación tiene para transmitir información?

e) Cómo acoplo el canal de comunicación con la fuente de información a fin de lograr la máxima transferencia de información por el canal, con mínima probabilidad de pérdida de información?

f) Cómo puede el receptor de la información, procurar que la posibilidad de error sea mínima? Cómo puede darse cuenta de que hay un error y cómo lograr corregirlo?

g) Cómo logro introducir cambios a la estructura de una información para

a) Facilitar su inmunidad a perturbaciones naturales o artificiales (ruido).

b) Rescatar la información ante eventuales errores en la transmisión.

c) Encriptarla para mínima posibilidad de captura por receptores no autorizados.

d) Minimizar el número de elementos de código necesarios para representar una información: Compresión.

• Puede definirse alternativamente la teroría de la información, como el campo de la cibernética que se ocupa de la descripción y evaluación matemática de los métodos de transmisión, conservación, extracción, clasificación y medida de la infromación.

• El estudio de la teoria de la información debe permitir: conocer las técnicas de cifrado, corrección y detección de errores y procesos de eliminación de redundancia en una información,

CONCEPTOS BÁSICOS DE LA TEORÍA DE LA INFORMACIÓN

Medida de la Información:

1.1 Fuentes de Información: Una fuente de información es un objeto, que produce a su salida un evento; dicha salida es seleccionada aleatoriamente de acuerdo a una probabilidad de distribución. En un sistema de comunicación, es un elemento que produce mensajes, y éstos pueden ser análogos o discretos. Una fuente discreta está formada por un conjunto finito de símbolos. Las fuentes de información pueden clasificarse en fuentes con memoria y fuentes sin memoria. Una fuente sin memoria pude especificarse por: la lista de símbolos, la probabilidad de ocurrencia de los símbolos, y la rata de generación de los símbolos de la fuente.

1.2 Contenido de Información de Fuentes discretas sin memoria.

La cantidad de información de un mensaje, es inversamente proporcional a la probabilidad de ocurrencia.

Si un evento es conocido, la información aportada es cero, de hecho su probabilidad de ocurrencia es uno.

La probabilidad de un mensaje siempre estará en un valor entre cero y uno.

La información contenida en eventos independientes debería sumarse.

bits

Si existe un mensaje x1, con una probabilidad de ocurrencia P(x1), el contenido de información puede expresarse según .

tendrá como unidad el bit, si empleamos logaritmos binarios.

Tendrá como unidad el HARTLEY, si empleamos logaritmos decimales.

Tendrá como unidad el NAT, si empleamos logaritmos naturales.

La conversión de unidades podrá realizarse de acuerdo a la siguiente expresión:

1.3 Entropía de una Fuente de Información: H

Es un parámetro que nos permite determinar el contenido promedio de información de una fuente o un mensaje en particular. En un proceso de comunicación, transmitimos usualmente secuencias largas de símbolos, y estamos mas interesados en el contenido promedio de información que la fuente produce, que en la información contenida en cada símbolo. Luego:

1.4 Rata de Información:

Si la fuente emite símbolos a una rata r (símbolos/segundo), la rata o velocidad de emisión de información de la fuente puede expresarse como:

Por lo anterior podemos decir que el contenido de información de cualquier mensaje es igual al mínimo número de digitos que se requieren para codificarlo. La entropía es igual al mínimo número de digitos por mensaje o símbolo, en promedio, necesarios para codificarlo.

EL CANAL DE COMUNICACIÓN

Es la trayectoria o medio a través del que fluyen los símbolos del origen al destino. Un canal discreto sin memoría, (DMC), es un modelo estadístico, con una entrada X, y una salida Y. Durante cada unidad de tiempo, o intervalo de señalización, el canal acepta un símbolo de entrada de X, y en respuesta genera un símbolo de salida de Y. El canal es discreto, cundo los alfabetos X, Y, son finitos. Es “sin memoria” , cuando el símbolo de salida corriente, depende solamente del símbolo corriente a la entrada, y no de ningún símbolo previo. La figura muestra un canal DMC, con m entradas y n salidas.

x1

x2

x3

xi

xm

X y

La entrada X, consiste de los símbolos de entrada x1, x2, xi,... xm. Sus probabilidades a priori se conocen: P(xi). La salida Y, consiste de los símbolos y1, y2, yj,....yn. Cada posible trayectoria de entrada – salida, se expresa con una probabilidad condicional P(yi/xj), donde P (xi/yj) P( y1/x1 ) P( y1/x1 ), es la probabilidad condicional de obtener la salida yj, dada la entrada xi, y es llamada la probabilidad de transcición del canal.

Matrix del Canal.

Un canal pude especificarse por el conjunto completo de probabilidades de transcición. Se genera la matrix [P(Y/X)] , conocida como matriz del canal.

P( y1/x1 ) P( y2/x1 ) ................ P( yn/x1 )

P( y1/x2 ) P( y2/x2 ).... ...... P( yn/x2 )

[ P ( Y/X ) ]

...