Entropía,información y computación

1. INTRODUCCIÓN

En este artículo, reviso las conexiones entre la entropía,información y computación. El advenimiento del mercado masivo la tecnología informática significa que los estudiantes ahora están cómodos capaz con la noción de que la información es física y cuantitativa medible tativamente Los estudiantes están familiarizados con la idea de que cantidades definidas de información pueden almacenarse en forma digital en discos duros y otros medios de almacenamiento y en dinámica memoria. Por lo tanto, la información puede proporcionar un manejo útil para comenzando estudiantes de física estadística que luchan por subestimar soportar el significado de entropía. 

Una discusión de la relación el envío entre información y entropía también les da a los estudiantes perspectiva interdisciplinaria al mostrar que los conceptos se centran El seguimiento a la física estadística también aparece en campos tales como electri ingeniería cal, informática y estadística.

La historia de la relación entre entropía, información, y el cálculo se remonta a la primera mitad del siglo XX siglo con el análisis de Szilard de Maxwell's Demon 1 y El trabajo de Shannon sobre teoría de la comunicación. 2 Jaynes 3 y Brillouin 4 buscó colocar la mecánica estadística en un informe

Fundación teórica de la matemática. La definición de información de Shannon mation es probabilístico y se aplica a conjuntos de mensajes, tal como la definición habitual de entropía se aplica a estadística Conjuntos de microestados. Una definición de la información.

contenido de objetos individuales fue desarrollado independientemente por Solomonoff, 5 Kolmogorov, 6 y Chaitin 7,8 y se muestra a estar íntimamente relacionado con la definición probabilística de Shannon.

En base a esta equivalencia, Bennett 9 y Zurek 10,11 avanzaron la noción de que la entropía de microestados individuales de fisiología Se pueden definir sistemas de calibración. Este punto de vista se adopta en

este artículo.

Los desarrollos anteriores generalmente no se tratan en libros de física estadística estadísticos. Una excepción es Baier-

texto de lein, 13 que presenta el tema de la mecánica estadística ics a nivel elemental utilizando la teoría de la información de Shannon como base Una carta de recursos reciente en esta publicación 12 provide una bibliografía sobre teoría de la información en física.

 II ¿Qué es la información?

El contenido de información, medido en bits, de un documento de texto

ment, grabación de audio o archivo de datos es el número de unidades y los ceros necesarios para almacenar el texto, el sonido o los datos utilizando la mayoría codificación digital eficiente. Como ejemplo, considere una tabla de datos climáticos Por simplicidad, supongamos que hemos grabado solo si ha llovido o no en un día determinado. Un cero

significa "sin lluvia" y uno significa "algo de lluvia". Primero, supongamos que tenemos un  

Seattle Simplificamos el ejemplo asumiendo que todos los días

es independiente de los días anteriores y hay un problema del 50%

capacidad de que lloverá todos los días. Los datos meteorológicos que

haber registrado también podría haber venido de lanzamientos de monedas y

8000 días de clima requerirán 8000 unos y ceros. UNA

registro típico podría verse como

0011101100101110001100110000111101101011110100000

10010001101000 ...

Decimos que el contenido de información del conjunto de datos es 8000

bits, 1 bit por día. En la jerga informática, 8 bits son 1 byte, así que necesitaría 1 kilobyte de espacio en un disco duro para almacenar el

datos. Un punto crucial es que porque los datos son aleatorios y sin patrón, es casi seguro que no hay forma de comprimir a menos de 1 kilobyte.

A continuación, considere el clima muy diferente de Tucson, Arizona Supongamos nuevamente que cada día es independiente, pero que llueve solo 1 día de 31 en promedio. Un típico

el registro podría verse como

000000000000000000000000100000000000000000000000

000000000000000 ...

Usando la misma codificación que antes, necesitaríamos lo mismo 1 kilobyte por 8000 días de clima. Sin embargo, un típico

el registro estará dominado por ceros, y hay más compacto formas de almacenar los datos de Tucson aprovechando

El conocimiento de que la lluvia es rara. Aquí hay un enfoque. Dividir el registro en intervalos de 31 días y para cada intervalo indica en binario en qué días, si alguno, llovió. El código binario es como sigue: la palabra 11111 marca el final de cada 31 días intervalo, la palabra 00001 significa lluvia el primer día de la inter

val, 00010 significa lluvia el día dos, 00011 significa lluvia el día 3, y así sucesivamente, hasta 11110, lo que significa lluvia el día 31. Un registro meteorológico arbitrario se puede almacenar de esta manera. Porque habrá divisores de 8000/31 meses y aproximadamente 8000/31 días lluviosos, necesitaremos aproximadamente (8000/31) 52 bits o 0.32 bits por día Esta cantidad es mucho mejor que 1 bit por día, aunque no es la compresión óptima. Como ya veremos, la mejor compresión es de aproximadamente 0.21 bits / día.

Para resumir, decimos que el contenido de información de un record es el número de bits (unos o ceros) necesarios para codificar

el registro de la manera más eficiente posible. Esta definición está formalizado por la teoría de la información algorítmica 8 y lo haremos referirse a la información medida de esta manera como información algorítmica

contenido de mation. Una secuencia arbitraria s de ceros y unos tiene un contenido de información algorítmica K ( s ) que está definido ser el tamaño, en bits, del programa de computadora más pequeño que se puede ejecutar para imprimir la secuencia. La noción de programa se usa ampliamente aquí para incluir tanto las instrucciones para computadora y el archivo de datos. Por lo tanto, en el clima anterior ex-amplio también deberíamos haber incluido el espacio ocupado por el instrucciones. Para el ejemplo de Seattle, estas instrucciones son muy simples porque los datos no fueron comprimidos. por

En el ejemplo de Tucson, las instrucciones involucran la descompresión. Sión de los datos de acuerdo con las reglas establecidas. En ambos casos, las instrucciones son una contribución insignificante para grandes datos

conjuntos. Aunque existen ambigüedades sobre la elección de computadora utilizada para imprimir la secuencia, para una amplia clase de computadoras '' universales '', estas diferencias aparecen como aditivas constantes y dejan de ser importantes para grandes conjuntos de datos.

La información algorítmica a veces se llama algorítmica aleatoriedad Algunos ejemplos simples ilustran la relación enviar entre información y aleatoriedad. Primero considere un cadena de N unos. Esta cadena tiene muy poca información carpa porque las instrucciones para la computadora son simples

bucle, "Para i 1 a N , imprima 1 y luego pare". No hay archivo de datos adicional para leer. Una cadena de N unidades es com

Completamente ordenado y nada aleatorio. Por otro lado, el

El resultado del lanzamiento de N monedas tiene una información algorítmica tienda de campaña que generalmente se trata de N porque generalmente no hay posible compresión de los datos, y es necesario almacenar todo el archivo de datos Para una cadena aleatoria típica, la instrucción las opciones son simples '' Para i 1 a N , imprima el registro i en los datos archivo y luego parada '', pero el archivo de datos tiene un tamaño de orden N .

Los resultados de los procesos aleatorios generalmente tienen una alta información.

contenido de la sección Sin embargo, es posible lanzar una moneda N veces y producir N cabezas o algún otro patrón ordenado con

Poco contenido de información. No todas las secuencias que parecen ser

aleatorio tiene un alto contenido de información algorítmica. Por ejemplo amplio, los primeros N bits de las expresiones binarias para π o e parece aleatorio y pasa la mayoría de las pruebas estadísticas de aleatoriedad,

pero tienen poco contenido de información algorítmica porque existen algoritmos concisos para calcular estos números

precisión arbitraria Por otro lado, cualquier secuencia que tenga un contenido de información algorítmica comparable a la longitud

de la secuencia parecerá ser aleatorio y pasará todo

pruebas estadísticas de aleatoriedad. Por lo tanto, información algorítmica

a veces se llama aleatoriedad algorítmica. Aleatoriedad

e información son formalmente lo mismo. Si queremos

enfatizamos la utilidad o el valor de algunos datos, hablamos de

...