Entropía de la información

1. 8-10-2017
ENTROPÍA DE LA
INFORMACIÓN
Anthony Benalcázar
PONTIFICIA UNIVERSIDAD CATÓLICA DEL ECUADOR SEDE IBARRA

4. FUNDAMENTO DE LA ENTROPÍA
En el proceso de comunicación la información se trata como magnitud física, caracterizando
la información construida con secuencias de símbolos utilizando la entropía. Se parte de la
idea de que los canales no son ideales, aunque muchas veces se idealicen las no
linealidades, para estudiar diversos métodos de envío de información o la cantidad de
información útil que se pueda enviar a través de un canal.
En concreto, en ciertas áreas de la física, extraer información del estado actual de un
sistema requiere reducir su entropía.
De acuerdo a la teoría de la información, el nivel de información de una fuente se puede
medir según la entropía de la misma. Los estudios sobre la entropía son de suma
importancia en la teoría de la información y se deben principalmente a C. E. Shannon.
FUNDAMENTO DE LA ENTROPÍA DE LA INFORMACIÓN, SUS FÓRMULAS
La información necesaria para especificar un sistema físico tiene que ver con su entropía.
En concreto, en ciertas áreas de la física, extraer información del estado actual de un
sistema requiere reducir su entropía, de tal manera que la entropía del sistema (S) y la
cantidad de información (I) extraíble están relacionadas por:
Supongamos que Pi es la probabilidad de ocurrencia del mensaje-i de una fuente, y
supongamos que Li es la longitud del código utilizado para representar a dicho mensaje. La
longitud promedio de todos los mensajes codificados de la fuente se puede obtener como:

5. El objetivo de la compresión de datos es encontrar los Li que minimizan a H, además los Li
se deben determinar en función de los Pi, pues la longitud de los códigos debe depender de
la probabilidad de ocurrencia de los mismos (los más ocurrentes queremos codificarlos en
menos bits). Se plantea pues:
A partir de aquí y tras intrincados procedimientos matemáticos que fueron demostrados
por Shannon oportunamente se llega a que H es mínimo cuando f(Pi) = log2 (1/Pi). Entonces:
La longitud mínima con la cual puede codificarse un mensaje puede calcularse como
Li=log2(1/Pi) = -log2(Pi). Esto da una idea de la longitud a emplear en los códigos a usar para
los caracteres de un archivo en función de su probabilidad de ocurrencia. Reemplazando Li
podemos escribir H como:
De aquí se deduce que la entropía de la fuente depende únicamente de la probabilidad de
ocurrencia de cada mensaje de la misma, por ello la importancia de los compresores
estadísticos (aquellos que se basan en la probabilidad de ocurrencia de cada carácter).
Shannon demostró, oportunamente que no es posible comprimir una fuente
estadísticamente más allá del nivel indicado por su entropía.