Entropía de una fuente

1. Fundamento de la entropía
Se usa la entropía para medir el nivel de información de una fuente, partiendo desde la idea
que los canales no son ideales para estudiar diversos métodos de envío de información o la
cantidad útil de información que se pueda enviar a través de un canal.
Elementos de la
teoría
FuenteEntropía
Información
CódigoMensaje
Todo aquello que emite
mensajes, pueden ser
computadoras, dispositivos
de transmisión de datos,
Etc.
Existen varios tipos de
fuente como:
-Aleatorias: No es posible
predecir qué mensaje o
que señal puede emitir
-Estructurada: Cuando se
puede deducir que mensaje
o señal puede emitir.
Es un conjunto de
ceros y unos. Todo
lo que tenga una
representación
binaria puede ser
considerado como
un mensaje. Este
concepto también
se aplica a
alfabetos de 2 una
cadena de 2 o más
caracteres.
Representa un
mensaje
mediante
conjuntos de
ceros y unos
mediante
reglas
preestablecida
s.
Depende de la
cantidad de una
cantidad mínima
de bits para poder
entender un
mensaje.
Usada para saber
el nivel de la
información de
una fuente.

2. Entropía de una
Fuente
De acuerdo a la teoría de la
información, el nivel de información de
una fuente se puede medir según la
entropía de la misma
Fuente de orden-0
La probabilidad de ocurrencia de un
mensaje no depende de los mensajes
anteriores, y son usadas para representar
fuentes de orden superior.
Definimos la probabilidad de
ocurrencia de un mensaje en una
fuente como la cantidad de
apariciones de dicho mensaje
dividido entre el total de mensajes
La entropía de la fuente determina el nivel de
compresión que podemos obtener como
máximo para un conjunto de datos,
considerando únicamente la frecuencia de
aparición de cada carácter la entropía de la
fuente nos da el límite teórico de compresión.

3. Fundamento de la entropía de la información.
La entropía, en la teoría de la información, es una magnitud que mide la información provista
por una fuente de datos, es decir, lo que nos aporta sobre un dato o hecho concreto.
Fórmulas para determinar la cantidad de la entropía recibida:
I(suceso) = f(1/P(suceso))
Sea E un suceso que puede aparecer con probabilidad P(E). Cuando E tiene lugar, decimos
que hemos recibido:
I(E)=lg(1/P(E)) unidades de información.
La elección de la base del logaritmo equivale a elegir la unidad de medida de la información.
Si la base escogida es 2, la unidad correspondiente se denomina bit (BInary uniT):
I(E)=lg2(1/P(E))bits
Si se emplean logaritmos neperianos, la unidad recibe el nombre de nat (NAtural uniT)
I(E)=ln(1/P(E))nats
En el caso de logaritmos de base 10, la unidad de información es Hartley:
I(E)=lg10(1/P(E))hartleys
En general, empleando una base genérica r: unidades de orden
I(E)=lgr(1/P(E)) unidades de orden r
El cambio de unidades es inmediata, sin más que aplicar la siguiente relación:
Lga x= (lgb(x))/(lgb (a))