Este documento trata sobre la entropía en termodinámica, teoría de sistemas y teoría de la comunicación. Explica que la entropía en termodinámica mide la parte de la energía que no puede usarse para producir trabajo y que aumenta en sistemas aislados. En teoría de sistemas, la entropía describe cómo los sistemas tienden al desorden y al estado más probable. Finalmente, en teoría de la comunicación, presenta fórmulas para calcular la entropía de una fuente de información y ejemp

1. 10-11-2017 ENTROPÍA DE LA
INFORMACIÓN
Anthony Benalcázar
PONTIFICIA UNIVERSIDAD CATÓLICA DEL ECUADOR
SEDE IBARRA

2. ENTROPÍA EN LA TERMODINÁMICA
En termodinámica, la entropía (simbolizada como S) es una magnitud física que, mediante cálculo,
permite determinar la parte de la energía que no puede utilizarse para producir trabajo. Es una
función de estado de carácter extensivo y su valor, en un sistema aislado, crece en el transcurso de
un proceso que se dé de forma natural. La entropía describe lo irreversible de los sistemas
termodinámicos.
ENTROPÍA EN TEORÍA DE SISTEMAS
Los sistemas tienden a buscar su estado más probable (posible), es decir, busca un nivel más
estable que tiende a ser lo más caótico.
Se llama estado de máxima entropía en el preciso instante cuando el sistema esté a punto de
cambiar de un estado “e” a un estado “e+1”.
La entropía está relacionada con la tendencia natural de los objetos a caer en un estado de
desorden. Todos los sistemas no vivos tienden hacia el desorden; si los deja aislados, perderán con
el tiempo todo movimiento y degenerarán, convirtiéndose en una masa inerte.
ENTROPÍA TEORÍA DE LA COMUNICACIÓN (FÓRMULAS)

3. PROPIEDADES DE LA ENTROPÍA
Sea S una fuente de memoria nula, su entropía siempre estará comprendida entre:
0 ≤ H(s) ≤ lg q
 Donde q es el número de símbolos de la fuente.
Se demuestra de forma razonada ambos valores extremos.
a) 0 ≤ H(S)
El valor mínimo se tendrá cuando el conocimiento del símbolo generado por la fuente
no nos proporcione ninguna información; dicho de otra manera, no existe incertidumbre
alguna ante la salida de la fuente.
Es fácil darse cuenta que esto ocurrirá cuando la probabilidad de algún símbolo de la
fuente sea 1, y, por lo tanto, la del resto 0
b) H(S) ≤ lg q
Donde el término de la izquierda es la entropía de una fuente con un alfabeto S y una
distribución de probabilidades cualquiera. Queda, entonces, como buscábamos:
H(S) ≤ lg q
Por lo tanto, el valor máximo que puede tener la entropía de una fuente de q símbolos
es lg q, y sólo se dará cuando éstos sean equiprobables.

4. CALCULAR LA CANTIDAD DE BITS RECIBIDOS EN LOS SIGUIENTES EVENTOS
 Conocer en qué día de la semana estamos
P(dias ∶ semanas ) = log (
1
1
7
) = 2.81
 Conocer en qué mes del año estamos
P(mm: dd ) = log
1
1
12
= 3.58
 Conocer en qué minuto se encuentra un partido de fútbol
P(mm) = log (
1
1
90
) = 6.49