El documento trata sobre el concepto de entropía en diferentes áreas como la física termodinámica, la teoría de sistemas y la teoría de la comunicación. En física termodinámica, la entropía indica la dirección de los procesos naturales y aumenta con cada proceso irreversible. En teoría de sistemas se estudia para controlar que cada sistema tenga mecanismos de revisión. En teoría de la comunicación, la entropía mide la cantidad de información recibida en función de la probabilidad de los event

1. Entropía en la Física Termodinámica.
La entropía indica la dirección en la que evolucionan algunos procesos naturales.
Según (José, 1989):
“La entropía es una función de estado de carácter extensivo y su valor en un sistema asilado
crece en el transcurso de todo proceso natural que tenga lugar en él, midiendo el grado de
irreversibilidad del proceso”.
Entropía en la Teoría de Sistemas
Se estudia para tener un control de cada uno de los sistemas entrópicos, y así los mismos
pueden tener un sistema de control y mecanismos de revisión, reelaboración y cambio
permanente, para evitar el desgaste del mismo.
Entropía en la Teoría de la Comunicación
Fórmulas para determinar la cantidad de la entropía recibida:
I(suceso) = f(1/P(suceso))
Sea E un suceso que puede aparecer con probabilidad P(E). Cuando E tiene lugar, decimos
que hemos recibido:
I(E)=lg(1/P(E)) unidades de información.
La elección de la base del logaritmo equivale a elegir la unidad de medida de la información.
Si la base escogida es 2, la unidad correspondiente se denomina bit (BInary uniT):
I(E)=lg2(1/P(E))bits
Si se emplean logaritmos neperianos, la unidad recibe el nombre de nat (NAtural uniT)
I(E)=ln(1/P(E))nats
En el caso de logaritmos de base 10, la unidad de información es Hartley:
I(E)=lg10(1/P(E))hartleys
En general, empleando una base genérica r: unidades de orden
I(E)=lgr(1/P(E)) unidades de orden r
El cambio de unidades es inmediata, sin más que aplicar la siguiente relación:
Lga x= (lgb(x))/(lgb (a))

2. Propiedades de la entropía
Sea S una fuente de memoria nula, su entropía siempre estará comprendida entre:
0 ≤ H(s) ≤ lg q
Donde q es el número de símbolos de la fuente.
a) 0 ≤ H(S)
El valor mínimo se tendrá cuando el conocimiento del símbolo generado por la fuente no nos
proporcione ninguna información; dicho de otra manera, no existe incertidumbre alguna ante
la salida de la fuente.
b) H(s)< lg q
El valor máximo que puede tener la entropía de una fuente de q símbolos es lg q, y sólo se
dará cuando éstos sean equiprobables.
Calcular la cantidad de bits recibidos en las siguientes cuentas
-Conocer en qué día de la semana estamos
P=1/7
Resultado= log2(1/ (1/7)) = 2.8 bits
-Conocer en qué mes del año estamos
Resultado= log2(1/1/12) = 3.58 bits
-Conocer los minutos en que se encuentra un partido de fútbol
Resultado = log2(1/1/90) = 6.49 bits
Bibliografía:
José, I. (1989). Física. Murcia.
Salazar, A. (s.f.). Teoría de Sistemas Aplicada a la Ingeniería Industrial. Obtenido de Centro Cultural
Itaca:
http://cursos.aiu.edu/Teoria%20de%20Sistemas%20Aplicada%20a%20la%20Ingenieria%2
0Industrial/PDF/Tema%203.pdf