Este documento describe los conceptos básicos de la teoría de la información, incluyendo la clasificación de fuentes, componentes de un sistema de comunicación, entropía de fuentes de información y tipos de códigos como codificable, no codificable, Huffman y adaptable. Explica que la teoría de la información proporciona un marco matemático para el manejo inteligente de la comunicación a través de técnicas como cifrado, corrección de errores y compresión de datos.

2. TEORIA DE LA
INFORMACION
• Proporciona una serie de conceptos y
formulaciones desde el punto de vista
matemático, que permiten en última
instancia plantear alternativas para el
manejo inteligente del proceso de
comunicación.

3. SU ESTUDIO
• Permite conocer las técnicas de cifrado,
corrección y detección de errores y
procesos de eliminación de redundancia
en una información

4. COMPONENTES
• MENSAJE- código
• FUENTE- sujeto
• RECEPTOR- sujeto
• CANAL- medio

5. FUENTE DE
INFORMACION
• En un sistema de comunicación, es un
elemento que produce mensajes, y éstos
pueden ser análogos o discretos.
• Es todo aquello que emite mensajes

6. CLASIFICACION DE
FUENTES
• Aleatoria o determinística
– Una fuente es aleatoria cuando no es posible
predecir cual es el próximo mensaje a emitir por la
misma
• Estructurada
– Una fuente es estructurada cuando posee un cierto
nivel de redundancia
– Redundancia: La redundancia hace referencia al almacenamiento
de los mismos datos varias veces en diferentes lugares

7. ENTROPIA (FUENTE DE
INFORMACION)
• Determina la parte de la energía que no puede utilizarse para
producir trabajo
• De acuerdo a la teoría de la información, el nivel de
información de una fuente se puede medir según la entropía
de la misma.
• Shannon demostró, oportunamente que no es posible
comprimir una fuente estadísticamente mas allá del nivel
indicado por su entropía.
• Entropía: se define como una medida del orden o restricciones para
llevar a cabo un trabajo

8. FORMULA ENTROPIA FI
• PI= probabilidad ocurrida
• H= longitud promedio
• la fuente depende únicamente de la probabilidad
de ocurrencia de cada mensaje

9. TIPOS DE CODIGOS

10. EJEMPLO
• Sea el siguiente esquema de codificación:
a=0
b=01
c=10
• Si el decodificador recibe el código: "0010" no
puede distinguir si el mensaje original fue "aba" o
"aac", ya que puede interpretarlo como 0 01 0 o
como 0 0 10

11. DECODIFICABLE
•Un código es decodificable sí y
solo sí un código solo puede
corresponder a un único mensaje.

12. EJEMPLO
• a=0
b=10
c=11
• Es un código prefijo, notar que si agregamos
mas códigos estos no pueden comenzar con "0"
ni "10" ni "11" pues el decodificador los
confundiría con "a" "b" o "c", en consecuencia a
este código no podríamos agregarle nuevos
códigos.

13. NO DECODIFICABLE
•Todo el proceso de codificación
en sí deja de tener sentido pues
no es posible decodificar
correctamente los mensajes.

14. CODIGOS HUFFMAN
• Es un algoritmo usado para compresión de datos
• La compresión Huffman es un sistema de
longitud variable que asigna los códigos más
pequeños a aquellos caracteres más
frecuentemente usados y los códigos más largos a
aquellos menos frecuentes. Esto sirve para
reducir el tamaño de los archivos.

15. EJEMPLO
• El código "00111" solo puede corresponder a
"abc“
• El decodificador es incapaz de deducir esto a
medida que va leyendo los códigos, necesita
saber cuales van a ser los próximos bits para
poder interpretar los anteriores

16. CÓDIGO N-ARIO
• El algoritmo n-ario de Huffman usa el
alfabeto {0,1,….,n-1} para codificar el mensaje
y construir un árbol n-ario.

17. CÓDIGO ADAPTABLE
• implica calcular las probabilidades
dinámicamente basadas en frecuencias actuales
recientes en la secuencia de símbolos de la fuente
y cambiar la estructura del árbol de codificación
para corresponder a las estimaciones de
probabilidad actualizadas.
• Es muy raro en la práctica porque actualizar el
árbol lo hace más despacio