Este documento presenta los conceptos fundamentales de la teoría de la información. Explica que estudia las técnicas de cifrado, corrección de errores y eliminación de redundancia para mejorar la comunicación. Describe los componentes de un sistema de comunicación, incluyendo la fuente que produce mensajes, el receptor y el canal por el que viaja la señal, la cual puede verse afectada por ruido. Además, introduce conceptos como entropía, codificación y tipos de códigos.

1. Ing. Esp. Mast. Elkin Fernando Zamora Rangel

2. TEORIA DE LA
INFORMACION
• Proporciona una serie de conceptos y
formulaciones desde el punto de vista
matemático, que permiten en última
instancia plantear alternativas para el
manejo inteligente del proceso de
comunicación.

3. SU ESTUDIO
•Permite conocer las técnicas de cifrado,
corrección y detección de errores y
procesos de eliminación de redundancia
en una información

4. COMPONENTES
•MENSAJE- código
•FUENTE- sujeto
•RECEPTOR- sujeto
•CANAL- medio

5. FUENTE DE
INFORMACION
• En un sistema de comunicación, es un
elemento que produce mensajes, y éstos
pueden ser análogos o discretos.
• Es todo aquello que emite mensajes

6. CLASIFICACION DE
FUENTES
• Aleatoria o determinística
– Una fuente es aleatoria cuando no es posible
predecir cual es el próximo mensaje a emitir por la
misma
• Estructurada
– Una fuente es estructurada cuando posee un cierto
nivel de redundancia
– Redundancia: La redundancia hace referencia al almacenamiento
de los mismos datos varias veces en diferentes lugares

7. ENTROPIA (FUENTE DE
INFORMACION)
• Determina la parte de la energía que no puede utilizarse para
producir trabajo
• De acuerdo a la teoría de la información, el nivel de
información de una fuente se puede medir según la entropía
de la misma.
• Shannon demostró, oportunamente que no es posible
comprimir una fuente estadísticamente mas allá del nivel
indicado por su entropía.
• Entropía: se define como una medida del orden o restricciones para
llevar a cabo un trabajo

8. FORMULA ENTROPIA FI
• PI= probabilidad ocurrida
• H= longitud promedio
• la fuente depende únicamente de la probabilidad
de ocurrencia de cada mensaje

9. TIPOS DE CODIGOS

10. EJEMPLO
• Sea el siguiente esquema de codificación:
a=0
b=01
c=10
• Si el decodificador recibe el código: "0010" no
puede distinguir si el mensaje original fue "aba" o
"aac", ya que puede interpretarlo como 0 01 0 o
como 0 0 10

11. DECODIFICABLE
•Un código es decodificable sí y
solo sí un código solo puede
corresponder a un único mensaje.

12. EJEMPLO
• a=0
b=10
c=11
• Es un código prefijo, notar que si agregamos
mas códigos estos no pueden comenzar con "0"
ni "10" ni "11" pues el decodificador los
confundiría con "a" "b" o "c", en consecuencia a
este código no podríamos agregarle nuevos
códigos.

13. NO DECODIFICABLE
•Todo el proceso de codificación
en sí deja de tener sentido pues
no es posible decodificar
correctamente los mensajes.

14. CODIGOS HUFFMAN
• Es un algoritmo usado para compresión de datos
• La compresión Huffman es un sistema de
longitud variable que asigna los códigos más
pequeños a aquellos caracteres más
frecuentemente usados y los códigos más largos a
aquellos menos frecuentes. Esto sirve para
reducir el tamaño de los archivos.

15. EJEMPLO
• El código "00111" solo puede corresponder a
"abc“
• El decodificador es incapaz de deducir esto a
medida que va leyendo los códigos, necesita
saber cuales van a ser los próximos bits para
poder interpretar los anteriores

16. CÓDIGO N-ARIO
• El algoritmo n-ario de Huffman usa el
alfabeto {0,1,….,n-1} para codificar el mensaje
y construir un árbol n-ario.

17. CÓDIGO ADAPTABLE
• implica calcular las probabilidades
dinámicamente basadas en frecuencias actuales
recientes en la secuencia de símbolos de la fuente
y cambiar la estructura del árbol de codificación
para corresponder a las estimaciones de
probabilidad actualizadas.
• Es muy raro en la práctica porque actualizar el
árbol lo hace más despacio

18. El modelo comunicativo de la
teoría de la información
El origen del modelo comienza
con los trabajos de ingeniería de
las telecomunicaciones

19. El modelo comunicativo de la
teoría de la información
• Estudio de Nyquist de 1924: sobre la
velocidad de transmisión de los mensajes
telegráficos.
• Estudio de Hartley de 1928: sobre la
medida de la cantidad de información.
• El esquema publicado por Shannon en
1948 en el Bell System Technical Journal,
de la teoría matemática de la información.

20. El modelo comunicativo de la
teoría de la información
• Todos estos estudios tienen por objeto:
• Mejorar la velocidad de la transmisión de
los mensajes.
• Disminuir las distorsiones y las pérdidas
de información.

21. Teoría matemática de la
información
• Es básicamente
una teoría
sobre la
transmisión
óptima de los
mensajes.

22. Teoría matemática de la información
• Shannon y Weaver identifican tres niveles de
problemas en el estudio de la comunicación:
• Nivel A: Problemas técnicos: ¿Con qué nivel de
exactitud pueden ser transmitidos los símbolos
de la comunicación?
• Nivel B: Problemas semánticos: ¿Con qué nivel
de precisión transmiten los símbolos el
significado deseado?
• Nivel C: Problemas de efectividad: ¿Con qué
nivel de efectividad el significado recibido afecta
a la conducta del destinatario?

23. Esquema del “sistema general
de comunicación”
• Existe siempre una fuente de la
información, desde la cual, a través de un
aparato transmisor, es emitida una
señal; esta señal viaja a través de un
canal a lo largo del cual puede ser
interferida por un ruido. Al salir del canal,
la señal es recogida por un receptor que
la convierte en un mensaje. Como tal, el
mensaje es comprendido por el
destinatario.

24. Esquema del modelo comunicativo de la teoría de
la información (Shannon-Weaver, 1949)

25. Esquema del “sistema general
de comunicación”
• Todo proceso comunicativo se desarrolla
según este esquema en los siguientes
casos:
• a) Se produce entre dos máquinas
• b) Se produce entre dos seres humanos
• c) Se produce entre una máquina y un ser
humano

26. Teoría matemática de la
información
• En este modelo comunicativo se
considera a la fuente como el origen de
las decisiones: la fuente decide qué
mensaje envía, o, más bien, selecciona
uno de un conjunto de mensajes posibles.
• El transmisor convierte el mensaje
seleccionado en una señal que se envía a
través del canal al receptor.

27. Teoría matemática de la
información
• Ejemplo 1: en el caso de un teléfono, el
canal es un cable, la señal es una
corriente eléctrica, y el transmisor y el
receptor son los aparatos telefónicos.
• Ejemplo 2: cuando hablo con usted mi
boca es el transmisor, la señal son las
ondas de sonido que pasan a través del
canal del aire y el receptor son sus oídos.

28. La interferencia o ruido
• La interferencia o ruido es cualquier cosa añadida a
la señal entre su transmisión y su recepción, sin
intención de la fuente.
• Podría ser la distorsión de un sonido, las
crepitaciones de un alambre telefónico, la estática
de una señal de radio o la “lluvia” en una pantalla de
televisión.
• El concepto de interferencia ha sido ampliado para
cubrir cualquier cosa que haga más difícil
decodificar la señal original; por ejemplo una silla
incómoda, estar pensando en otra cosa mientras
estamos en clase, etc.

29. Esquema del “sistema general
de comunicación”
• Se evidencia la presencia en el
esquema comunicativo de otro
elemento: el código
• El código es un sistema de reglas que
atribuye a determinadas señales un
determinado valor.
• Ejemplo: A como 00, B como 01, C
como 10, D como 11.

30. El código
• Para que el
destinatario pueda
comprender la señal
correctamente es
necesario que, tanto
en el momento de la
emisión como en el
momento de la
destinación, se haga
referencia a un
mismo código.

31. Otra definición de código
• Un código es un
sistema de significado
común para los
miembros de una
cultura o subcultura.
Está compuesto de
signos y de reglas o
convenciones que
determinan cómo y en
qué contexto se utilizan
estos signos y cómo
pueden ser combinados
para formar mensajes
más completos.

32. El canal
• Es el recurso físico
por medio del cual
se transmite la
señal.
• Los canales
principales son el
aire, los cables
telefónicos, el
sistema nervioso,
etc.