Este documento presenta una introducción a la teoría de la información. Explica brevemente la historia de la teoría, desde sus orígenes a inicios del siglo XX hasta su formulación por Claude Shannon en 1948. También resume los elementos clave de la teoría de Shannon, incluyendo la noción de fuente de información, mensajes, códigos y canales de comunicación.

1. REPÚBLICA BOLIVARIANA DE VENEZUELA
INSTITUTO UNIVERSITARIO POLITÉCNICO
“SANTIAGO MARIÑO”
EXTENSIÓN MATURÍN
.LA TEORIA DE LA INFORMACIÓN.
PROFESOR: AUTOR:
Cristóbal Espinoza Johsmar Tova
C.I. 20.677.479
Maturín, 22 de Abril de 2019.

2. 2
INDICE
Introducción………………………………………………………………………. 3
Historia de la Teoría de la Información …………………………………………... 4
Teoría de la Información de Claude E. Shannon…………………………………. 5
Mundialización e Información……………………………………………………. 6
Elementos de la Teoría……………………………………………………………. 7
El Problema de la Codificación…………………………………………………... 9
Medidas de Información …………………………………………………………. 10
Finalidad………………………………………………………………………….. 14
Conclusión………………………………………………………………………... 15
Referencias consultadas ………………………………………………………….. 16
Anexos……………………………………………………………………………. 17

3. 3
INTRODUCCIÓN
Partiendo de que la información se refiere a un conjunto de noticias o datos
estructurados de forma organizada y procesada, presentes en un mensaje, se ideo la
teoría de la información, debido a que en la cotidianidad las personas están inmersas
de informaciones, y para su comprensión la misma tiene que tener un orden y ser
procesada con la finalidad de que pueda ser llegada al receptor.
La teoría de la información, conocida también como teoría matemática de la
información, siendo una propuesta creada por el matemático e ingeniero Claude E.
Shannon y el biólogo e informatólogo Warren Weaver, se dedicaron a elaborar una
teoría sobre cómo tratar a la información almacenada en forma digital; expusieron
que las fuentes de información y los canales de comunicación pueden medirse, cuya
capacidad y velocidad de transferencia dependerá de una determinada medida. Esta
teoría se centraba en el estudio de la información (transmisión y procesamiento,
medición y representación de la información, capacidad de los sistemas de
comunicación para transmitir y procesar información), y por ende canales, elementos
y compresión de datos.
El siguiente proyecto dará a conocer aspectos esenciales sobre la teoría de la
información, una breve reseña de la misma, los elementos que hacen posible su
transmisión, entre otros puntos relevantes.

4. 4
HISTORIA DE TEORIA DE LA INFORMACIÓN.
La teoría de la información surgió a finales de la Segunda Guerra Mundial, en los
años cuarenta. Fue iniciada por Claude E. Shannon a través de un artículo publicado
en el Bell System Technical Journal en 1948, titulado una teoría matemática de la
información. En esta época se buscaba utilizar de manera más eficiente los canales de
comunicación, enviando una cantidad de información por un determinado canal y
midiendo su capacidad; se buscaba la transmisión óptima de los mensajes.
Esta teoría es el resultado de trabajos comenzados en la década 1910 por Andrei
A. Markovi, a quien le siguió Ralp V. L. Hartley en 1927, quien fue el percusor del
lenguaje binario.
A su vez, Alan Turing en 1936, realizo el esquema de una máquina capaz de tratar
información con emisión de símbolos, y finalmente Clause Elwood Shannon,
matemático, ingeniero electrónico y criptógrafo estadounidense, conocido como “el
padre de la teoría de la información”, junto a Warren Weaver, contribuyo en la
culminación y el asentamiento de la Teoría Matemática de la comunicación de 1949
que hoy es mundialmente conocida por todos como Teoría de la Información.
Weaver consiguió darle un alcance superior al planteamiento inicial, creando un
modelo simple y lineal: Fuente/ Codificador/ Mensaje canal/ Decodificador/ Destino.
La necesidad de una base teórica para la tecnología de la comunicación surgió del
aumento de la complejidad y de la masificación de las vías de comunicación, tales
como el teléfono, las redes de teletipo y los sistemas de comunicación por radio. La
teoría de la información también abarca todas las restantes formas de transmisión y
almacenamiento de información, incluyendo la televisión y los impulsos eléctricos
que se transmiten en las computadoras y en la grabación óptica de datos e imágenes.
La idea es garantizar que el transporte masivo de datos no sea en modo alguno una
merma de la calidad, impulso si los datos se comprimen de alguna manera.

5. 5
Idealmente, los datos se pueden restaurar a su forma original al llegar a su destino. En
algunos casos, sin embargo, el objetivo es permitir que los datos de alguna forma se
conviertan para la transmisión en masa, se reciban en el punto de destino y sean
convertidos fácilmente a su formato original, sin perder ninguna de la información
transmitida.
TEORIA DE LA INFORMACION DE CLAUDE E. SHANNON.
La Teoría de la Información de Claude E. Shannon, es sin duda uno de los avances
científicos más importantes del siglo XX. El principal objetivo de esta teoría es el de
proporcionar una definición rigurosa de la noción de información que permita
cuantificarla. Fue desarrollada con el objetivo de encontrar límites fundamentales en
las operaciones de procesamiento de señales tales como compresión de datos,
almacenamiento y comunicación. Sus aplicaciones se extienden a campos diversos,
entre ellos la física, la química, la biología, la inferencia estadística, la robótica, la
criptografía, la computación, la lingüística, el reconocimiento de patrones y la teoría
de la comunicación. En esta entrada discutimos los aspectos centrales del formalismo
de Shannon y algunos sus problemas interpretaciones.
El modelo propuesto por Shannon es un sistema general de la comunicación que
parte de una fuente de información desde la cual, a través de un transmisor, se emite
una señal la cual viaja por un canal, pero a lo largo de su viaje puede ser interferida
por algún ruido. La señal sale del canal llega a un receptor que decodifica la
información convirtiéndola posteriormente en mensaje que pasa a un destinario. Con
el modelo de la teoría de la información se trata de llegar a determinar la forma más
económica, rápida y segura de codificar un mensaje sin que la presencia de algún
ruido complique su transmisión. Para esto, el destinatario debe comprender la señal
correctamente; el problema es que aunque exista un mismo código de por medio, esto
no significa que el destinario va a captar el significado que el emisor le quiso dar al
mensaje. La codificación puede referirse tanto a la transformación de voz o imagen

6. 6
en señales eléctricas o electromagnéticas, como al cifrado de mensajes para asegurar
su privacidad.
Un concepto fundamental en la Teoría de la Información es que la cantidad de
información contenida en un mensaje es el valor matemático bien definido y medible.
El termino cantidad no se refiere a la cuantía de datos, sino a la probabilidad de que
un mensaje, dentro de un conjunto de mensajes posibles, sea recibido. En lo que se
refiere a la cantidad de información, el valor más alto se le asigna al mensaje que
menos probabilidades tiene de ser recibido. Si se sabe con certeza que un mensaje va
a ser recibido, su cantidad de información es cero.
MUNDIALIZACIÓN E INFORMACIÓN.
El mundo que habitamos hoy, con el incesante desarrollo tecnológico, el aumento
considerable de la población mundial y la creciente interacción entre individuos e
instituciones de distintas regiones del planeta, ha dado lugar a un aumento sin
precedentes en las capacidades de la especie humana para transmitir y procesar
información. El ejemplo más conspicuo de esto es quizá el advenimiento de internet,
una inmensa red que interconecta a miles de millones de personas en todo el planeta.
Esta capacidad para transmitir y procesar información había tenido sus antecesores en
el telégrafo, las ondas de radio, el teléfono y otros sistemas de comunicación más
antiguos.
Algunos autores, han llegado a afirmar que vivimos en la era de la información.
Independientemente del debate acerca de si esta caracterización histórica es adecuada
o no, lo cierto es que el estudio de los problemas técnicos asociados a la transmisión,
medición y procesamiento de la información ha cobrado vital importancia para las
relaciones sociales y comerciales de la sociedad globalizada. Sin ir más lejos, los
mercados actuales dependen fuertemente de que los canales informacionales entre los
distintos agentes económicos funcionen en forma fluida y eficiente. Pero la

7. 7
importancia del estudio de los flujos informacionales y su correcto funcionamiento va
más allá de la esfera estrictamente económica y abarca fines militares, científicos y
recreativos.
En este contexto, el estudio de la Teoría de la Información ha tenido un creciente
desarrollo, en el que cada vez más investigadores aúnan esfuerzos para resolver los
desafíos planteados por la existencia de unos volúmenes de flujo de información muy
difíciles de manejar y administrar. Y es especialmente importante que estos
desarrollos contemplen el aspecto matemático formal de la noción de información, de
forma tal que ésta se pueda medir y cuantificar para ser aplicada con fines
tecnológicos. El desarrollo de una teoría matemática de la información, que permita
describir adecuadamente los problemas que los ingenieros comunicacionales
encuentran en su trabajo diario es el objetivo que persiguió Claude Shannon cuando
desarrollo su formalismo.
Los conceptos y aspectos formales del edificio teórico creado por Shannon siguen
siendo explotados y desarrollados en la actualidad. Es por ello que su estudio es de
vital importancia para entender el estado actual de la Teoría de la Información, y sus
posibles generalizaciones en términos de las florecientes Teoría de la Información
Cuántica y de la Computación Cuántica.
ELEMENTOS DE LA TEORIA.
Fuente. Es en sí misma un conjunto finito de mensajes, todos los posibles mensajes
que puede emitir dicha fuente. En compresión de datos se tomara como fuente el
archivo a comprimir y como mensaje los caracteres que conforman dicho archivo.
Existen varios tipos de fuente. Para la teoría de la información interesan las
fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible
predecir cuál es el próximo mensaje a emitir por la misma. Una fuente es estructurada

8. 8
cuando posee un cierto nivel de redundancia; una fuente no estructurada o de
información pura es aquella en que todos los mensajes son absolutamente aleatorios
sin relación alguna, ni sentido aparente. Este tipo de fuente emite mensajes que no se
pueden comprimir; un mensaje para poder ser comprimido, debe poseer un cierto
grado de redundancia la información pura no puede ser comprimida sin que haya una
pérdida de conocimiento sobre el mensaje.
Mensaje. En un conjunto de ceros y unos archivo o paquete de datos que viaja por
una red y cualquier cosa que tenga una representación binaria puede considerarse un
mensaje. El concepto de mensaje se aplica también a alfabetos de más de dos
símbolos, pero debido a que tratamos con información digital nos referimos casi
siempre a mensajes binarios.
Código. Es un conjunto de unos y ceros que se usan para representar un cierto
mensaje de acuerdo a reglas o convenciones preestablecidas. Por ejemplo, al mensaje
0010 lo podemos representar con el código 1101 usado para codificar la función
(NOT). La forma en la cual codificamos es arbitraria, en algunos casos representarse
con un código de menor longitud que el mensaje original. Supongamos que a
cualquier mensaje S lo codificamos usando un cierto algoritmo de forma tal que cada
S es codificado en L(S) bits; definimos entonces la información contenida en el
mensaje S como la cantidad mínima de bits necesarios para codificar un mensaje.
Información. La información contenida en un mensaje es proporcional a la cantidad
de bits que se requieren como mínimo para representar al mensaje. El concepto de
información puede entenderse más fácilmente si consideramos un ejemplo.
Supongamos que estamos leyendo un mensaje y hemos leído “cadena de c”; la
probabilidad de que el mensaje continúe con “caracteres” es muy alta. Así, cuando
efectivamente recibimos a continuación “caracteres” la cantidad de información que
nos llegó es muy baja pues estábamos en condiciones de predecir qué era lo que iba a
ocurrir. La ocurrencia de mensajes de alta probabilidad de aparición aporta menos

9. 9
información que la ocurrencia de mensajes menos probables. Si luego de “cadena de
c” leemos “chimichurri” la cantidad de información que estamos recibiendo es mucho
mayor.
EL PROBLEMA DE LA CODIFICACIÓN.
Shannon establecía resultados matemáticos acerca de los recursos que se necesitan
para la codificación óptima y para la comunicación libre de errores. Estos resultados
tuvieron aplicaciones en diversos campos ligados a la teoría de las comunicaciones,
como en la radio, la televisión y la telefonía. Hoy en día se siguen aplicando en
diversas disciplinas.
De acuerdo a Shannon (1948), un sistema de comunicación general consta de
varias partes. Una fuente, la cual genera un mensaje a ser recibido en el destinario. Un
transmisor, que transforma el mensaje generado en la fuente en una señal a ser
transmitida. En los casos en los que la información es codificada, el proceso de
codificación también es implementado por el transmisor. Un canal es cualquier
medio que sirva para que la señal se transmita desde el transmisor al receptor. Este
puede ser, por ejemplo, un cable, una fibra óptica o una señal inalámbrica. Un
receptor, que reconstruye el mensaje a partir de la señal, y finalmente, un
destinatario, que es quien recibe el mensaje. En el siguiente dibujo se representan
estos elementos en forma esquemática:
La fuente S es un sistema que contiene un conjunto de estados diferentes S1,…,
Sn, llamados usualmente letras. Un aspecto central de la teoría de Shannon es que es
posible asignar probabilidades de ocurrencia para los distintos estados de la fuente. Es
decir, los estados S1,…, Sn son producidos con probabilidades p (S1),…, p (Sn).
Notar que estas distribuciones de probabilidad pueden ser modeladas usando los

10. 10
axiomas de Kolmogorov (Kolmogorov 1993). La cantidad de información generada
por la fuente debido a la ocurrencia del estado Si se define como:
Dado que S produce sucesiones de estados (estas sucesiones son usualmente llamadas
mensajes), la entropía de la fuente S se define como la cantidad promedio de
información producida por la fuente:
En forma análoga, el destinario D es un sistema con un rango de estados posibles
d1,…, dm, a los cuales se le asignan probabilidades p (d1),…, p (dm). La cantidad de
información I (dj) recibida en el destinario debido a la ocurrencia de dj se define
como:
Y la entropía del destinario se define como la cantidad promedio de información
recibida:
MEDIDAS DE INFORMACIÓN.
En su artículo original, Shannon (1948, 349) discute la conveniencia del uso de
una función logarítmica en la definición de entropías:
“Si el número de mensajes en el conjunto es finito, este número o cualquier
función monótona de él puede ser considerado como una medida de la información
producida cuando se elije un mensaje del conjunto, siendo todas las opciones

11. 11
igualmente probables. Como fue subrayado por Hartley, la elección más natural es la
función logarítmica. Aunque esta definición debe ser generalizada consideradamente
cuando consideramos la influencia de la estadística del mensaje y cuando tenemos un
rango continuo de mensajes, en todos los casos vamos a usar una media
esencialmente logarítmica.” (Shannon 1948)
Shannon continúa diciendo que esta definición encuentra muchos usos prácticos,
dado que muchos parámetros importantes en ingeniería varían linealmente con el
logaritmo del número de posibilidades. Señala que es al mismo tiempo una medida
intuitiva, porque es usual medir magnitudes comparando linealmente con unidades de
medida. Además de estas ventajas, es matemáticamente adecuada dado que resulta ser
que muchas operaciones llevadas a cabo con el logaritmo se vuelven mucho más
simples que en términos de otras formas funciones.
La elección de una base logarítmica se corresponde con la elección de una unidad
de medida de la información. Si la base usada es 2, la unidad resultante se llamará
“bit”. Este término proviene de la contracción del término en ingles “bynary digit”.
Con estas definiciones, un bit terminará siendo la cantidad de información que se
obtiene cuando una de dos alternativas igualmente probables es especificada. En otras
palabras, una fuente S con dos estados que puede adoptar los valores 1 y 2 con la
misma probabilidad, tendrá una cantidad de información de un bit. Otras bases dan
lugar a diferentes unidades de la información. Por ejemplo, si se usan logaritmos
naturales, la unidad de medida en este caso sera el nat (que es la contracción del
término en ingles natural unit). Cuando se usa la base 10 de los logaritmos, la
unidad se llama Hartley. La posibilidad de usar diferentes unidades para cuantificar la
información muestra la diferencia entre la cantidad de información asociada a un
evento y el número de símbolos binarios necesarios para codificarlo. Es importante
mencionar que el “bit” es una unidad de medida, y el hecho de que distintas unidades
de medida puedan ser usadas no afecta a la naturaleza de la información.

12. 12
De las definiciones es bastante claro que H(S) y H (D) son cantidades de
información promedio. Sin embargo, en la literatura son llamadas usualmente
entropías. Efectivamente, la forma funcional que poseen estas medidas de la
información, es terminología refleja una problemática profunda en los fundamentos
de la teoría de la información. Esto es así a tal que el carácter intrigante de esta
magnitud y sus propiedades se manifestó al comienzo de la formulación de la teoría.
En efecto, de acuerdo a las palabras mismas de Shannon refiriéndose a cómo llamar a
su nueva medida:
“Mi preocupación más grande era como llamarla. Pensé en llamarla
‘información’, pera esa palabra estaba muy usada, de forma tal que decidí llamarla
‘incerteza’. Cuando discutí el asunto con John Von Neumann, el tuvo una idea mejor.
Von Neumann me dijo: ‘Deberías llamarla entropía, por dos motivos. En primer lugar
tu función de incerteza ha sido usada en la mecánica estadística bajo ese nombre, y
por ello, ya tiene un nombre. En segundo lugar, y lo que es más importante, nadie
sabe lo que es la entropía realmente, por ello, en un debate, siempre llevaras ventaja.”
(Tribus and Mclrving 1971, 180).
La conexión con la física a la que hace mención Von Neumann en la cita de arriba
ha sido estudiada profundamente en la literatura física y filosófica.
La relación entre las entropías de la fuente H(S) y del destinatario H (D) se puede
representar intuitivamente por el siguiente diagrama:

13. 13
Donde I(S; D) es la información mutua: la cantidad promedio de información
generada en la fuente S y recibida en el destinario D. E es la equivocación: la
cantidad promedio de información generada en S pero no recibida en D. N es el
ruido: la cantidad promedio de información recibida en D pero no generada en S.
como el diagrama sugiere desde un punto de vista intuitivo, la información mutua se
define como:
I(S; D) = H(S) – E = I(X; Y) = H (D) – N
La equivocación E y el ruido N son medidas de la independencia entre la fuente y
el destinatario, dado que si S y D son completamente independientes, los valores de E
y N son máximos (E = H(S) y N = H (D)), y el valor de i(S; D) es mínimo (I(S; D) =
0). Por otro lado, si la dependencia entre S y D es máxima, los valores de E y N son
mínimos (E = N = 0), y el valor de I(S; D) es máximo (I(S; D) = H(S) = H (D)).
Los valores de E y N son funciones no solo de la fuente y del destinatario, sino
también del canal de comunicación CH. La introducción del canal de comunicación
lleva directamente a la posibilidad de que se produzcan errores en el proceso de
transmisión. El canal CH se puede definir como una matriz [p (dj|Si)], donde p (dj|Si)
es la probabilidad condicional de ocurrencia de dj en el destinatario dado que Si
</sib> ocurrió en la fuente S. los elementos de cada columna de [p (dj|Si) suman uno.
De este modo, E y N se pueden expresar como:
Dónde . La capacidad del canal C se define como:

14. 14
Donde el máximo se toma sobre todas las posibles distribuciones p (Si) en la
fuente. La magnitud C se interpreta como la cantidad de información promedio más
grande que puede ser transmitida por el canal de comunicación CH.
FINALIDAD.
Un aspecto importante es la resistencia a la distorsión que provoca el ruido, la
finalidad de codificación y descodificación, así como la velocidad de transmisión. Es
por esto que se dice el mensaje tiene muchos sentidos, y el destinario extrae el sentido
que debe atribuirle al mensaje, siempre y cuando haya un mismo código en común.
La teoría de la información tiene ciertas limitaciones, como lo es la acepción del
concepto del código. El significado que se quiere transmitir no cuenta tanto como el
número de alternativas necesario para definir el hecho sin ambigüedad. Si la selección
del mensaje se plantea únicamente entre dos alternativas diferentes, la teoría de
Shannon postula arbitrariamente que el valor de la información es uno. Esta unidad
de información recibe el nombre de bit. Para que el valor de la información sea un bit,
todas las alternativas deben ser igual de probables y estar disponibles.
Es importante saber si la fuente de información tiene el mismo grado de libertad
para elegir cualquier posibilidad o si se halla bajo alguna influencia que la induce a
una cierta elección. La cantidad de información crece cuando todas las alternativas
son igual de probables o cuando mayor sea el numero de alternativas.
Pero en la práctica comunicativa real no todas las alternativas son igualmente
probables, lo cual constituye un tipo de proceso estocástico denominado Márkov. El
subtipo de Márkov dice que la cadena de símbolos está configurada de manera que
cualquier secuencia de esa cadena es representativa de toda la cadena completa.

15. 15
CONCLUSIÓN
El receptor es quien valora y da significado a una información, organizándola,
comprendiéndola y convirtiéndola en conocimiento o mensaje.
La teoría de la información tenía como uno de sus objetivos relacionar
información y ruido ya que la “fuente de ruido” definido así por Shannon, interfería
en la claridad de la transmisión de la información, asociado a los factores externos
que disminuyen la calidad de la comunicación y distorsionan el mensaje para el
receptor.
Entre las ventajas de esta teoría está la de permitir entender las técnicas de
compresión de datos modernas, que se usan ampliables para comprimir vídeo, audio o
ficheros de datos, además accede a comprender qué componentes se pueden usar para
proteger la rectitud de los datos cuando se transmiten a través de canales defectuosos
o que muestran ruido. Posee herramientas que permiten calcular la capacidad máxima
de un sistema de transmisión, predice la posibilidad de establecer comunicaciones
con iguales de ruido más grandes que la señal que se puede transmitir.

16. 16
REFERENCIAS CONSULTADAS
 https://es.wikipedia.org/wiki/Teor%C3%ADa_de_la_informaci%C3%B3n
 http://dia.austral.edu.ar/Teor%C3%ADa_de_la_informaci%C3%B3n_de_Cla
ude_E._Shannon

17. 17
ANEXOS