La teoría de Shannon cuantifica matemáticamente la redundancia del lenguaje mediante el análisis estadístico. Shannon desarrolló un modelo de comunicación que representa el proceso completo desde la fuente de información hasta el receptor, incluyendo el transmisor, la señal, el canal y la fuente de ruido. Este modelo puede aplicarse a diferentes contextos como la radio o la escritura. La teoría se centra en cuantificar la cantidad de información transmitida sin considerar su significado.

1. La Teoría de Shannon
"Sgeun un etsduio de una uivenrsdiad ignlsea, no ipmotra el odren en el que las
ltears etsan ersciats, la uicna csoa ipormtnate es que la pmrirea y la utlima ltera esetn
ecsritas en la psiocion cocrrtea. El rsteo peuden etsar ttaolmntee mal y aun asi
pordas lelelo sin pobrleams. Etso es pquoreno lemeos cada ltera por si msima, snio la
paalbra en un tdoo"
Si ha podido usted comprender el párrafo anterior, ha hecho usted un buen trabajo
de corrección de errores. Para un ser humano, resulta tan sencillo que puede leerlo
hasta un niño de seis años (he hecho la prueba con uno). Eso también nos dice que
el lenguaje es redundante. Textos incorrectos o mutilados pueden comprenderse con
relativa facilidad. Si han visto a algún joven enviar mensajes por móvil del estilo
"kdams a ls 7 en l br, bsos, tq" sabrán a lo que me refiero.
La redundancia y la existencia de patrones en el lenguaje es uno de los elementos que
hacen tan difícil cifrar mensajes bien. ¿Podemos cuantificar matemáticamente esa
redundancia? O dicho de otro modo, ¿hay algún modo de aplicar técnicas de análisis
estadístico para, de alguna forma, determinar cuán redundante es un idioma? Este, y
otros problemas similares, fueron resueltos por Claude Shannon en dos artículos ya
clásicos de 1947 y 1948, mientras trabajaba en los laboratorios Bell.
El primero de esos artículos se titula "Teoría matemática de la comunicación", y
veremos algo de él en el presente artículo. En él, Shannon trató el problema de
cuantificar la información procedente de
una fuente, ver qué pasa con él cuando un mensaje es transmitido y cuáles son las
consecuencias que se pueden extraer. Puesto que esto tiene relación con la
transmisión de información, la codificación y la criptografía, nos resultan de especial
interés aquí. Así que prepárense para un baño matemático, en el entendido de que
nos saltaremos los escollos más áridos para centrarnos en los conceptos fundamentales.
Antes de lanzarnos a la piscina, hagamos algunos ejercicios de calentamiento. Vamos
a suponer el siguiente ejemplo. Estamos en un puesto de observación meteorológica,
y nuestra misión consiste en enviar mensajes acerca del estado del tiempo. Para
simplificar, vamos a suponer tan sólo cuatro estados del tiempo: soleado, nublado,
lluvioso y con niebla. Pero estamos en un lugar remoto y solamente tenemos una línea
telegráfica por la que transmitir mensajes. Olvidemos el código Morse por un
momento, y limitémonos a mensajes formados por elementos binarios (1= señal, 0= no
señal). Si los cuatro estados del tiempo son igualmente probables, podemos realizar el
siguiente tipo de codificación:
Soleado = 00, Nublado = 01, Lluvioso = 10, Con niebla = 11

2. Es deci una codi icaci n en forma de dos elementos binarios o bits. Cada mensaje
consta de dos bits. De esa forma, un mensaje semanal que indicase "soleado, niebla,
niebla, nublado" se transmitiría como
00111101.
Modelo de comunicación
El modelo comunicacional desarrollado por Shannon y Weaver se basa en un sistema de
comunicaci n general que puede ser representado de la siguiente manera:
FUENTE DE INFORM CION: selecciona el mensaje deseado de un conjunto de
mensajes posibles.
TRANSMISOR: transforma o codifica esta informaci n en una forma apropiada al
canal.
SEÑAL: mensaje codificado por el transmisor.
CANAL: medio a través del cual las señales son transmitidas al punto de recepci n.
FUENTE DE RUIDO: conjunto de distorsiones o adiciones no deseadas por la fuente de
informaci n que afectan a la señal. Pueden consistir en distorsiones del sonido (radio,
teléfono), distorsiones de la imagen (T.V.), errores de transmisi n (telégrafo), etc.

3. RECEPTOR: decodifica o vuelve a transformar la señal transmitida en el mensaje
original o en una aproximación de este haciéndolo llegar a su destino.
Este sistema de comunicación es lo suficientemente amplio como para Incluir los
diferentes contextos en que se da la comunicación (conversación, T.V., danza, etc.).
Tomemos como ejemplo lo que ocurre en el caso de la radio. La fuente de información
corresponde a la persona que habla por el micrófono. El mensaje son las palabras y
sonidos que esta persona emite. El micrófono y el resto del equipo electrónico
constituyen el transmisor que transforma este mensaje en ondas electromagnéticas, las
cuales corresponden a la señal. El espacio que existe entre las antenas transmisoras y
receptoras es el canal, mientras que lo que altera la señal original constituye la fuente de
ruido. El aparato de radio de cada hogar es el receptor y el sonido que éste emite
corresponde al mensaje recobrado. Las personas que escuchan este mensaje radial son
los destinatarios.
También podemos ejemplificar esto mediante este artículo que usted está leyendo en
este momento. En este caso, nuestros cerebros son la fuente de información y nuestros
pensamientos, el mensaje. La máquina de escribir constituye el transmisor que
transforma nuestros pensamientos en lenguaje escrito, el cualcorresponde a la señal. El
papel es el canal y cualquier error de tipeo o puntuación, manchas, espacios en blanco,
etc., constituyen la fuente de ruido. Por último, usted que está leyendo este ejemplo es a
la vez el receptor y destinatario, que a través de la lectura recobra el mensaje por
nosotros enviado.
Es importante considerar que el problema del significado del mensaje no es relevante en
este contexto. El interés principal de la Teoría de la Información lo constituye todo
aquello relacionado con la capacidad y fidelidad para transmitir información de los
diferentes sistemas de comunicación. En el ejemplo anterior, el mensaje podría haber
consistido en una secuencia de letras carentes de todo significado e igualmente el
problema de cuánta información es transmitida estaría presente. En un sentido amplio,
la Teoría de la Información trata acerca de la cantidad de información que es transmitida
por la fuente al receptor al enviar un determinado mensaje, sin considerar el significado
o propósito de dicho mensaje. No interesa tanto la pregunta: "¿Qué tipo de
información?" sino más bien, "¿Cuánta información?" es la que transmite la fuente.