La teoría de la información estudia la probabilidad de sucesos inciertos y cuantifica numéricamente la información contenida en un conocimiento dado las probabilidades de los posibles resultados. Claude Shannon inició esta teoría en 1948 para analizar la transmisión de información a través de canales. La teoría examina conceptos como la entropía, la capacidad de canales, la compresión de datos y la detección y corrección de errores.

1. Teoría de la información 1
Teoría de la información
Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la
información y todo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados.
Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948,
titulado Una teoría matemática de la comunicación (texto completo en inglés [1]).
Introducción
Cuando en un texto escrito en español y parcialmente oculto encontramos que cierta palabra empieza por una letra
digamos C tenemos cierta información sobre ante qué posible palabra estamos. Si la primera letra es en vez de la C
una X tenemos una mejor pista para adivinar de qué palabra se trata. La teoría de la información investiga la
probabilidad de sucesos inciertos (como la palabra que debe adivinarse en el caso anterior) y trata de cuantificar
numéricamente cuanta información aporta cada pista o hecho conocido que ayuda a reducir la incertidumbre. Por eso
la información encerrada en un cierto "pedazo de conocimiento" es una función de las probabilidades de cada suceso
posible en un evento incierto:
(1)
Donde las pi son las probabilidades de ocurrencia de cada uno de los sucesos posibles compatibles con el
conocimiento cierto que tenemos. La teoría de la información no puede decirnos si cierto conocimiento es verdadero
o falso, sólo cuantificar numéricamente cuanto es ese conocimiento en relación a la incertidumbre existente bajo la
suposición de que el conocimiento que tenemos es verdadero. Una propiedad interesante con la función de (1) es la
aditividad. Bajo un conjunto de condiciones matemáticas razonables relacionadas con la probabilidad de eventos
sencillos y compuestos, se puede demostrar que la cantidad de información es igual a la reducción de la
incertidumbre que aporta nuestro conocimiento actual sobre las posibilidades futuras:
(2)
Donde k es una constante que depende del sistema de unidades en que escojamos medir la información:
• En informática típicamente y la cantidad de información se mide en bits.
• En termodinámica, donde existe una relación estrecha, entre la entropía física y la información se toma k igual a
la constante de Boltzmann y la información se mide ahí en julio/K.
Entropía e información
La información es tratada como magnitud física y para caracterizar la información de una secuencia de símbolos se
utiliza la Entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no
linealidades, para estudiar diversos métodos para enviar información o la cantidad de información útil que se puede
enviar a través de un canal.
La información necesaria para especificar un sistema físico tiene que ver con su entropía. En concreto en ciertas
áreas de la física extraer información del estado actual de un sistema requiere reducir su entropía, de tal manera que
la entropía del sistema y la cantidad de información extraible están relacionadas por:

2. Teoría de la información 2
Otros tópicos de la teoría
• Fuentes de información
• Teorema de muestreo de Nyquist-Shannon
• Entropía
• Neguentropía
• Información mutua
• Canales
• Capacidad
• Compresión de datos
• Códigos fuente
• Códigos no-singulares
• Códigos unívocamente decodificables
• Extensión de código
• Códigos prefijo (o códigos instantáneos)
• Control de errores
• FEC
• ARQ
• Parada y espera
• Rechazo múltiple
• Rechazo selectivo
• Técnicas híbridas
• Concatenación de códigos
• Tipo 1
• Tipo 2
• Detección de errores
• Bits de redundancia
• Métodos de control de errores
• Paridad
• Códigos autochequeo y autocorrectores
• Códigos de bloque
• Distancia Hamming
• Paridad horizontal y vertical
• Códigos lineales
• Códigos cíclicos
• CRC16
• CRC32

3. Teoría de la información 3
Véase también
• Información
Referencias
[1] http:/ / www. essrl. wustl. edu/ ~jao/ itrg/ shannon. pdf

4. Fuentes y contribuyentes del artículo 4
Fuentes y contribuyentes del artículo
Teoría de la información Fuente: http://es.wikipedia.org/w/index.php?oldid=33805579 Contribuyentes: 119-MAD2-X91.libre.retevision.es, 141-MAD2-X90.libre.retevision.es,
156-MAD2-X69.libre.retevision.es, 166-MAD2-X72.libre.retevision.es, ATW-KOD, AstroNomo, BetoCG, CaesarExcelsus, Davius, Der Kreole, Diegusjaimes, Edgar, Edub, Elisardojm, Eloy,
Execoot, Frandzi.rangel, Interwiki, Ivan.Romero, LP, ManuelGR, PACO, Paintman, Pompilio Zigrino, Sebasg37, ULIF050020014, Valdrik, conversion script, 22 ediciones anónimas
Licencia
Creative Commons Attribution-Share Alike 3.0 Unported
http:/ / creativecommons. org/ licenses/ by-sa/ 3. 0/