El documento trata sobre la teoría de la codificación de fuentes de información. Explica que una fuente de información puede modelarse como un proceso estocástico y que la codificación de fuente tiene como objetivo representar de manera eficiente los datos generados por la fuente eliminando redundancias. Además, presenta el teorema fundamental de codificación de fuentes, el cual establece que una fuente con tasa de entropía H puede codificarse sin error si la velocidad de codificación R es mayor que H.

1. EXPO 1
La fuente de información es todo aquello que emite mensajes.
La fuente de información, produce salidas que son del interés del receptor de la información.
El rol del diseñador de los sistemas de comunicación es asegurar que esta información se
transmita al receptor correctamente.
Dado que la salida de la fuente de información es una función variante en el tiempo
impredecible, puede modelarse mediante un proceso estocástico, y las propiedades del
proceso estocástico dependerán de la naturaleza de la fuente de información.
Los sistemas de comunicación se diseñan para transmitir información. En cualquier sistema de
comunicaciones existe una fuente de información y el propósito del sistema es transmitir la
salida de la fuente al destino
Dado que la salida de la fuente de información es una función variante en el tiempo
impredecible, puede modelarse mediante un proceso estocástico.
Las fuentes de información pueden modelarse mediante procesos estocásticos y las
propiedades del proceso estocástico dependerán de la naturaleza de la fuente de información.
El factor común en todos esos procesos es que son de banda limitada, o sea, pueden
muestrearse a la velocidad de Nyquist o por encima
El modelo más simple de fuente de información es la fuente discreta sin memoria (fds), es un
proceso estocástico de amplitud y tiempo discretos en el cual las son generadas
independientemente y con la misma distribución, una fds genera una secuencia de variables
aleatórias distribuidas idénticamente e independientemente, de forma que tomen valores en
un conjunto discreto.
Un problema de interés dentro de las comunicaciones es la representación eficiente de los
datos generados por una fuente. El proceso mediante el cual se lleva a cabo esta
representación se llama codificación de fuente y consiste en la asignación de un código a cada
símbolo de la fuente de información.
Codificación:
La codificación de la información consiste en transformarla de forma que sea más cómoda de
manejar posteriormente. Existen dos tipos básicos de codificación, la de fuente y la de canal,
que se suelen aplicar en cadena, y en ese orden
Codificación de la fuente:

2. Es el proceso por el cual, la salida de una fuente de información, se convierte en una
secuencia binaria. Este código se forma con una secuencia de dígitos binarios y se lo llama
palabra de código.
Tiene como objetivo comprimir la información generada por una fuente eliminando posibles
redundancias.
Hay dos grandes grupos de métodos de codificación de fuente: en los denominados «sin
pérdidas», la información generada por la fuente se conserva en su totalidad; en los llamados
«con pérdidas», se sacrifica la fidelidad estricta a la información original.
Informacion:
Puede decirse que es todo aquello que tiene asociado algún significado. Se puede añadir que
será necesario representar la información de alguna manera para poder almacenarla o
transmitirla. Decimos entonces que la información se almacena o transmite mediante
mensajes
Entropía:
Entropía es un concepto en termodinámica, mecánica estadística y teoría de la información.
Los conceptos de información y entropía están ampliamente relacionados entre sí, aunque se
tardó años en el desarrollo de la mecánica estadística y la teoría de la información para hacer
esto aparente. Esta exposición versa sobre la entropía, en la formulación que hace de ella la
Teoría de la información. Esta entropía se llama frecuentemente entropía de Shannon, en
honor a Claude E. Shannon
El concepto básico de entropía en teoría de la información tiene mucho que ver con la
incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad
de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de
la cantidad de información que lleva una señal.
Shannon ofrece una definición de entropía que satisface las siguientes afirmaciones: (1)La
medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una
de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la
entropía. (2) Si todos los elementos de la señal son equiprobables a la hora de aparecer,
entonces la entropía será máxima
Definición Formal de entropía: La entropía nos indica el límite teórico para la compresión de
datos. También es una medida de la información contenida en el mensaje.

3. Incerteza: Estado de duda en el que predomina el limite de la confianza a la creencia en la verdad
de un determinado conocimiento.
Entropía conjunta: De donde es posible concluir que la entropía conjunta es simplemente la
entropía de una variable aleatoria vectorial
Entropía condicional: Que intuitivamente es la cantidad de incertidumbre en X cuando se conoce
Y=y. El promedio ponderado de esa cantidad sobre todo y es la incertidumbre en X conocida Y.
esta cantidad se conoce como entropía condicional
Taza de entropía: La taza de entropía juega el mismo papel que la entropía pero en este caso para
fuentes de información con memoria. Es básicamente una medida de la incertidumbre por
símbolo de salida de la fuente.
Propiedades de la entropía
La entropía es no negativa, Propiedad de Partición, El valor de la entropía es o positivo o nulo(Lo
que quiere decir que una variable aleatoria discreta tiene una cota inferior (cero) y una cota
superior (el logaritmo del cardinal del rango de la variable aleatoria), y nos dan además las
condiciones para alcanzar tales cotas.), Siendo n el número de elementos de la distribución de
probabilidades de la variable aleatoria X
Propiedad de partición: La entropía será máxima, hay mayor incertidumbre del mensaje, cuando
exista una equiprobabilidad en todos los valores de la variable X. La demostración empírica es muy
fácil; no obstante la demostración matemática de este máximo no es directa.
Cotas de la entropía:
La cota inferior es el cero, valor que se alcanza solamente cuando el vector de probabilidades
tiene una única componente no nula. Es decir, cuando corresponde a un fenómeno en el cual no
existe aleatoriedad (fenómeno determinista). Esto nos permite distinguir entre aleatoriedad
(entropía no nula) y determinística (entropía nula).
La cota superior de la entropía depende del número de componentes no nulas del vector de
probabilidad. Y donde la cota superior se la alcanza solamente para una distribución de
probabilidad uniforme.
Fuentes de información:

4. Fuentes discretas sin memoria:
Una fuente sin memoria pude especificarse por: la lista de símbolos, la probabilidad de ocurrencia
de los símbolos, y la rata de generación de los símbolos de la fuente.
Una fuente sin memoria es un objeto capaz de producir o emitir símbolos tomados de un conjunto
de dimensión K, llamado alfabeto de la fuente.
Cada símbolo es independiente del anterior y no influirá en el futuro;
Todos los símbolos de la fuente tendrán un valor asociado de probabilidad.
Las probabilidades de cada símbolo siempre serán menores o máximo iguales a 1
La suma de todos los valores de probabilidad de todos los símbolos es igual a 1.
Fuente de memoria Nula:
Esta forma de emitir los símbolos da a la fuente el carácter discreto. Ningún símbolo emitido es
influido por emisiones anteriores ni tampoco condiciona emisiones posteriores. Esta propiedad,
expresada en términos probabilísticos, significa que todas las emisiones son estadísticamente
independientes y es la que da a la fuente la característica de sin memoria.
Ejemplos de fuentes de memoria nula son: una moneda lanzada al aire, la ruleta de un casino, el
lanzamiento de un dado
TEOREMA DE CODIFICACIÓN DE UNA FUENTE DE INFORMACIÓN
El objetivo de la codificación es obtener una representación eficiente de los símbolos del alfabeto
fuente. Para que la codificación sea eficiente es necesario tener un conocimiento de las
probabilidades de cada uno de los símbolos del alfabeto fuente.
La teoría sobre codificación de fuente se encarga de estudiar técnicas para convertir de manera
eficiente fuentes arbitrarias de información en mensajes digitales, eliminando tanta redundancia
como sea posible de la fuente de información
Fundamento: Este teorema establece un límite fundamental sobre la forma en que puede
representarse la salida de una fuente de información sin originar una probabilidad de error
grande.

5. Si la cantidad de información de la fuente no excede la capacidad del canal existen técnicas de
codificación tal que la información puede ser trasmitida con una probabilidad de ocurrencia de
errores arbitrariamente pequeña, a pesar de la presencia de ruido.
Teorema: Una fuente con taza de entropía H puede codificarse con un error arbitrariamente
pequeño a cualquier velocidad R (en bits/salida) siempre que R>H. Por otro lado, si R<H, la
probabilidad de error no podrá ser arbitrariamente pequeña, independientemente de la
complejidad del codificador y decodificador empleado
Formulaciones para el proceso de comprensión:
1. Compresión de datos lossles: los datos se deben reconstruir exactamente;
2. Compresión de datos lossy: asigna los pedacitos necesitados para reconstruir los datos, dentro
de un nivel especificado de la fidelidad medido por una función de la distorsión
Clases de códigos:
1. Codificacion de Fuente (Compresion de datos)
2. Codificacion de canal (Correccion de error)
3. Codificación común de la fuente y del canal