Universidad Distrital Francisco Jose de Caldas, facultad Tecnologica

1. FUENTES DE
INFORMACION
La Teoría de la Información nos muestra, entre otras cosas, el camino a seguir para determinar la
cantidad de información útil de unos datos y para comprimir la información de manera que los datos
se representen de una manera eficiente
Jonathan Ortegón
Ruiz

2. Índice
 Canal de comunicación
 Codificación de la fuente
 Información:
 Cantidad información
 Clasificación de la información
 Fuentes de información

3.  Fuentes sin memoria
 Entropía
 Comprensión de datos
Índice

4. Canal de Comunicación
 Es la trayectoria o
medio a través del
que fluyen los
símbolos del origen
al destino.

5. Codificación de la fuente
 Es el proceso por el
cuál, la salida de una
fuente de
información, se
convierte en una
secuencia binaria.
 “codificador fuente ”
 Alternativamente es la
acción de asignar
dígitos binarios a
secuencias de
símbolos que
conllevan la
información.

6. Información
 No es más que la reunión de elementos (datos) que han
sido transmitidos, estos deberán ser interpretados por el
receptor, esta interpretación es la que genera de nuevo la
información.

7. Cantidad de Información
 Cuando la probabilidad de un suceso sea segura:
P(suceso)=1, la cantidad de información que nos proporciona
será nula
 Supongamos que estamos leyendo un mensaje y hemos leído
"string of ch", la probabilidad de que el mensaje continúe con
"aracters" es muy alta por lo tanto cuando realmente leemos
"aracters" del archivo la cantidad de información que recibimos es
muy baja pues estábamos en condiciones de predecir que era lo
que iba a ocurrir. La ocurrencia de mensajes de alta probabilidad
de aparición aporta menos información que la ocurrencia de
mensajes menos probables. Si luego de "string of ch" leemos
"imichurri" la cantidad de información que recibimos es mucho

8. Fuente de Información
 Una fuente es todo aquello que emite mensajes. Por ejemplo, una fuente puede
ser una computadora y mensajes sus archivos, Una fuente de información es un
elemento que entrega una señal, y una señal es una función de una o más
variables que contiene información acerca de la naturaleza o comportamiento de
algún fenómeno

9. Tipos de Fuentes de Información
Las fuentes de información se clasifican basándose en el tipo de señal que entregan. Se pueden clasificar, según el
tipo de variable independiente (tiempo) en:
 Fuentes de tiempo continuo: la función está definida para cualquier valor de la variable
independiente.
 Fuentes de tiempo discreto: la función sólo está definida para un conjunto contable de instantes
de tiempo.
Pero se pueden clasificar también según el rango de valores que cubren las señales. En este caso
los tipos de fuentes de información serán:
 Fuentes continuas o de amplitud continua: el valor de la función toma un rango continuo de
valores.
 Fuentes discretas o de amplitud discreta: el valor de la función sólo toma un conjunto finito de
valores. A cada uno de estos valores lo llamamos símbolo. El conjunto de todos los símbolos se
suele llamar alfabeto. La elección del alfabeto es, en cierto modo, arbitraria, ya que podemos

10. Tipos de Fuentes de Información
Las fuentes digitales se suelen clasificar según la relación que
tenga un símbolo con los que le preceden de la siguiente manera:
 Fuentes sin memoria: los símbolos son estadísticamente
independientes entre sí. De esta manera, los símbolos que
hayan aparecido hasta el momento no van a condicionar al
símbolo presente ni a posteriores.
 Fuentes con memoria: la aparición de los símbolos no es
estadísticamente independiente. Es decir, si han aparecido M-1
símbolos, el símbolo M-ésimo está condicionado por los
anteriores.

11. Fuentes sin memoria
 Cada símbolo
transmitido es
independiente , es
decir no se
condicionan los
símbolos
 Mensaje:
 A , 1 . . , ;

12. Fuentes con memoria
 Los símbolos
transmitidos son
dependientes entre
si , lo que genera
una relación
estadística
 Mensaje:
 Hol….
Podemos predecir
que el siguiente
símbolo será a

13. Entropía
se puede considerar como la cantidad de información promedio que contienen
los símbolos usados. Los símbolos con menor probabilidad son los que aportan
mayor información.
La entropía, en la teoría de la información, es una magnitud que mide la
información provista por una fuente de datos, es decir, lo que nos aporta sobre
un dato o hecho concreto.
Por ejemplo, que nos digan que las calles están mojadas, sabiendo que acaba
de llover, nos aporta poca información, porque es lo habitual. Pero si nos dicen
que las calles están mojadas y sabemos que no ha llovido, aporta mucha
información.

14. Entropía
La entropía nos indica el límite teórico para la compresión de datos.
Su cálculo se realiza mediante la siguiente fórmula:
donde H es la entropía, las p son las probabilidades de que aparezcan los
diferentes códigos y m el número total de códigos. Si nos referimos a un
sistema, las p se refieren a las probabilidades de que se encuentre en un
determinado estado y m el número total de posibles estados

15. Entropía
Se utiliza habitualmente el logaritmo en base 2, y entonces la entropía se mide
en bits.
Por ejemplo: El lanzamiento de una moneda al aire para ver si sale cara o cruz
(dos estados con probabilidad 0,5) tiene una entropía:

16. Compresión de datos
 Consiste en poder representar los datos
enviados de una manera correcta y
consistente que genere información.
 Se puede trabajar a nivel de estructuras
estadísticas como un alfabeto, o estructuras
físicas como la voz, donde existe un proceso
de síntesis. En otros se aprovecha la
limitación de respuesta del receptor: caso del

17. Compresión sin pérdidas
Implica que no hay pérdida de información. Los
datos originales se recuperan exactamente del
modelo comprimido.
Enviado:
Hola
Recibido:
Hola

18. Compresión con pérdidas
 implica pérdidas de información. La
información compactada generalmente no
puede reproducirse en forma exacta. Se
logran altos índices de compresión

19. Ejemplo
 Mensaje
 Envíame dinero ahora.
 Recibido
 Envíame dinero
Este tipo de perdidas pueden generar errores
fatales

20. Bibliografía
• http://www.youtube.com/watch?v=XD04KAFqlTY
• http://evirtual.lasalle.edu.co/info_basica/nuevos/guia/fuentesDeInformacion.pdf
• http://www.infor.uva.es/~cevp/FI_I/fichs_pdf_teo/FI_I_Tema3.pdf
• http://html.rincondelvago.com/introduccion-a-la-teoria-de-la-informacion.html
• http://enciclopedia.us.es/index.php/Entrop%C3%ADa_(teor%C3%ADa_de_la_infor
maci%C3%B3n)
• http://es.wikipedia.org/wiki/Entrop%C3%ADa_(informaci%C3%B3n)
• http://es.wikipedia.org/wiki/Teor%C3%ADa_de_la_informaci%C3%B3n