Quantità dell'informazione

Quantità dell’informazione

Vitalie Scurtu

Storia

• Shannon - "A Mathematical Theory of Communication“ - 1948
• Lossless compression (Shannon-Fano, Adaptive Huffman)
• Crittografia (per codificare e decodificare i codici)
• Analisi delle sequenze di DNA (http://pnylab.com/pny/papers/cdna/cdna/index.html)
• Nell’Elaborazione del Linguaggio Naturale (ELN conosciuto
anche come NLP)
• Maximum Entropy Models per il problema di classificazione

Cos’è quantità dell’informazione
La quantità dell’informazione di un fenomeno
dipende dalla sua frequenza, o dalla sua
probabilità.
– Quantità bassa dell’informazione
• Oggi a Milano è grigio.
• L’economia in crisi.
• Berlusconi al bar con le escort.
– Quantità alta dell’informazione
• A Milano nevica.
• I Dentisti In sciopero.

Entropia e la quantità media
dell’informazione
• Formula quantità dell’informazione

H (m ) p ( m ) * log p ( m )
m 1 ... n

V (m ) 1 1 p (m )
n
m 1 ... n

p(m) – la probabilità che occorre il fenomeno m
n – numero di fenomeni

Simplificazione
nrDocs (m )
p (m ) total

Dove: nrDocs(m) – in quanti documenti ocorre la parola M
total = numero totale di document
• Le formule finale:
nrDocs (m )
V (m ) 1 1 total
n
m 1 ... n

nrDocs (m ) nrDocs (m )
H (m ) total
* log total
m 1 ... n

V(m) - Quantità media dell’information (QMI)
H(m) – Entropia o Quantità dell’informazione (QI)

Coefficienti della probabilità

lim
p(x) 1
x

x=1…n
y=p(x)

Coefficienti del logaritmo
lim
log( x )
x 0

x=0..1
Y=log(x)

Coefficienti Entropia di Shannon

X =
p(x) log(p(x))*-1

• Esempio di parole molto probabile:
in, e,si,non,ha,è, Del
• Esempio di parole poco probabile:
, , ATP

x=p(1…n)
y=x*log(x)*-1

Distribuzione documenti base Entropia

Distribuzione
Zipf (Long Tail)
Pochi con valori nell’estremità
superiori, e tantissimo nell’estremità
inferiore.

• MIN=0
• MAX=1700.0
(senza limite)
x=doc(1…n)
y=H(doc(1…n))

Distribuzione doc base Quantità media
dell’Informazione

Distribuzione
Gaussiana
Pochi nell’estremità e la
maggioranza nella media dei valori

MIN=0
MAX=1.0
x=doc(1…n)
Y=V(doc(1…n))

Distribuzione doc base Quantità media
dell’Informazione
Taglio fuori la mediana

x=doc(1…n)
y=V(doc(1…n))

I testi al limite inferiore della quantità
media dell’informazione
http://feedproxy.google.com/~r/iomestessaeme/feed/~3/BbA
W7_Ygrkk/autodistruzione-di-un-post-e-di-me.html
Mi mancano le piccole complicità. Quelle in cui vorrei
inciampare per caso. Le parole sottointese. Le cose dette
con gli occhi. Le parentesi tra un respiro e l'altro. Tutte le
parole scritte che riescono a prendere voce. Come capitava
con te, e nessuno poi. Il sapere di esistere. E gli anni non
passano, a volte. Gli anni sono solo per le menti, non per le
anime. Nì. Che torna. Che resta. O che deve passare. Non
so.
Di cosa sta parlando?
QI=14.0
QMI=0.39

• http://www.etnografia.it/2011/11/06/genova-litania/

Ecco dunque LITANIA
Genova mia citta’ intera.
Geranio. Polveriera.
Genova di ferro e aria,
mia lavagna, arenaria.
Genova citta’ pulita.
Brezza e luce in salita.
Genova verticale,
vertigine, aria scale.
Genova nera e bianca.
Cacumine. Distanza.
Genova dove non vivo,
mio nome, sostantivo.
Genova mio rimario.
Puerizia. Sillabario.
Genova mia tradita,
rimorso di tutta la vita.
Genova in comitiva.
Giubilo. Anima viva.
Genova in solitudine,
straducole, ebrietudine.
Genova di limone.
Di specchio. Di cannone.
Genova da intravedere,
mattoni, ghiaia, scogliere.

QI=66.11
QMI=0.42

195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=GeneralInformationQuantity%20asc&
fq=QualityScore:100

• I post poco informativi, anomalie
• I testi con delle parole che si ripetono spesso (Es.
Poesia)

http://feedproxy.google.com/~r/iomestessaeme/feed
/~3/BbAW7_Ygrkk/autodistruzione-di-un-post-e-di-
me.html
http://www.etnografia.it/2011/11/06/genova-litania/

I testi al limite superiore della quantità
http://habeshia.blogspot.com/2011/11/blog-post.html
•
•

•

•
•

QI=23.13
QMI=0.96

• http://www.tennisworlditalia.com/ATP-SYDNEY---Starace-iscritto-articolo6747.html
• Juan Martin Del Potro ARG View View
Marcos Baghdatis CYP View View
Sam Querrey USA View View
Ernests Gulbis LAT View View
Richard Gasquet FRA View View
Viktor Troicki SRB View View
Feliciano Lopez ESP View View
Guillermo Garcia-Lopez ESP View View
Yen-Hsun Lu TPE View View
Florian Mayer GER View View
Jarkko Nieminen FIN View View
Juan Ignacio Chela ARG View View
Denis Istomin UZB View View
Gilles Simon FRA View View
Julien Benneteau FRA View View
Jeremy Chardy FRA View View
Sergiy Stakhovsky UKR View View
Potito Starace ITA View View
Alexandr Dolgopolov UKR View View
[WC] Matt Ebden AUS View View

QI=2.78
QMI=0.95

195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=GeneralInformationQuantity%20desc
&fq=QualityScore:100

• Testi in arabo, inglese, anomalie del testo
• Elenchi dei nomi rari
• Linguaggio specialistico (tanti neologismi o
terminologia profesionale)

http://habeshia.blogspot.com/2011/11/blog-post.html
http://www.tennisworlditalia.com/ATP-SYDNEY---Starace-iscritto-articolo6747.html
http://www.musicandfreetime.it/2011/11/7003-elio-e-le-storie-tese-in-concerto/
http://www.musicandfreetime.it/2011/10/6894-marco-mengoni-nuove-tappe-del-tour/
http://comuneportosantavenere.blogspot.com/2011/09/larea-costiera-esclusa-dallo-sblocco.html

I testi al limite inferiore della Entropia
• http://www.internazionale.it/news/argentina/20
11/10/28/a-un-ano-de-la-muerte-de-nestor-
kirchner/

• Il supplemento speciale che Página 12 dedica
all’ex presidente argentino Néstor Kirchner. Con
articoli di Hebe de Bonafini, fondatrice delle
Madri di plaza de mayo, e Horacio Verbitsky.
QI=4.57
QMI=0.62

• http://arteteatro-
eva.blogspot.com/2011/11/giulio-scarpati-
legge-e-commenta-alla.html

• Giulio Scarpati legge e commenta alla
giornata evento della Lega Coop
QI=1.32
QMI=0.67

195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=IE_body_tg%20asc&rows=1000

• Post brevi o quasi vuoti (anche se in lingua straniera)
• Poco informativi

http://jucirdanro.blogspot.com/2011/11/arsenal-story-93.html (breve e in lingua
straniera)
http://satiraglio.ilcannocchiale.it/post/2696530.html (poco informativo)
http://www.internazionale.it/news/argentina/2011/10/28/a-un-ano-de-la-muerte-de-
nestor-kirchner/
http://arteteatro-eva.blogspot.com/2011/11/giulio-scarpati-legge-e-commenta-
alla.html (pooca informazione)

I testi al limite superiore della Entropia
• http://masadaweb.org/2011/11/02/masada-n%C2%B01334-
30112010-la-tempesta-finanziaria/
G20 a Nizza – Grottesco italiano – Le giornate terribili della Borsa – Il Governo chiude la DIA – Il segaossi – Cercate gli evasori! – Il terrorismo di Sacconi – Disoccupazione e morte civile – I cento
punti di Renzi – Assalto alla democrazia – Kaufman – Morte al welfare, la debitocrazia è soddisfatta- La truffa delle quote latte Antoine de Saint Exupery: “Se vuoi costruire una nave, non
radunare gli uomini per raccogliere il legno e distribuire i compiti, ma insegna loro la nostalgia del mare ampio e infinito”. .. Ida “Le pecore, hanno bisogno del pastore con i suoi cani. I
gabbiani, hanno solo bisogno del vento.” .. “Siamo tutti sotto lo stesso cielo, ma non tutti abbiamo lo stesso orizzonte” (K. Adenauer) Ci sono uomini che lottano un giorno e sono
bravi, altri che lottano un anno e sono più bravi, ci sono quelli che lottano più anni e sono ancora più bravi, però ci sono quelli che lottano tutta la vita: essi sono gli indispensabili. (Bertolt
Brecht) IL GROTTESCO ITALIANO 10.000 indignati sono a Nizza contro il G20, ma siccome non hanno fatto morti, feriti o danni, nessuno ne parla, infatti i governi chiedono sempre che le
manifestazioni siano pacifiche, ma, quando lo sono, ovviamente le ignorano, mentre, se ci sono incidenti, ne fanno un’emergenza nazionale e urlano al terrorismo. Credete voi che il G20
decida di introdurre una Tobin Tax sulle transazioni speculative della Borsa o qualche freno alle speculazioni bancarie o la minima regola alla Finanza distruttiva? Nemmeno per idea! Anzi
siamo al ridicolo! Le banche americane che hanno sfrattato i poveri dalle loro case e hanno rinforzato la propria casa con gl i aiuti governativi, hanno fatto una festa di Hallowen dove i
bancari assassini si sono travestiti da barboni, insomma si sono pure fatti due belle risate sulle loro vittime! Dopo il danno la beffa! Milano perde il 6,8%. Al 7 sarà l’apocalisse! L’Italia
rotola come una palla da biliardo verso il default, nell’inerzia annoiata di un governo indifferente che da 3 anni non governa e che combatte la crisi con gli elicotteri di lusso di
Berlusconi, i caccia o le Maserati di Larussa, Maroni che ignora che le auto della polizia sono senza benzina a taglia la Dia tra ringraziamenti della mafia, le petulenze della Bernini o i lai
terroristi di Sacconi, mentre B porta sfiga persino al Milan! Intanto i figli dei prefetti si fanno appartamenti di gran lusso ‘a sua insaputa’ col Viminale che rifiuta di far chiarezza, perché ‘i
figli so’ pezzi e’ core’. Papandreu scombicchera le carte annunciando un referendum: se il popolo deve morire, tanto vale che decida il proprio suicidio. E’ lo stesso Papandreu che si disse
interessato agli indignati. Intanto cambia tutti i capi delle forze armate, chissà perché. Il suo governo sembrava abbattuto, ma la mossa coraggiosa ha reso chance al Pasok. E’ facile una
valanga di No all’adesione al piano micidiale della Bce. A quel punto la Grecia esce dall’Ue e affronta da sola il suo defaul t. Nessuno le compra più i suoi titoli. E dopo? I morituri
cominciano a ribellarsi L’Islanda si tira fuori da ogni default, rifiuta di pagare il debito e prende a calci il governo Dilma Rousseff,nuovo presidente del Brasile, nega che la crisi possa
corretta con la famigerata ricetta neoliberista di disoccupazione e tagli, e annuncia piani di investimento per aumentare lavoro e reddito. Nel disastro generale solo ‘il leader minuscolo’
se la prende comoda, del resto governa ‘a tempo perso’ e non sa che pesci prendere, ora meno che mai, quando Tremonti fa l’offeso. L’urgenza massima c’è da 3 anni ma nessuno
provvede alla spesa pubblica. La mangiatoia non si tocca. Ai primi di agosto gli mettono il fuoco al culo ma lui va in ferie, oggi l’Europa brucia e lui fa il ponte di Ognissanti, gli chiedono
rapidi provvedimenti per il bilancio e porta una letterina di intenti, nemmeno firmata da Tremonti, nemmeno approvata dai ministri, nemmeno vista dal Parlamento, subito dopo dice che
“l’euro non ha convinto nessuno “. A tutt’oggi con lo spread a 440 e gli interessi al 6,8 traccheggia, pensa alla bionde strafighe, racconta barzellette, si chiude ad Arcore, pensa a
diseredare la seconda moglie con figli annessi, si fa gli affari suoi e del paese se ne frega. Il puffo malefico a tratti sembra lanciatissimo,ma è tutta scena per i media, come l’imbonitore
Renzi, ormai fanno solo avanspettacoli da provincia. Il puffo fiorentino è “tardo blairismo in salsa populista” e l’unica cosa con cui rompe è la sx. Bossi è lucido ‘a tratti’, mentre B, spenti i
brevi sprazzi di vivacità, entra saltuariamente in coma. Il nuovo della politica fiorentina si mette più a dx della dx con un programma di privatizzazioni che fa sembrare l’Ue comunista.
Ogni tanto B si sveglia, per la serie “eppur si muove”, prende il viagra, tromba un po’, mostra all’urbe et orbe ‘come fregarsene del debito trombando lo stesso’, ”basta far finta di esserci
e poi continuare a farsi gli affari propri” e poi si riaddormenta. Tra uno sbadiglio e un coma ci sembra quasi che niente si muova. Ma è l’impressione di chi è già morto. Ripartono i
movimenti per la pubblicizzazione dell’acqua Malgrado il 95% di cittadini giustamente incazzati con la privatizzazione, l’acqua non è tornata pubblica, nelle bollette continuiamo a pagare
il surplus di ricavo per gli esercenti, Bersani come nulla fudesse, il giorno dopo il referendum, ha riproposto la privatizzazione, Renzi privatizzerebbe anche il culo di sua nonna e l’UE ci
ordina di privatizzare di tutto. E poi la chiamano democrazia! Poi si dice che la classe politica è al servizio della comunità! E che abbiamo interessi a stare in Europa! Giornate terribili in
Borsa per l’Italia! Viviana Vivarelli Mentre B governa ‘a tempo perso’, e l’opposizione perde tempo col programma già obsoleto di Renzi, gli interessi sul debito si impennano
paurosamente. E giovedì il G20 discuterà proprio su una Europa appesa al capestro di una Italia irresponsabile e in via di bancarotta. Uno dei punti più importanti della lettera della Bce
era l’incentivo del lavoro giovanile con lo stipendio di sussistenza ai giovani disoccupati, che in Italia sono ormai uno su 3, mentre delle donne non ne lavora una su 2, ma B nemmeno l’ha

QI=1700.0
QMI=0.6

I testi al limite superiore della Entropia
195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=IE_body_tg%20desc&ro

ws=1000

• I post lunghissimi con tanta informazione
• Elenci di nomi rari

http://masadaweb.org/2011/11/02/masada-
n%C2%B01334-30112010-la-tempesta-
finanziaria/ (un post lunghissimo con tanta
informazione)

Entropia dipende dalla lunghezza del
testo

• Correlazione: 0.99 – è altissima perché la correlazione
e uguale a uno quando i dati sono identici.

Altri risultati
• Correlazione QMI con Lunghezza del Testo è
bassissima: 0.05 (rispetto a 0.985)
• Correlazione QMI e QI con QualityScore 0.011
• Correlazione QMI e QI non è bassa ma
neanche tanto alta: 0.57

Conclusione
• Entropia vs. Quantità media Entropia è base
lunghezza, quindi non trova le anomalie, invece la
quantità media riesce a trovare le anomalie.
• Entropia è bassa anche se un testo breve contiene delle parole
rare.
• Quantità media dell’informazione più rappresenta lo stile di
scrittura e non dipende dalla lunghezza.
• QI vs. QMI - Si compensano
• Dei score calcolati in automatico
• QI vs. Analisi Stilistica
– Risolve dei problemi che con l’analisi stilistica non si
possono risolvere
• QMI - l’informazione sullo stile di scrittura

Quantità dell'informazione

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (9)

Quantità dell'informazione