Tesina d'esame di Maffeis Alessio - NLP e Problemi di Ottimizzazione
Vedi: "A Maximum Entropy Approach to Natural Language Processing" http://www.cs.cmu.edu/afs/cs/user/aberger/www/ps/compling.ps
26. Problema
“Quando non si hanno informazioni
sufficienti a distinguere le probabilità di due
eventi, la migliore strategia è quella di
considerarli equiprobabili.”
Laplace
27. Problema
• Come si può scegliere sempre il modello
più uniforme possibile ?
28. Problema
• Come si può scegliere sempre il modello
più uniforme possibile ?
• E’ possibile misurare l’uniformità di un
modello ?
34. Massima Entropia
Statistiche, Features,Vincoli
Statistica:
nel 90% dei casi se la parola “April” segue “in”, allora la
traduzione in francese sarà “en”
35. Massima Entropia
Statistiche, Features,Vincoli
Feature:
{
1 se quot;y = enquot; e quot;Aprilequot; segue quot;inquot;
f(x,y)=
0 altrove