SlideShare una empresa de Scribd logo
1 de 38
Tartalomelemzés 
Varjú Zoltán, Precognox 
2014. 10.14
@zoltanvarju 
Szógyakoriság RT és elmlítések
Mit árul el rólam 
a Twitter? 
 Férfi 
 Harmincas 
 Minimum középiskolai 
végzettség 
 Big Five – nyitottság, 
extrovertált, analitikus
Tartalomelemzés 
A szógyakorisági 
vizsgálatokkal valós 
trendekre 
következtethetünk 
Leírhatunk jelenségeket 
Predikciókat tehetünk
Miért 
számoljunk 
szavakat? 
Túl sok tartalom 
keletkezik 
Nem tudunk mindent 
elolvasni 
Filter bubble 
Objektivitás hiánya
Egyszerű szógyakoriság 
R-index, Google Ngram, GoogleTrends
R-index 
 The Economist/ 
EIU 
 „recession” 
gyakorisága az FT 
és WSJ lapokban
Google 
Ngram 
Viewer 
• https://books.google.c 
om/ngrams 
• Google Books 
korpuszon alapul 
• Nyilvánosan elérhető 
API-n keresztül, ill. le 
is tölthető
GoogleTrends 
 http://www.google.co.h 
u/trends/ 
 A keresési kifejezések 
idősorait akár meg is 
jeleníti nekünk 
 Lehetőség van területi 
szűrésre is
Magyar 
R-index 
 Index.hu cikkek 
 KSH GDP adatok 
 Nielsen fogyasztói 
bizalmi index
GoogleTrends 
adatok és 
Nielsen index
Wikipedia havi 
oldalletöltések 
és Nielsen 
index
Összkép
Szentiment
Szentiment- és 
emócióelemzés 
Drawin és a nyelvtechnológia találkozása
Szentimentelemzés 
vagy polaritásmérés 
Példák a Neticle 
(http://www.neticle.hu/) 
rendszeréből
Szentimentelemzés 
Negatív szótár Pozitív szótár
Szentimentelemzés 
Shifterek: Pl. „ez nagyon jó” vs „ez 
nagyon nem jó” 
Irónia „No, jól megcsinálták ezt a 
telót!” 
Scoring: „A kijelző nagyon jó, 
ellenben a hang lehetne jobb is” 
Target: „A Samsung nagyon gyors, 
ellenben az Apple sokkal szebb 
telefonokat gyárt.”
Emócióelemzés 
 Darwing: The 
Expression of 
Emotions in Man and 
Animals (1872) 
 6 alapvető 
érzelemnek biológiai 
alapjai vannak
Ekman és 
az 
emóciók 
 Bánat 
 Düh 
 Félelem 
 Meglepődés 
 Öröm 
 Undor
Emóciószótárak
A tökéletes rap sláger 
nyomában 
Lexikai diverzitás, szentiment- és emócióelemzés
Lexikai 
diverzitás 
Type/ 
Token 
arány
Szentiment
Emóciók - 
bánat
Emóciók - 
düh
Emóciók - 
meglepődés
Mi a különbség a 
szentiment és az 
emóció között?
A kategóriák 
függetlenek 
egymástól 
Az egyes kategóriák között 
nincs korreláció általában, 
de 
Pozitív és a öröm értékek 
között +0.78 
Negatív és düh értékek 
között +0.65
Bánat és 
lexikai 
diverzitás
Félelem és 
lexikai 
diverzitás
Undor és 
lexikai 
diverzitás
Predikció
Főpolgármester 
-jelöltek a 
Twitteren
Jelenbecslés 
1. 
NFSZ nyilvántartott álláskeresők 
2013
Jelenbecslés 
2. 
A Jobmonitor keresési adatai (az y 
tengelyen nem véletlenül maradtak 
le a számok)
Jelenbecslés 3. 
 ha 1%-kal nő a jobmonitoros 
keresések mértéke, 44,17%-kal 
csökken a nyilvántartott 
álláskeresők száma 
 jelezni tudta a januári-februári 
tendenciabeli változást 
 megerősíti a GoogleTrends 
irodalom azon megállapítását, 
hogy a keresésekkel kiegészített 
modellek előbb előrejelzik a 
trendbeli változásokat
http://precognox.hu/ 
http://kereses.blog.hu/ 
http://www.meetup.com/Hungarian-nlp/

Más contenido relacionado

Más de Zoltan Varju

Balogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatBalogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatZoltan Varju
 
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...Zoltan Varju
 
Kisvilágunk, a nyelv
Kisvilágunk, a nyelvKisvilágunk, a nyelv
Kisvilágunk, a nyelvZoltan Varju
 
Balogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszédBalogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszédZoltan Varju
 
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekBalogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekZoltan Varju
 
Érzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzésÉrzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzésZoltan Varju
 
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...Zoltan Varju
 
Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Zoltan Varju
 
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Zoltan Varju
 
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Zoltan Varju
 
Rasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaRasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaZoltan Varju
 
Kontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeKontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeZoltan Varju
 
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezSimon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezZoltan Varju
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Zoltan Varju
 
Miháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnetMiháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnetZoltan Varju
 
Ács Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárakÁcs Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárakZoltan Varju
 
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezetSass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezetZoltan Varju
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Zoltan Varju
 
Vincze Veronika: A Szeged Korpusz és Treebank
Vincze Veronika: A Szeged Korpusz és Treebank Vincze Veronika: A Szeged Korpusz és Treebank
Vincze Veronika: A Szeged Korpusz és Treebank Zoltan Varju
 

Más de Zoltan Varju (20)

Balogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatBalogh Kitti: Szövegbányászat
Balogh Kitti: Szövegbányászat
 
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a...
 
Kisvilágunk, a nyelv
Kisvilágunk, a nyelvKisvilágunk, a nyelv
Kisvilágunk, a nyelv
 
Balogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszédBalogh Kitti - Szűcs Krisztina: Képes beszéd
Balogh Kitti - Szűcs Krisztina: Képes beszéd
 
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekBalogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
 
Érzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzésÉrzelmek hálójában – hálózat- és tartalomelemzés
Érzelmek hálójában – hálózat- és tartalomelemzés
 
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...Szabó - Varjú: Automatikus  értékelés- és érzelemelemzés magyar nyelvű szöveg...
Szabó - Varjú: Automatikus értékelés- és érzelemelemzés magyar nyelvű szöveg...
 
Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)
 
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
 
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
 
Rasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaRasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útja
 
Kontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeKontextus és a hivatkozások ereje
Kontextus és a hivatkozások ereje
 
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezSimon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben
 
Felhívás
FelhívásFelhívás
Felhívás
 
Miháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnetMiháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnet
 
Ács Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárakÁcs Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárak
 
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezetSass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben
 
Vincze Veronika: A Szeged Korpusz és Treebank
Vincze Veronika: A Szeged Korpusz és Treebank Vincze Veronika: A Szeged Korpusz és Treebank
Vincze Veronika: A Szeged Korpusz és Treebank
 

De tartalomelemzés 2014_10_14