Enviar búsqueda
Cargar
あんちべのすべらない話~俺のツイートがこんなにウケないはずがない~
•
23 recomendaciones
•
10,091 vistas
A
antibayesian 俺がS式だ
Seguir
Rを用いたtwitterテキストマイニング
Leer menos
Leer más
Tecnología
Empresariales
Denunciar
Compartir
Denunciar
Compartir
1 de 20
Descargar ahora
Descargar para leer sin conexión
Recomendados
Sakusaku svm
Sakusaku svm
antibayesian 俺がS式だ
言語処理学会へ遊びに行ったよ
言語処理学会へ遊びに行ったよ
antibayesian 俺がS式だ
全文検索入門
全文検索入門
antibayesian 俺がS式だ
協調フィルタリング with Mahout
協調フィルタリング with Mahout
Katsuhiro Takata
RでTwitterテキストマイニング
RでTwitterテキストマイニング
Yudai Shinbo
RではじめるTwitter解析
RではじめるTwitter解析
Takeshi Arabiki
JASELE2015-KumamotoWS
JASELE2015-KumamotoWS
SAKAUE, Tatsuya
どたばたかいぎ成果発表
どたばたかいぎ成果発表
Eric Sartre
Recomendados
Sakusaku svm
Sakusaku svm
antibayesian 俺がS式だ
言語処理学会へ遊びに行ったよ
言語処理学会へ遊びに行ったよ
antibayesian 俺がS式だ
全文検索入門
全文検索入門
antibayesian 俺がS式だ
協調フィルタリング with Mahout
協調フィルタリング with Mahout
Katsuhiro Takata
RでTwitterテキストマイニング
RでTwitterテキストマイニング
Yudai Shinbo
RではじめるTwitter解析
RではじめるTwitter解析
Takeshi Arabiki
JASELE2015-KumamotoWS
JASELE2015-KumamotoWS
SAKAUE, Tatsuya
どたばたかいぎ成果発表
どたばたかいぎ成果発表
Eric Sartre
teratailで秒速回答を目指す - GoogleAppsScript + SlackWebhook
teratailで秒速回答を目指す - GoogleAppsScript + SlackWebhook
Shohei Tai
Uec.R#3 YjdnJlpを使ってみた
Uec.R#3 YjdnJlpを使ってみた
Atsushi Hayakawa
はじめてのテスト技法
はじめてのテスト技法
Tatsuya Saito
Frequency with nltk
Frequency with nltk
Atsushi Hayakawa
Kpt×ナース(公開版)
Kpt×ナース(公開版)
Noriyuki Nemoto
Machine Learning Fundamentals IEEE
Machine Learning Fundamentals IEEE
Antonio Tejero de Pablos
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
Hajime Sasaki
情シスオフ 2nd Lt 20090620
情シスオフ 2nd Lt 20090620
atsuizo
企業における統計学入門
企業における統計学入門
antibayesian 俺がS式だ
SPSSで簡単テキストマイニング
SPSSで簡単テキストマイニング
antibayesian 俺がS式だ
ガチャとは心の所作
ガチャとは心の所作
antibayesian 俺がS式だ
チームラボ忘年会
チームラボ忘年会
antibayesian 俺がS式だ
テキストマイニングのイメージと実際
テキストマイニングのイメージと実際
antibayesian 俺がS式だ
さくさくテキストマイニング入門セッション
さくさくテキストマイニング入門セッション
antibayesian 俺がS式だ
神の言語による自然言語処理
神の言語による自然言語処理
antibayesian 俺がS式だ
Pythonで簡単ネットワーク分析
Pythonで簡単ネットワーク分析
antibayesian 俺がS式だ
第三回さくさくテキストマイニング勉強会 入門セッション
第三回さくさくテキストマイニング勉強会 入門セッション
antibayesian 俺がS式だ
Más contenido relacionado
Similar a あんちべのすべらない話~俺のツイートがこんなにウケないはずがない~
teratailで秒速回答を目指す - GoogleAppsScript + SlackWebhook
teratailで秒速回答を目指す - GoogleAppsScript + SlackWebhook
Shohei Tai
Uec.R#3 YjdnJlpを使ってみた
Uec.R#3 YjdnJlpを使ってみた
Atsushi Hayakawa
はじめてのテスト技法
はじめてのテスト技法
Tatsuya Saito
Frequency with nltk
Frequency with nltk
Atsushi Hayakawa
Kpt×ナース(公開版)
Kpt×ナース(公開版)
Noriyuki Nemoto
Machine Learning Fundamentals IEEE
Machine Learning Fundamentals IEEE
Antonio Tejero de Pablos
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
Hajime Sasaki
情シスオフ 2nd Lt 20090620
情シスオフ 2nd Lt 20090620
atsuizo
Similar a あんちべのすべらない話~俺のツイートがこんなにウケないはずがない~
(8)
teratailで秒速回答を目指す - GoogleAppsScript + SlackWebhook
teratailで秒速回答を目指す - GoogleAppsScript + SlackWebhook
Uec.R#3 YjdnJlpを使ってみた
Uec.R#3 YjdnJlpを使ってみた
はじめてのテスト技法
はじめてのテスト技法
Frequency with nltk
Frequency with nltk
Kpt×ナース(公開版)
Kpt×ナース(公開版)
Machine Learning Fundamentals IEEE
Machine Learning Fundamentals IEEE
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
情シスオフ 2nd Lt 20090620
情シスオフ 2nd Lt 20090620
Más de antibayesian 俺がS式だ
企業における統計学入門
企業における統計学入門
antibayesian 俺がS式だ
SPSSで簡単テキストマイニング
SPSSで簡単テキストマイニング
antibayesian 俺がS式だ
ガチャとは心の所作
ガチャとは心の所作
antibayesian 俺がS式だ
チームラボ忘年会
チームラボ忘年会
antibayesian 俺がS式だ
テキストマイニングのイメージと実際
テキストマイニングのイメージと実際
antibayesian 俺がS式だ
さくさくテキストマイニング入門セッション
さくさくテキストマイニング入門セッション
antibayesian 俺がS式だ
神の言語による自然言語処理
神の言語による自然言語処理
antibayesian 俺がS式だ
Pythonで簡単ネットワーク分析
Pythonで簡単ネットワーク分析
antibayesian 俺がS式だ
第三回さくさくテキストマイニング勉強会 入門セッション
第三回さくさくテキストマイニング勉強会 入門セッション
antibayesian 俺がS式だ
Más de antibayesian 俺がS式だ
(9)
企業における統計学入門
企業における統計学入門
SPSSで簡単テキストマイニング
SPSSで簡単テキストマイニング
ガチャとは心の所作
ガチャとは心の所作
チームラボ忘年会
チームラボ忘年会
テキストマイニングのイメージと実際
テキストマイニングのイメージと実際
さくさくテキストマイニング入門セッション
さくさくテキストマイニング入門セッション
神の言語による自然言語処理
神の言語による自然言語処理
Pythonで簡単ネットワーク分析
Pythonで簡単ネットワーク分析
第三回さくさくテキストマイニング勉強会 入門セッション
第三回さくさくテキストマイニング勉強会 入門セッション
あんちべのすべらない話~俺のツイートがこんなにウケないはずがない~
1.
あんちべの すべらない話 ~俺のツイートがこんなにウケないはずがない~
2.
目的
3.
twitter 渾身のネタが スルーされたり 何気ない呟きが めっちゃウケたり
4.
滑ったときの 恥ずかしさ マジパネェ
5.
tweetする前に ウケルかどうか 予測できれば!
6.
それ、Rなら 簡単ですよ!
7.
発表の目的 Rで自分のtweetが ウケるかどうか 予測をしよう!
8.
自己紹介 ●
ID:AntiBayesian ● あんちべ!とお呼び下さい ● 専門:テキストマイニング、自然言語処理 ● 職業:某ATMが○○な銀行で金融工学研究員とか いう胡散臭い素敵なことしてる ● 自然言語処理職大絶賛募集中!!!! ● math.empress@gmail.com
9.
なんで急にLTすることに??? ↑今日の0時くらいの話です
10.
分析手順 1.訓練データ(正例、負例)を用意する 2.訓練データから予測モデルを立てる 3.自分のtweetを予測モデルに放り込んで判定
11.
訓練データを集めよう ●
正例:favstarから人気tweetを取得 ● 負例:twitter Streaming APIから適当にサンプリン グ ● 6月中のtweetを各々約1500件ずつチョイス ● 正例にはfav、負例にはnonタグを付ける ※Tweetを取得するツール作ったよ! http://d.hatena.ne.jp/AntiBayesian/20110702
12.
13.
さくさくツイートマイニング こんな感じ→
14.
訓練データの加工
ttmの紹介 ● TinyTextMiner ● テキストを形態素解析に掛け、さらに分析ツールに 投げやすいよう整形してくれるフリーソフト ● ここからDL http://mtmr.jp/ttm/ ※MeCabもインストールしてね
15.
加工済みデータ ●
1行目が各単語。2行目以降は、各文章から表頭 の単語が何回出現したか ● 右端のTAG列がクラス。fav=正例、non=負 例、test=検証するtweet。 ● 要するに、testテキストがfav、nonどちらに分類さ れるか知りたい
16.
予測モデルを立てよう ●
RandomForestを使おう! ● 精度高いし汚いデータにも強い!Googleも利用! ● 詳細は下記ブログを参考に http://d.hatena.ne.jp/hamadakoichi/20110130/
17.
Rのコード twit <- read.csv(file="twit.csv") library(randomForest) train.data
<- twit[1:2877,]#訓練データが2877ある test.data <- twit[2878:2911,]#テストデータは33 rf.model <- randomForest(TAG~., data=train.data, na.a="na.omit", ntree=10)
18.
精度はどう??? rf.predict <- predict(rf.model,
train.data) (result <- table(train.data$TAG, rf.predict)) ● 緑色のセル=正しく分類 ● 行:予測 ● 列:実際 2*result[2,2] / (2*result[2,2]+result[1,2]+result[2,1]) ● F値:0.9019064 ※訓練データで高精度は当たり前。ただの目安
19.
学習結果 rf.predict <- predict(rf.model,
test.data) ● 2878行目のデータはfav、2879行目はnonと予測 ● favと予測されたtweetはウケルのでは???
20.
まとめ ●
人気tweetを収集し、人気tweetを判別するモデル を作る ● 自分のtweetをモデルで評価して、ウケル内容だ けtweetする ● これで広瀬香美や孫正義を超える人気ついっ たったーになれる!
Descargar ahora