第2回Twitter研究会の事前アップロード資料です。 本番の資料もこちらのアドレスにアップロードします。

1. 今そこにある呟きTwitterからのリアルタイムなイベント抽出及び応用アプリケーションについて 榊 剛史@tksakaki 松尾 豊@ymatsuo 東京大学 松尾研究室

2. 軽く自己紹介 東京大学 松尾研究室 博士課程1年 株式会社 ホットリンク 特任研究員 以前は、東京電力で電柱昇ったりしてました。 Twitter上で、よく教授と間違われます。 海外でも間違えられてた・・・・ ↑ウェブ学会のところ ↑口コミ係長のところ

3. 今日のアジェンダ Twitterで分かる「今」と「どこ」 地震抽出システムについて リアルタイムイベント抽出の仕組み キーワード検索とSVMによるイベント抽出 Particle Filter による位置推定 Twitter上でのリアルタイム情報伝播の特徴 イベント種類による情報伝播の特性 リアルタイムイベント抽出 応用システム にじったー／Toretter 電車遅延抽出／渋滞抽出 Celeb Paparazzi（仮）

4. 今日のアジェンダ Twitterで分かる「今」と「どこ」 地震抽出システムについて リアルタイムイベント抽出の仕組み キーワード検索とSVMによるイベント抽出 Particle Filter による位置推定 Twitter上でのリアルタイム情報伝播の特徴 イベント種類による情報伝播の特性 リアルタイムイベント抽出 応用システム にじったー／Toretter 電車遅延抽出／渋滞抽出 Celeb Paparazzi（仮）

5. Twitterにおける「今」と「どこ」 Twitterにおける「今」の重要性 ニュースサイト ツイちぇき！！ Buzztter TV見ながらTweet TVzin フォロワーの行動

6. Twitterにおける「今」と「どこ」 Twitterにおける「今」の重要性 ニュースサイト Buzztter TV見ながらTweet TVzin フォロワーの行動 今何が起きているかが分かる

7. Twitterにおける「今」と「どこ」 Twitterにおける「今」の重要性 ニュースサイト Buzztter TV見ながらTweet TVzin フォロワーの行動 今何が起きているかが分かる 他人が何をしているかが分かる

8. リアルタイム性と位置情報を利用した使い方 地震の発生と震源地を知る 天体現象を知る ゲリラ豪雨 虹 朝の電車遅延情報 Twitterにおける「今」と「どこ」

9. リアルタイム性と位置情報を利用した使い方 地震の発生と震源地を知る 天体現象を知る ゲリラ豪雨 虹 朝の電車遅延情報 Twitterにおける「今」と「どこ」 リアルな世界で 「今」「そこで」何かが起きているのが分かる

10. Twitterにおける「今」と「どこ」 「今」と「どこ」を利用したアプリケーション Torretter ：地震検出システム 時間的な近さから同じ地震であることを同定 Geolocation情報、ユーザーのプロフィールの場所情報を利用して、震源地を推定する(未実装） Nijitter：虹検出システム 時間的な近さとTweet数から虹が出ていることを同定 位置情報をもとに、虹が出ていると思われる場所に虹を表示 本日はこの仕組みについて説明 サンプル：地震

11. 今日のアジェンダ Twitterで分かる「今」と「どこ」 地震抽出システムについて リアルタイムイベント抽出の仕組み キーワード検索とSVMによるイベント抽出 Particle Filter による位置推定 Twitter上でのリアルタイム情報伝播の特徴 イベント種類による情報伝播の特性 リアルタイムイベント抽出 応用システム にじったー／Toretter 電車遅延抽出／渋滞抽出 Celeb Paparazzi（仮）

12. アプローチ 「地震」「揺れた」を含むTweetから 地震直後に呟いたTweetのみを抽出 Twitterユーザーをセンサーと捉えて 地震検出・震源地推定

13. ポイント１ 機械学習で 「地震」「揺れた」を含むTweetから 地震直後に呟いたTweetのみを抽出

14. ポイント１ □地震直後につぶやいた呟き 揺れた！ こえ～～ 地震だ！！ 地震！？ 地震！ びびったー □その他のつぶやいた呟き 今更、何故「鍋焼きうどん」買うの！ こんなに沢山？！地震に供えて？ 十年後って、自分が生きてる保証も無いですよね。 地震とか、戦争とかもわからんし・・・？

15. ポイント１ □地震直後につぶやいた呟き 揺れた！ こえ～～ 地震だ！！ 地震！？ 地震！ びびったー □その他のつぶやいた呟き 今更、何故「鍋焼きうどん」買うの！ こんなに沢山？！地震に供えて？ 十年後って、自分が生きてる保証も無いですよね。 地震とか、戦争とかもわからんし・・・？

16. ポイント１～説明 Tweet Tweet Tweet Tweet … Twitter search API 検索 キーワードを 含む呟き 「地震」 「揺れた」 提案システム Tweetクローラー テキスト分析器 データベース Mecab SVM

17. ポイント１～説明 Tweet Tweet Tweet Tweet … Twitter search API 検索 キーワードを 含む呟き 「地震」 「揺れた」 提案システム Tweetクローラー テキスト分析器 データベース Mecab SVM

18. ポイント１～説明 Tweet Tweet Tweet Tweet … Twitter search API 検索 キーワードを 含む呟き 「地震」 「揺れた」 提案システム Tweetクローラー テキスト分析器 データベース Mecab SVM

19. ポイント１～説明 Tweet Tweet Tweet Tweet … Support Vector Machine =機械学習の手法 Twitter search API 検索 キーワードを 含む呟き 「地震」 「揺れた」 提案システム Tweetクローラー テキスト分析器 データベース Mecab SVM 地震に関する呟きのみ抽出

20. ターゲットとするイベントに関するキーワードを含むTweetを抽出 地震の場合 「揺れた」「地震」 虹の場合 「虹」 収集したTweetを正解と不正解に分類-> 学習データ 例： 「地震だ！！」 －－正解 「地震が多い国って、日本だけじゃないんだよな・・・」 －－不正解 ポイント１～詳細説明

21. ポイント１～詳細説明 ターゲットイベント用Tweets分類器作成 収集した学習データを利用 学習手法：Support Vector Machine 使用した特徴量（例文：やばい、地震きた！） 統計量(3語、2番目) Tweetsが全部で何語か？また、キーワードは何番目か？ キーワード( やばい、地震、くる) Tweets中に含まれている全ての語 キーワード文脈情報(やばい、くる) キーワードの前後に出現する語

22. アプローチ 「地震」「揺れた」を含むTweetから 地震直後に呟いたTweetのみを抽出 Twitterユーザーをセンサーと捉えて 地震検出・震源地推定

23. ポイント２ Twitterユーザーをセンサーと捉えて 地震検出・震源地推定

24. ポイント２～説明 Twitterからのイベント検出 センサーによるイベント検出 確率モデル 確率モデル センサーの測定値 呟き分類器 tweets ・・・ ・・・ ・・・ ・・・ ・・・ センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生

25. ポイント２～説明 Twitterからのイベント検出 センサーによるイベント検出 確率モデル 確率モデル センサーの測定値 呟き分類器 tweets ・・・ ・・・ ・・・ ・・・ ・・・ ユーザーが「地震」について呟く センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生

26. ポイント２～説明 センサーによるイベント検出 Twitterからのイベント検出 確率モデル 確率モデル センサーの測定値 ・・・ 呟き分類器 ・・・ ・・・ tweets ・・・ ・・・ ユーザーが「地震」について呟く センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生

27. ポイント２～説明 センサーによるイベント検出 Twitterからのイベント検出 地震に関する呟きを抽出 確率モデル 確率モデル センサーの測定値 呟き分類器 tweets ・・・ ・・・ ユーザーが「地震」について呟く センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生

28. ポイント２～説明 センサーによるイベント検出 Twitterからのイベント検出 地震を検出 地震に関する呟きを抽出 確率モデル 確率モデル センサーの測定値 呟き分類器 tweets ・・・ ・・・ ユーザーが「地震」について呟く センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生

29. ポイント２～説明 センサーによるイベント検出 Twitterからのイベント検出 地震を検出 地震センサーが地震を検出 地震に関する呟きを抽出 確率モデル 確率モデル センサーの測定値 呟き分類器 tweets ・・・ ・・・ ユーザーが「地震」について呟く センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生

30. ポイント２～説明 Twitterからのイベント検出 センサーによるイベント検出 地震を検出 地震センサーが地震を検出 地震に関する呟きを抽出 確率モデル 確率モデル センサーの測定値 呟き分類器 tweets ・・・ ・・・ ユーザーが「地震」について呟く センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生

31. ポイント２～説明 センサーによるイベント検出 Twitterからのイベント検出 地震を検出 地震を検出 地震センサーが地震に反応 地震に関する呟きを抽出 確率モデル 確率モデル センサーの測定値 呟き分類器 tweets ・・・ ・・・ ユーザーが「地震」について呟く センサーによる観測 Twitterユーザーによる観測 ターゲット オブジェクト イベント発生 センサーによる観測と同じ確率的処理で検出可能

32. ポイント２～詳細説明 実際には確率モデルを使用して検出 Twitterユーザーをセンサーを考えると、ノイズが多く、また誤検出もあり得る １つのTweetだけでは、イベントが起きたとは判定できない ->時系列的なセンサーの値から、イベント判定を行う 2つの確率モデルを利用 時系列データよりイベント検出を行う確率モデル 一連の位置情報より位置推定を行う確率モデル

33. ポイント２～詳細説明～時系列モデル

34. ポイント２～詳細説明～時系列モデル

35. ポイント２～詳細説明～時系列モデル

36. ポイント２～詳細説明～時系列モデル

37. ポイント２～詳細説明～時系列モデル

38. ポイント２～詳細説明～時系列モデル

39. ポイント２～詳細説明～時系列モデル 観測データを指数関数にフィッティング ターゲットイベントの発生判定を、指数分布に基づいて確率的に算出

40. ポイント２～詳細説明～空間モデル ターゲットイベントの発生場所の確率分布を算出 センサーによる位置推定に使われるベイズフィルタを利用 カルマンフィルタ パーティクルフィルタ

41. ポイント２～詳細説明～空間モデル カルマンフィルタ ベイズフィルタとして最もよく使われている手法 長所計算が速い 短所適用対象が、高精度かつ計測間隔の短い センサーに限られてしまう

42. ポイント２～詳細説明～空間モデル パーティクルフィルタ（粒子フィルタ） 確率分布をparticle＝粒子の集合でシミュレートする手法 長所さまざまな確率分布に適用可能 短所高次元なデータを用いた予測には適用できない （位置推定は２次元なので適用可能）

43. 検出の精度 どのくらいの精度で検出できたのか？

44. 地震自体の検出結果 期間： 2009年8月 – 2009年9月 収集したTweet数: 49,314tweets 利用したTweet数: 6291 tweets by 4218 users 震度３以上の地震を９６％の精度で検出

45. 震源地予測結果 Kyoto Tokyo 予測震源地 （提案） Osaka 実際の震源地 風船：呟きの位置 色：呟き時刻

46. 台風の進路予測 実際の経路 予測経路 （Particle Filter)

47. 問題点 地震検出の精度・位置推定の精度が Twitterユーザーの多い地域＞少ない地域 震源地が海だと予測できない

48. 今日のアジェンダ Twitterで分かる「今」と「どこ」 地震抽出システムについて リアルタイムイベント抽出の仕組み キーワード検索とSVMによるイベント抽出 Particle Filter による位置推定 Twitter上でのリアルタイム情報伝播の特徴 イベント種類による情報伝播の特性 リアルタイムイベント抽出 応用システム にじったー／Toretter 電車遅延抽出／渋滞抽出 Celeb Paparazzi（仮）

49. Twitter上でのイベント情報の伝播 調査の発端 センサーによる観測手法 ->センサー同士が影響しないことが前提 -> Twitterユーザー同士は影響を及ぼしてしまうのではないか？ 2種類のイベントについてネットワークの特徴量を比較 ユーザーの周囲で突発的に発生するイベント 地震・台風 学会／研究会イベント

50. 2種類の情報伝播ネットワークを定義 フォロワーネットワーク Retweetネットワーク Twitter上でのイベント情報の伝播 ユーザーA ユーザーB follow user A’s timeline 地震？？ 地震？？ 大丈夫！？ RT @user B: 地震？？ follow ユーザーA ユーザーB

51. 突発的に発生するイベントの情報伝播 フォロワーネットワークの密度：普通 Retweetネットワーク：中心性の高いユーザーがいない フォロワーネットワーク 台風 Retweetネットワーク 台風

52. 突発的に発生するイベントの情報伝播 フォロワーネットワーク v.s. Retweetネットワーク Rpagerankv.s. Rbetween

53. 突発的に発生するイベントの情報伝播 フォロワーネットワーク v.s. Retweetネットワーク Rpagerankv.s. Rbetween

54. 突発的に発生するイベントの情報伝播 フォロワーネットワーク v.s. Retweetネットワーク Rpagerankv.s. Rbetween 地震 台風 地震

56. RTネットワークの密度が高いフォロワーネットワーク WI2 Retweet ネットワーク WI2

57. 学会／研究会イベントの情報伝播 フォロワーネットワーク v.s. Retweetネットワーク ネットワーク密度

58. 学会／研究会イベントの情報伝播 フォロワーネットワーク v.s. Retweetネットワーク ネットワーク密度

59. 学会／研究会イベントの情報伝播 フォロワーネットワーク v.s. Retweetネットワーク ネットワーク密度

60. Twitter上でのイベント情報の伝播 Conference Events 他のイベントと比べ、フォロワーネットワークの密度が高い Retweetも発生しやすい -> 情報伝播が発生しやすいイベント Events around them Retweetネットワークには中心性の高いユーザーはいない. ＝ユーザーは突発的なイベントについてはあまりRetweetしない -> 情報伝播が発生しにくいイベント

61. 今日のアジェンダ Twitterで分かる「今」と「どこ」 地震抽出システムについて リアルタイムイベント抽出の仕組み キーワード検索とSVMによるイベント抽出 Particle Filter による位置推定 Twitter上でのリアルタイム情報伝播の特徴 イベント種類による情報伝播の特性 リアルタイムイベント抽出 応用システム にじったー／Toretter 電車遅延抽出／渋滞抽出 Celeb Paparazzi（仮）

62. 地震速報システム Toretter

63. 虹出現お知らせシステム Nijitter

64. 芸能人を目撃せよ CelebPaparazzi(作成中）

65. 芸能人を目撃せよ CelebPaparazzi(作成中） 今、新宿三丁目であの伝説の外人チャックウィルソン発見！

66. 芸能人を目撃せよ CelebPaparazzi(作成中） 今、新宿三丁目であの伝説の外人チャックウィルソン発見！ いま伊集院光氏が秋葉原うろうろしてるみたいですよ^^接近遭遇のちゃちゃちゃチャンスですよ！w 。

67. 芸能人を目撃せよ CelebPaparazzi(作成中） 今、新宿三丁目であの伝説の外人チャックウィルソン発見！ フジテレビ内のローソンでとんちゃんとフォンチーを見かけたよ。 いま伊集院光氏が秋葉原うろうろしてるみたいですよ^^接近遭遇のちゃちゃちゃチャンスですよ！w 。

68. 芸能人を目撃せよ CelebPaparazzi(作成中） 今、新宿三丁目であの伝説の外人チャックウィルソン発見！ フジテレビ内のローソンでとんちゃんとフォンチーを見かけたよ。 いま伊集院光氏が秋葉原うろうろしてるみたいですよ^^接近遭遇のちゃちゃちゃチャンスですよ！w 。 明治通りで美川憲一に遭遇なう。めっちゃくねくねしてる。

69. 芸能人を目撃せよ CelebPaparazzi(作成中） 今、新宿三丁目であの伝説の外人チャックウィルソン発見！ フジテレビ内のローソンでとんちゃんとフォンチーを見かけたよ。 楳図かずおさん見かけた@吉祥寺。 赤と白のボーダーすごい似合ってた。。 いま伊集院光氏が秋葉原うろうろしてるみたいですよ^^接近遭遇のちゃちゃちゃチャンスですよ！w 。 明治通りで美川憲一に遭遇なう。めっちゃくねくねしてる。 8月31日の１６：００～２０：００の間のＴｗｅｅｔ

70. 芸能人を目撃せよ CelebPaparazzi(作成中） 実際の仕組み 「発見」「遭遇」などを含むTweetを収集 有名人の人名が含まれてるTweetを抽出 Wikipedia等から収集した人物名リストを使用 地名情報・位置情報を取得 -> リアルタイムに芸能人目撃情報を表示

71. その他作りたいアプリ（計画＆妄想） 計画中 電車遅延情報お知らせシステム（メールも配信） 渋滞情報表示システム 妄想 なんでもイベント判別器作成システム 正解データ／不正解データをユーザーがトゥギャる イベント判別器を自動作成 天体情報表示＆写真収集システム

72. まとめ 高い精度でイベント検出可能 ある程度の位置推定も可能 イベントごとの情報伝播の違いを検証 様々なイベント抽出サイトを作成 他のリアルタイムなイベントに応用可能 例：電車遅延、芸能人出現情報etc

73. おしまい @tksakaki

75. 位置情報推定の精度 地震 緯度・経度の最小2乗誤差 Particle filters works better than other methods

76. 位置情報推定の精度 台風 緯度・経度の最小2乗誤差 Particle Filters works better than other methods