Enviar búsqueda
Cargar
アクセスデータ収集と解析
•
4 recomendaciones
•
2,159 vistas
Yoichi Tomi
Seguir
TokyoWebmining #8での発表資料です。 当日に見せたデータの部分に関しては割愛しています。
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 19
Recomendados
研究室内統計勉強会20160526
研究室内統計勉強会20160526
敬之 中島
オープンデータで実現する作文測定分析のシステム構成
オープンデータで実現する作文測定分析のシステム構成
yamahige
参院選の事例で見るTwitter分析の現状と課題(#TokyoWebmining)
参院選の事例で見るTwitter分析の現状と課題(#TokyoWebmining)
Hirosuke Asano
ディープラーニングによる時系列データの異常検知
ディープラーニングによる時系列データの異常検知
Core Concept Technologies
tokyo_webmining_no51
tokyo_webmining_no51
Shu (shoe116)
35thwebmining_lt
35thwebmining_lt
Daisuke Amano
20190723 mlp lt_bayes_pub
20190723 mlp lt_bayes_pub
Yoichi Tokita
福岡市内のベンチャー企業が取り組む最新It技術
福岡市内のベンチャー企業が取り組む最新It技術
Takuya Andou
Recomendados
研究室内統計勉強会20160526
研究室内統計勉強会20160526
敬之 中島
オープンデータで実現する作文測定分析のシステム構成
オープンデータで実現する作文測定分析のシステム構成
yamahige
参院選の事例で見るTwitter分析の現状と課題(#TokyoWebmining)
参院選の事例で見るTwitter分析の現状と課題(#TokyoWebmining)
Hirosuke Asano
ディープラーニングによる時系列データの異常検知
ディープラーニングによる時系列データの異常検知
Core Concept Technologies
tokyo_webmining_no51
tokyo_webmining_no51
Shu (shoe116)
35thwebmining_lt
35thwebmining_lt
Daisuke Amano
20190723 mlp lt_bayes_pub
20190723 mlp lt_bayes_pub
Yoichi Tokita
福岡市内のベンチャー企業が取り組む最新It技術
福岡市内のベンチャー企業が取り組む最新It技術
Takuya Andou
ディープラーニングで株価予測をやってみた
ディープラーニングで株価予測をやってみた
卓也 安東
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
Leading Edge Co.,Ltd.
LT データ可視化とd3.js js_cafe_20130908_otanet
LT データ可視化とd3.js js_cafe_20130908_otanet
博三 太田
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
Takafumi Nakanishi
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習
Preferred Networks
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
Tokoroten Nakayama
Web解析と意思決定20130311 太田
Web解析と意思決定20130311 太田
博三 太田
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Eric Sartre
ICDE 2014参加報告資料
ICDE 2014参加報告資料
Masumi Shirakawa
位置情報にまつわるデータ補間技術
位置情報にまつわるデータ補間技術
Hiroaki Sengoku
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
Yuya Unno
一人三役!一気通貫でデータ活用するエンジニアリング
一人三役!一気通貫でデータ活用するエンジニアリング
Recruit Lifestyle Co., Ltd.
楽天のECにおけるAI技術の活用
楽天のECにおけるAI技術の活用
Rakuten Group, Inc.
オープンデータフォーラム〜地方におけるオープンデータ〜「アイディアソン」
オープンデータフォーラム〜地方におけるオープンデータ〜「アイディアソン」
Sayoko Shimoyama
データプランナーによるデータ系施策について
データプランナーによるデータ系施策について
Recruit Lifestyle Co., Ltd.
Unsupervised Object Discovery and Localization in the Wild:Part-Based Match...
Unsupervised Object Discovery and Localization in the Wild:Part-Based Match...
Yoshitaka Ushiku
モブプログラミング x 行動分析学 x 教育
モブプログラミング x 行動分析学 x 教育
Takuo Doi
マイニング探検会#12
マイニング探検会#12
Yoji Kiyota
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Más contenido relacionado
Similar a アクセスデータ収集と解析
ディープラーニングで株価予測をやってみた
ディープラーニングで株価予測をやってみた
卓也 安東
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
Leading Edge Co.,Ltd.
LT データ可視化とd3.js js_cafe_20130908_otanet
LT データ可視化とd3.js js_cafe_20130908_otanet
博三 太田
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
Takafumi Nakanishi
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習
Preferred Networks
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
Tokoroten Nakayama
Web解析と意思決定20130311 太田
Web解析と意思決定20130311 太田
博三 太田
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Eric Sartre
ICDE 2014参加報告資料
ICDE 2014参加報告資料
Masumi Shirakawa
位置情報にまつわるデータ補間技術
位置情報にまつわるデータ補間技術
Hiroaki Sengoku
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
Yuya Unno
一人三役!一気通貫でデータ活用するエンジニアリング
一人三役!一気通貫でデータ活用するエンジニアリング
Recruit Lifestyle Co., Ltd.
楽天のECにおけるAI技術の活用
楽天のECにおけるAI技術の活用
Rakuten Group, Inc.
オープンデータフォーラム〜地方におけるオープンデータ〜「アイディアソン」
オープンデータフォーラム〜地方におけるオープンデータ〜「アイディアソン」
Sayoko Shimoyama
データプランナーによるデータ系施策について
データプランナーによるデータ系施策について
Recruit Lifestyle Co., Ltd.
Unsupervised Object Discovery and Localization in the Wild:Part-Based Match...
Unsupervised Object Discovery and Localization in the Wild:Part-Based Match...
Yoshitaka Ushiku
モブプログラミング x 行動分析学 x 教育
モブプログラミング x 行動分析学 x 教育
Takuo Doi
マイニング探検会#12
マイニング探検会#12
Yoji Kiyota
Similar a アクセスデータ収集と解析
(20)
ディープラーニングで株価予測をやってみた
ディープラーニングで株価予測をやってみた
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
LT データ可視化とd3.js js_cafe_20130908_otanet
LT データ可視化とd3.js js_cafe_20130908_otanet
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
ビッグデータ・オープンデータ活用の現状〜ビッグデータ活用概要編〜
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
Web解析と意思決定20130311 太田
Web解析と意思決定20130311 太田
MLOpsはバズワード
MLOpsはバズワード
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
ICDE 2014参加報告資料
ICDE 2014参加報告資料
位置情報にまつわるデータ補間技術
位置情報にまつわるデータ補間技術
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
一人三役!一気通貫でデータ活用するエンジニアリング
一人三役!一気通貫でデータ活用するエンジニアリング
楽天のECにおけるAI技術の活用
楽天のECにおけるAI技術の活用
オープンデータフォーラム〜地方におけるオープンデータ〜「アイディアソン」
オープンデータフォーラム〜地方におけるオープンデータ〜「アイディアソン」
データプランナーによるデータ系施策について
データプランナーによるデータ系施策について
Unsupervised Object Discovery and Localization in the Wild:Part-Based Match...
Unsupervised Object Discovery and Localization in the Wild:Part-Based Match...
モブプログラミング x 行動分析学 x 教育
モブプログラミング x 行動分析学 x 教育
マイニング探検会#12
マイニング探検会#12
Último
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Último
(9)
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
アクセスデータ収集と解析
1.
1 アクセスデータ収集と解析アクセスデータ収集と解析 データマイニング+Web勉強会@東京#データマイニング+Web勉強会@東京#88 2010/11/142010/11/14 冨 洋一冨 洋一/Tomi Yoichi/Tomi Yoichi @tomiyoichi@tomiyoichi
2.
2 レポーティング 本日の話題 自己紹介 Webでの行動分析に用いるデータの取得方法 一般的な手法の紹介 計測上の課題点
その他、雑多なトピック 集計処理データ計測 ここ! 分析に利用するデータの取得方法のヒントや、データの利用上の 制約・限界に関して、何かのヒントになれば。
3.
3 自己紹介 現職 デジタルフォレスト社でアクセス解析ツールの製品企画 特に行動計測とバックエンド処理系の担当。最近はモバイルも。 学生時代 素粒子物理、宇宙線の強度分析、ウェーブレット解析、フラクタル分析 これまでの主な仕事 専門学校でプログラミングの講師 民間気象会社で情報提供システム開発、数値シミュレーション 衛星画像(EOS/AM-1 ASTER)でのリモートセンシング Web会計ソフト開発 その他 3児の父の草食系です。自動車国際C級ライセンス持ってます。
4.
4 2 43 1 - 4
- 顧客はどのような興味・ 関心をもって行動してい るのか? 顧客はどのような経路で、 競合や自社に誘導 されているか? Webマーケティングの課題 競合と比較して、 効果的に顧客獲得を おこなうためには? どんなチャネルで 顧客と コミュニケーションを していくか。
5.
5 アクセス解析に求められるもの 1.基本集計 2.アクセス環境 4.行動分析 3.進入経路 5.広告分析 7.詳細分析 6.コンバージョン 9.EC 8.マルチサイト 各ページのPV(ページビュー)数や訪問回数、 ユニークユーザ数など基本的な統計データ アクセスユーザーのドメインや閲覧環境、 地域などのデータ アクセスユーザーがサイトに進入してから退 出するまでのページ遷移や滞在時間などの データ アクセスユーザがどのような検索ワードやサ イトから流入してきたかの進入データ インターネット広告の効果測定。間接広告効果や リピーター化など、広告に関するデータ 進入経路別やゴールページごとのコンバージョン 数、コンバージョン率、離脱率などのデータ データの絞込みやクロス集計など詳細に分析する 機能 複数サイトの状況やサイト間の行動パターンなど のデータ 商品ごとの売上金額や個数などのデータ
6.
6 行動計測手法の分類 ログの出力元 1. アプリケーションから直接出力 access_log, SystemOut,
error_logなども含む 2. 通信の中間でパケットスニファー、リバースプロキシなど利用 3. Webビーコンをブラウザから計測サーバーへ送信 4. ツールバーなどの外部ツールを利用 長所 短所 直接出力 アプリ側の情報が漏れなく 取得可能 クライアント側が謎 取得から解析まで自前で。 パケットスニファー 送信コンテンツの情報が漏 れなく取得可能 ネットワーク構成上の制約 を受けやすい。 Webビーコン クライアント側の情報取得 が可能。 表示コンテンツに手を入れ る必要あり。 外部ツール利用 サイトをまたがったデータ取 得が可能 ツールの配布が限定的。
7.
7 直接出力の場合 Webサーバーやアプリケーションから ファイル等に出力 syslogやlog4jなどを利用 Webサーバーでは、Apache httpdのLogFormatを調整すると比較的多く の情報が得られる デフォルトでcommonとcombined 未計測・取りこぼしが少ない。 取得パラメータが自由に決められる。 クライアント環境の情報が得られない 分析ツールは、あまり充実していない。 フォーマットが多様
8.
8 パケットスニファー方式の場合 Webサーバーとゲートウェイの間に入れる。 HTTPヘッダーなどより情報を抽出~記録 アプリ運用後から導入可能。 SSL通信には弱い。(ヘッダーに限定される。) 個別パラメータを取得しようとすると設定が面倒&負荷が高い。 リバースプロキシーを利用するやり方もある。 特に携帯計測では有効。 ただし、費用がかかる。 ISPが行うと"Deep Packet Inspection” いろいろと物議を...
9.
9 Webビーコンをブラウザ送信する場合 Web ” ”ページに
ビーコン と呼ばれる画像ファイルを配置 ビーコンのURLの引数に計測パラメータを記載して転送。 Google Analyticsをはじめ、現在の主流 ブラウザ環境も取得可能。 Cookieを利用して再訪問の識別可能 「ケータイ」の場合は別の技術を用いる。 Tips どのようなアクセスソフトが使われて いるのかを知るには、WASPが便利 https://addons.mozilla.org/ja/firefox/addon/4001/
10.
10 1分で分かるビーコン型アクセス解析ツール Webページ側 以下のような画像ビーコンをページ中に書く。 – 実際はJavaScriptなどで動的に作成します。 – 送りたい変数をURLの引数として記載します。 <img
src= http“ ://DATALOGGER_SERVER/img.gif? pagename=index&url=http %3A//www.hogehoge.co.jp/&pagetitle=SAMPLE¶meter1=...¶meter2=...”></img> 計測サーバー側(上記の例ではDATALOGGER_SERVER) •上記のリクエストに対して、1x1ピクセル透過gifを返す。 •この段階で訪問者識別用のCookieを合わせて(更新して)返す。 •ログファイル中からURLより、 img.gif?parameter1=VALUE¶meter2=VALUE&...... のような、パターンマッチングで、引数を取り出し記録する。
11.
11 特殊なビーコン計測 Flashで画像ビーコンを実装 SharedObjectを利用 Cookieの制限が無い。保存可能量も大きい。
かなり「何でもアリ」な環境 コードの例 var track_so = SharedObject.getLocal("test"); if( track_so.data.count == undefined ){ track_so.data.count = 1; }else{ track_so.data.count ++; } counter_txt.text = track_so.data.count;
12.
12 特殊なビーコン計測の応用例 ad4u方式 Flashオブジェクトに数千個のリンクURL CSS仕様の欠陥を利用し、訪問済み/未訪問の識別 • 「訪問サイト」による興味属性の分類 • BTA等に利用 2010年4月以降にIE以外の主要ブラウザで対応され る。
13.
13 外部ツール利用する場合 ・ツールバーやガジェットなど ・主にパネルユーザーの行動調査で利用 ネットユーザーのサンプリングと等価 ・計測対象が特定のサイトに限定されない。 競合サイトの分析が可能! ・取得できるデータ量が多い。 反面、プライバシー観点からのデータの取り扱いに注 意が必要
14.
14 計測精度を落とす原因の例 計測スクリプトが完了前にページ遷移。 普通、画面の最下部にビーコン 特に「ケータイ」ページ(ロードに時間かかる) ブラウザの仕様(またはバグ) 単純にJavaScriptなどの仕様差やバグ URL長やCookie長の制限(IEで2083文字) ブラウザの「セキュリティーモード」 Cookie使えない、消えてしまうなど サードパーティークッキーが使えない(iPhone) サイト側の仕様 googleのSSLモード(Referer未送信) 少し前のTwitter(Referer未送信) AJAX利用ページ(非同期通信による) リダイレクトページの存在
15.
15 「ケータイ」計測 固有の注意事項 • キャリアGWサーバの存在→IPアドレスが取得できない • 多くの場合、cookieやJavaScriptも利用不可。 –
動的なWebビーコンの作成が難しい。 • ドコモはURLにパラメータをつけないと「個体識別番 号」「リンク元URL」の取得不可 (guid=ONなど) • 位置情報はヘッダーに付いたり、GETパラメータについ たりバラバラ。 • UAに機種名が入ってこないキャリア。 etc... WWWサーバキャリアGWサーバ IPを勝手に変換してしまう (その他もろもろの挙動) 各端末 IP IP IP キャリアGWのIP Webサーバ
16.
16 スマートフォン計測 固有の注意事項 • iPhoneはデフォルトでファーストパーティークッキーのみ が利用可能。 • さらにApple社による行動・広告履歴データ分析には、ライ センスによる制約あり。 •
サードパーティーのブラウザを利用された場合、OS/ブラ ウザ識別が出来ない場合がある。(特にWindows Phoneで顕 著。) ※Cookieは使える、ブラウザはPCと同様の挙動をするなど、 計測の観点からは「ケータイ」よりは「PC」に近い。
17.
17 プライバシーにまつわる話題 「個人情報」の取扱は法規制あり。 「個人情報取扱事業者」に対する義務規定の定義 通常のWeb計測の手法では、サイトに渡した以上の個人情報を、サイ ト側が取得する事は出来ない。 DSP(Deep Packet Inspection)に関しては、総務省より条件付きOKの見解 Opt-Outが可能である事が必須など 海外では反対が多く、事実上、実施不可能。英Phorm社など 広い範囲での行動分析による訪問者プロファイリングのニーズ。 単独サイト内での情報収集では限界 どのカテゴリーのサイト・ページを見たかを記録 通常、サードパーティークッキーを利用しても集めきれない データ交換市場などのあり方に関しては、今後の検討課題か。
18.
18 計測で分かる範囲 日本の「ケータイ」では固体識別番号の取得が可能 単独では個人の特定は(キャリア以外は)困難 ログの名寄せ作業が、PCと比較して、はるかに容易。
番号より、大まかな居住地域の推定が可能 • IPアドレスからアクセス元の地域の推定は可能 • サイト間でのCookieの共有は、基本的に不可。 もともと、そのような仕様 突合せの情報を共有している場合は別。 ブラウザの「指紋」(導入プラグインとバージョンの組み合わせ)にて、名寄せ の可能性。 • 基本的には、サイトに登録している情報以上の個人情報等の取得は困難。 嗜好性をプロファイリングされる可能性は残っている。
19.
19 まとめ データの取扱の際には、取得過程の理解が必要。 行動記録には幾つかの方法があり、サードパーティーの 事業者が提供するのは、主にWebビーコン方式 特に「ケータイ」での計測は、制約事項が多々あり、計 測および分析の際には注意が必要。 プライバシーに関する問題は、分析上、UUに着目する 事が多くなった昨今、今後とも重要な課題。