Internetのユーザーアクセス元を、GoogleMap上に可視化する方法です NGiNX・BigQuery・GEO-FUSEを利用しております

1. Visualize NGiNX log
with GoogleMap

2. 前置き

3. purpose
! NGiNXのアクセス元を地図にマッピングしたい
! ついでにアクセス元ごとの平均レスポンスタイ
ムとかも
! こんなかんじ

4. 概要

5. 要件
! Internetからのアクセスを位置データに落落とし
こむ
! ⼤大量量のログデータをサマリーし、地域毎の集計
をとる
! それをGoogleMapにレンダリングし、可視化

6. 要件への回答
! どうやって位置データに絞り込む？
⇒ngx_̲http_̲geoip_̲module
! テキストログの集計⽅方法
⇒Google BigQuery
! 可視化(レンダリング⽅方法)
⇒GeoFUSE

7. GeoFUSE?
! GPLライセンスのフリーウェア
! ソース⇒ mbasa/GeoFuse ·∙ GitHub :
https://github.com/mbasa/geofuse
! デモ⇒ GeoFUSE :
http://geofuse.georepublic.net/geofuse/
! 統計データを地図上に簡単に可視化できる
! ブラウザでアクセス可能(GUI)

8. 画⾯面

9. 詳細

10. overwiew
GeoFUSE
Big QueryNGiNX
1.Logging
2.Transfer
3.Query
4.CSV

11. 1.Logging
! NginxのGeoIPモジュールを有効化する
! GeoIP C API及びGeoIP Datafileをインストール
! nginxを-‐‑‒-‐‑‒with-‐‑‒http_̲geoip_̲moduleオプション
を付けてコンパイル
! Nginx.confにGeoIP Datafileを指定
! ロードバランサー配下の場合、GeoIPにリアルIP
を通知する
http {
geoip_country /usr/local/share/GeoIP/GeoIP.dat;
geoip_city /usr/local/share/GeoIP/GeoIPCity.dat;
real_ip_header X-Forwarded-For;
set_real_ip_from 10.0.0.0/8;
log_format ltsv "geoip_country_name:" "$geoip_city_country_name" "t" # 国名
"geoip_country_code3:" "$geoip_city_country_code3" "t" # JPN/USAとか
"geoip_city:" "$geoip_city" "t" # 都市名
"geoip_latitude:" "$geoip_latitude" "t" # 緯度度
"geoip_longitude:" "$geoip_longitude" # 軽度度
;
}

12. 2.Transfer
! Nginxのアクセスログを、BigQueryに送る
! fluentdプラグインを使⽤用
! in_̲tail
! fluent-‐‑‒plugin-‐‑‒google-‐‑‒cloud
! NGiNXアクセスログはltsv形式
! BigQueryにはテキストフィールドにjsonテキス
トをそのまま⼊入れる(投⼊入時スキーマ定義しない)

13. 3.Query
! textPayloadフィールドにあるテキストに対し、
解析タイミングでjsonスキーマを定義する
! JSON_̲EXTRACT関数は⽂文字列列型、
JSON_̲EXTRACT_̲SCALARは数値型で出⼒力力
! 集計関数(SUM,AVG,MIN,MAX)も使える
SELECT
ROW_NUMBER() OVER (ORDER BY count DESC) AS ID,
COUNT (*) AS count,
JSON_EXTRACT_SCALAR(textPayload,'$.geoip_longitude') AS lon,
JSON_EXTRACT_SCALAR(textPayload,'$.geoip_latitude') AS lat,
AVG(JSON_EXTRACT_SCALAR (textPayload,'$.response_time')) AS avelage_time
FROM [HOGE.nginx_access_20150402]
GROUP BY lat,lon
ORDER BY count DESC

14. 4.csv
! BigQueryの解析結果をcsvダウンロード
! それをGeo-‐‑‒FUSEに喰わせる
! Geo-‐‑‒FUSEデータフォーマット
! ヘッダ必須
! 先頭カラムはID連番
! 最終カラムにlon.latを置く(順番重要)
ID,count,avelage_time,lon,lat
1,3135686,0.2498652794178637,139.6900,35.6900
2,1596097,0.2536400474791719,139.7514,35.6850
3,182082,0.23747259653015085,135.5200,34.6864
4,117914,0.22794176617882336,121.5250,25.0392

15. 最後に

16. 何が可視化できたのか？
! ユーザーのアクセス元が判る
⇒リアル店舗とECサイトのアクセス元には、密
接な関係がある
⇒広告宣伝を出す地域の選定(テレビと密接した
IP物とか)
! ロケーション毎のアクセス速度度
⇒海外へのレスポンスは、思ったより遅くない
(Wi-‐‑‒fiだから？)

17. 以上