SlideShare una empresa de Scribd logo
1 de 52
Descargar para leer sin conexión
@k_nishijima
簡単ログ解析ハンズオン

【放置しているそのログ、

可視化しましょう!】
JAWS-UG沖縄
Cloud on the BEACH 2017
@k_nishijima
@k_nishijima
あんた誰?
2
西島 幸一郎 / にしじま こういちろう

アールスリーインスティテュート ソリューションアーキテクト
https://www.r3it.com

大阪の会社に所属、宜野湾の自宅から100%リモートワーク
okinawa.goのコアメンバー
JAWS−UG沖縄のコアメンバー
ハッカーズチャンプルー実行委員長
ご質問などあればFacebook/Twitterなどでお気軽に〜♪
@k_nishijima
nishijima.koichiro
@k_nishijima
本日のハンズオン概要
3
๏ Amazon S3にあるログファイルに対して
๏ Amazon AthenaでSQLを投げる
๏ Amazon QuickSightで可視化する
@k_nishijima
ハンズオン資料について
4
๏ JAWS DAYS 2017向けに同僚が作成したものがベースです
(^_^;

๏ 【Athena QuickSight 可視化】で検索

「RaspberryPi + Athena + QuickSightで可視化する<後
編>」というQiitaの記事です。

๏ https://goo.gl/ho91hT アールスリーインスティテュート
浅賀 功次
@k_nishijima
AWS利用料について
5
๏ Amazon S3:数十円?
๏ Amazon Athena:スキャンされたデータ1TBあたり$5
๏ Amazon QuickSight:初期ユーザ無料、追加は月額$9〜

๏ 自分のアカウントで試しても多分無料枠で収まるはず
๏ アカウントのない方は西島の

AWS2014サムライチケットを使いましょう
@k_nishijima
AWSサムライ?

サムライチケットとは?
6
๏ AWSサムライ=アマゾンウェブサービスジャパンより

【ユーザーコミュニティの成長およびAWSクラウドの普及
に大きく貢献または影響を与えた方々】を認定

๏ 西島は2013/2014と頂いているんですが、

2014年分の副賞が最近やっと手元に来ました(^_^;)
@k_nishijima
AWSサムライ?

サムライチケットとは?
7
๏ 2014年に毎月やったように、この金額の範囲内で

みんなでAWSを使い倒しましょう!

๏ 「あれ試しに使ってみたい」

「こんなことやってみたい」など、

どしどしリクエストください!
@k_nishijima
ハンズオン開始
8
@k_nishijima
サムライチケットでログイン
9
๏ https://jawsug-okinawa-
handson.signin.aws.amazon.com/console
๏ ユーザ名とパスワードは配布のものを入力
@k_nishijima
Amazon Athenaを設定する
10
๏ 「サービス」をクリック
๏ 分析の中の「Athena」をクリック
@k_nishijima
バージニアに切り替え
11
右上がオレゴンになっていたら、クリックしてバージニアに変更
@k_nishijima 12
๏ [Get Started]をクリックす
る
๏ Tutorialが表示されたら×で
閉じる
@k_nishijima
サンプルデータにクエリを投げてみる
13
SELECT * FROM elb_logs limit 100;
@k_nishijima
サンプルデータにクエリを投げてみる
14
๏ HTTPのステータスコード別のカウント

SELECT backend_response_code, count(*) 

FROM elb_logs 

GROUP BY backend_response_code ORDER BY backend_response_code;

๏ アクセスURL別のカウント

SELECT count(*) AS C, url 

FROM elb_logs GROUP BY url ORDER BY c desc;
@k_nishijima
Historyで過去のクエリをダウンロードしたり
15
この結果はS3上にも保存されている
@k_nishijima
自分のファイルにSQLで

問い合わせ出来るようにしてみる
16
๏ 元データ例:気象庁の気象データ

http://www.data.jma.go.jp/gmd/risk/obsdl/index.php

๏ サンプルとして過去30年位の

那覇の気温データを落としてきました

(これ自体は実は大してデカくない(^_^;)
@k_nishijima
自分のファイルにSQLで

問い合わせ出来るようにしてみる
17
新しいテーブルの作成handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで

問い合わせ出来るようにしてみる
18
データベース名「naha_temp」テーブル名「daily」
データセットロケーションは

s3://logsample20170429/temperature/
で、Nextをクリック
handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで

問い合わせ出来るようにしてみる
19
フォーマットはCSVを選択してNextをクリック
handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで

問い合わせ出来るようにしてみる
20
カラムは

「日付」「最高気温」「最低気温」なの
で、

date / date
max / float
min / float
と入力。
1つ入力するごとに「Add a column」で
入力枠が増えます。
最後にNextで次に進む
handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで

問い合わせ出来るようにしてみる
21
パーティーションは今回は使わないので、
そのまま「Create table」をクリック
handsonアカウントの人は
スキップ!
@k_nishijima
テーブルが出来た!
22
handsonアカウントの人は
スキップ!
@k_nishijima
クエリを投げてみる
23
SELECT * FROM daily limit 10;
@k_nishijima
とりあえずここまでで
CSVファイルに
SQLで問い合わせ
出来るようになりました♪
24
@k_nishijima
QuickSightからAthenaを使ってみる
25
๏ まずアカウントの確認
๏ 自分のアカウントで試したい方

→QuickSightのユーザー登録から
๏ ハンズオンアカウント

→直接QuickSightにログイン
@k_nishijima
ゴメンナサイ…
26
๏ 今回のハンズオンでは、QuickSightアカウントは3つし
か用意していません

(この人数で月額課金はもったいない(^_^;

๏ 各自のアカウントを使っている方以外は設定部分など
は資料で確認してください
@k_nishijima
QuickSightサインアップする人
27
@k_nishijima 28
QuickSightサインアップする人
@k_nishijima 29
QuickSightサインアップする人
@k_nishijima
QuickSightサインアップ完了
30
@k_nishijima
QuickSightに直接サインイン
31
https://quicksight.aws.amazon.com

アカウントは「jawsug-okinawa-handson」
@k_nishijima
QuickSightに直接サインイン
32
ユーザー名とパスワードは配布のものを
@k_nishijima
QuickSightに入れたら
33
とりあえずウィザードはXで閉じる
@k_nishijima
みんなSignIn出来ました?
34
@k_nishijima
データセットの作成
35
「Manage data」をクリック
@k_nishijima
データセットの作成
36
@k_nishijima
データセットの作成
37
@k_nishijima
データセットの作成
38
自分のアカウント名 例:「handson01」
を入力して「Create data source」をクリック
@k_nishijima
データセットの作成
39
先程作ったデータベースとテーブルを選択して
「Select」をクリック
@k_nishijima
データセットの作成
40
Import to SPICE for quicker analyticsを選択して
「Visualize」をクリック
@k_nishijima
しばらくすると出来上がり
41
@k_nishijima
Amazon QuickSightのAnalysisを作成
42
ロゴをクリックしてトップに戻って、
「New analysis」をクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
43
先程作ったデータソースをクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
44
「Create analysis」をクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
45
X軸として「date」をクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
46
「Field wells」をクリックして枠を出して、
Fields listの「min」をValueのところにD&D
@k_nishijima
Amazon QuickSightのAnalysisを作成
47
デフォルトだとSUMになってるので、

「▼」「Aggregate」をクリックして、「MIN」を選択
@k_nishijima
出来た!
48
dateをD&Dすると表示範囲が広がる
グラフをポイントするとドリルダウン出来る
@k_nishijima
出来た!
49
dateをD&Dすると表示範囲が広がる
右上でドリルアップできる
@k_nishijima
グラフを追加したり
50
@k_nishijima 51
こんな感じで簡単に
ログデータの可視化が出来ます。
いろいろ試してみてください!
@k_nishijima 52
Thank you so much!
Any questions?

Más contenido relacionado

La actualidad más candente

JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LTJAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
信哉 大森
 

La actualidad más candente (20)

kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
 
Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3
 
kintone Café 名古屋 Vol.4
kintone Café 名古屋 Vol.4kintone Café 名古屋 Vol.4
kintone Café 名古屋 Vol.4
 
GGJ19review
GGJ19reviewGGJ19review
GGJ19review
 
20150624 kintone Café 福岡
20150624 kintone Café  福岡20150624 kintone Café  福岡
20150624 kintone Café 福岡
 
俺のZabbixがこんなに可愛いわけがない~北海道巡業編~
俺のZabbixがこんなに可愛いわけがない~北海道巡業編~俺のZabbixがこんなに可愛いわけがない~北海道巡業編~
俺のZabbixがこんなに可愛いわけがない~北海道巡業編~
 
山口県初のDojo「CoderDojo光」はじめました
山口県初のDojo「CoderDojo光」はじめました山口県初のDojo「CoderDojo光」はじめました
山口県初のDojo「CoderDojo光」はじめました
 
CoderDojo五日市 OSChiroshima2017
CoderDojo五日市 OSChiroshima2017CoderDojo五日市 OSChiroshima2017
CoderDojo五日市 OSChiroshima2017
 
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting
 
WordPressとS3で落ちないコーポレートサイトを立ち上げよう
WordPressとS3で落ちないコーポレートサイトを立ち上げようWordPressとS3で落ちないコーポレートサイトを立ち上げよう
WordPressとS3で落ちないコーポレートサイトを立ち上げよう
 
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LTJAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
 
愛媛で考えた「私のイキカタマニフェスト」
愛媛で考えた「私のイキカタマニフェスト」愛媛で考えた「私のイキカタマニフェスト」
愛媛で考えた「私のイキカタマニフェスト」
 
JAWS-UG京都をre:Bootしてみた
JAWS-UG京都をre:BootしてみたJAWS-UG京都をre:Bootしてみた
JAWS-UG京都をre:Bootしてみた
 
SendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + RedashSendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + Redash
 
いきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよういきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよう
 
IoTを擬人化してみた
IoTを擬人化してみたIoTを擬人化してみた
IoTを擬人化してみた
 
コミュニティを持って学んだ交流できる”場”の6つのポイント
コミュニティを持って学んだ交流できる”場”の6つのポイントコミュニティを持って学んだ交流できる”場”の6つのポイント
コミュニティを持って学んだ交流できる”場”の6つのポイント
 
Java女子部よこな自己紹介
Java女子部よこな自己紹介Java女子部よこな自己紹介
Java女子部よこな自己紹介
 
個人事業者でも活用できるkintone
個人事業者でも活用できるkintone個人事業者でも活用できるkintone
個人事業者でも活用できるkintone
 
30分で知るTwilio 2016
30分で知るTwilio 201630分で知るTwilio 2016
30分で知るTwilio 2016
 

簡単ログ解析ハンズオン