Enviar búsqueda
Cargar
Amazon Elasticsearch Serviceを利用したAWSのログ活用
•
13 recomendaciones
•
7,191 vistas
真司 藤本
Seguir
2015/12/10 市ヶ谷ギーク登壇資料
Leer menos
Leer más
Ingeniería
Denunciar
Compartir
Denunciar
Compartir
1 de 44
Descargar ahora
Descargar para leer sin conexión
Recomendados
ログ管理のベストプラクティス
ログ管理のベストプラクティス
Akihiro Kuwano
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
Amazon Web Services Japan
Search Solutions on AWS
Search Solutions on AWS
Eiji Shinohara
What's Amazon Athena? - re:Growth 2016 Osaka
What's Amazon Athena? - re:Growth 2016 Osaka
Ganota Ichida
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
AWS Black Belt Online Seminar 2016 Amazon Kinesis
AWS Black Belt Online Seminar 2016 Amazon Kinesis
Amazon Web Services Japan
Serverless services on_aws_dmm_meetup_20170801
Serverless services on_aws_dmm_meetup_20170801
Amazon Web Services Japan
AWS Black Belt Tech シリーズ 2015 - AWS IoT
AWS Black Belt Tech シリーズ 2015 - AWS IoT
Amazon Web Services Japan
Recomendados
ログ管理のベストプラクティス
ログ管理のベストプラクティス
Akihiro Kuwano
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
AWS Black Belt Online Seminar 2017 AWS Elastic Beanstalk
Amazon Web Services Japan
Search Solutions on AWS
Search Solutions on AWS
Eiji Shinohara
What's Amazon Athena? - re:Growth 2016 Osaka
What's Amazon Athena? - re:Growth 2016 Osaka
Ganota Ichida
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
AWS Black Belt Online Seminar 2016 Amazon Kinesis
AWS Black Belt Online Seminar 2016 Amazon Kinesis
Amazon Web Services Japan
Serverless services on_aws_dmm_meetup_20170801
Serverless services on_aws_dmm_meetup_20170801
Amazon Web Services Japan
AWS Black Belt Tech シリーズ 2015 - AWS IoT
AWS Black Belt Tech シリーズ 2015 - AWS IoT
Amazon Web Services Japan
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services Japan
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Amazon Web Services Japan
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Deployment on AWS
AWS Black Belt Online Seminar 2017 Deployment on AWS
Amazon Web Services Japan
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
Amazon Web Services Japan
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
Genta Watanabe
AWSデータベースアップデート2017
AWSデータベースアップデート2017
Amazon Web Services Japan
AWS Black Belt Techシリーズ AWS Lambda
AWS Black Belt Techシリーズ AWS Lambda
Amazon Web Services Japan
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
AWS Black Belt Techシリーズ AWS Service Catalog
AWS Black Belt Techシリーズ AWS Service Catalog
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
Amazon Web Services Japan
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
都元ダイスケ Miyamoto
Ivsctonightandday2016winter moringsession awsreinvent2016recap
Ivsctonightandday2016winter moringsession awsreinvent2016recap
Tadashi Okazaki
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Sotaro Kimura
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
Amazon Web Services Japan
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Amazon Web Services Japan
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Web Services Japan
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
Amazon Web Services Japan
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
AWSアップデート2012.12.01(個人開発者向け)+Glacier
AWSアップデート2012.12.01(個人開発者向け)+Glacier
Yasuhiro Araki, Ph.D
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
Amazon Web Services Japan
Más contenido relacionado
La actualidad más candente
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services Japan
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Amazon Web Services Japan
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Deployment on AWS
AWS Black Belt Online Seminar 2017 Deployment on AWS
Amazon Web Services Japan
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
Amazon Web Services Japan
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
Genta Watanabe
AWSデータベースアップデート2017
AWSデータベースアップデート2017
Amazon Web Services Japan
AWS Black Belt Techシリーズ AWS Lambda
AWS Black Belt Techシリーズ AWS Lambda
Amazon Web Services Japan
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
AWS Black Belt Techシリーズ AWS Service Catalog
AWS Black Belt Techシリーズ AWS Service Catalog
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
Amazon Web Services Japan
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
都元ダイスケ Miyamoto
Ivsctonightandday2016winter moringsession awsreinvent2016recap
Ivsctonightandday2016winter moringsession awsreinvent2016recap
Tadashi Okazaki
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Sotaro Kimura
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
Amazon Web Services Japan
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Amazon Web Services Japan
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Web Services Japan
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
Amazon Web Services Japan
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
La actualidad más candente
(20)
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
AWS Black Belt Online Seminar 2017 Deployment on AWS
AWS Black Belt Online Seminar 2017 Deployment on AWS
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
AWSデータベースアップデート2017
AWSデータベースアップデート2017
AWS Black Belt Techシリーズ AWS Lambda
AWS Black Belt Techシリーズ AWS Lambda
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
AWS Black Belt Techシリーズ AWS Service Catalog
AWS Black Belt Techシリーズ AWS Service Catalog
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
Ivsctonightandday2016winter moringsession awsreinvent2016recap
Ivsctonightandday2016winter moringsession awsreinvent2016recap
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
AWS Black Belt Online Seminar 2017 AWS体験ハンズオン~Deploy with EB CLI編~
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Similar a Amazon Elasticsearch Serviceを利用したAWSのログ活用
AWSアップデート2012.12.01(個人開発者向け)+Glacier
AWSアップデート2012.12.01(個人開発者向け)+Glacier
Yasuhiro Araki, Ph.D
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
Amazon Web Services Japan
re:Inventで発表されたAWS Lambdaの更新情報と使い方考察
re:Inventで発表されたAWS Lambdaの更新情報と使い方考察
Fumihito Yokoyama
【AWS Summit Tokyo 2017】Amazon ECS と SpotFleet を活用した低コストでスケーラブルなジョブワーカーシステム
【AWS Summit Tokyo 2017】Amazon ECS と SpotFleet を活用した低コストでスケーラブルなジョブワーカーシステム
Kazuki Matsuda
Amazon Kinesis developersio-meetup-05
Amazon Kinesis developersio-meetup-05
Ryo Suzuki
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
Amazon Web Services Japan
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
Takanori Ohba
20120611 aws meister-reloaded-cloud-front-public
20120611 aws meister-reloaded-cloud-front-public
Amazon Web Services Japan
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
Amazon Web Services Japan
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
SORACOM, INC
PHP on Cloud
PHP on Cloud
Akio Katayama
aws mackerel twilio_handson_public
aws mackerel twilio_handson_public
Tomoaki Sakatoku
沢山のスマホサービス環境を カジュアルにセキュアに運用する
沢山のスマホサービス環境を カジュアルにセキュアに運用する
Hirotomo Oi
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
Eiji KOMINAMI
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Amazon Web Services Japan
AWS Black Belt Techシリーズ AWS re:Invent 2014 最新情報のアップデート
AWS Black Belt Techシリーズ AWS re:Invent 2014 最新情報のアップデート
Amazon Web Services Japan
AWS ML Update
AWS ML Update
Amazon Web Services Japan
JAWS Summit Satoshi Yokota
JAWS Summit Satoshi Yokota
satoshi
20120508 aws meister-rds-public
20120508 aws meister-rds-public
Amazon Web Services Japan
AWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
Amazon Web Services Japan
Similar a Amazon Elasticsearch Serviceを利用したAWSのログ活用
(20)
AWSアップデート2012.12.01(個人開発者向け)+Glacier
AWSアップデート2012.12.01(個人開発者向け)+Glacier
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
re:Inventで発表されたAWS Lambdaの更新情報と使い方考察
re:Inventで発表されたAWS Lambdaの更新情報と使い方考察
【AWS Summit Tokyo 2017】Amazon ECS と SpotFleet を活用した低コストでスケーラブルなジョブワーカーシステム
【AWS Summit Tokyo 2017】Amazon ECS と SpotFleet を活用した低コストでスケーラブルなジョブワーカーシステム
Amazon Kinesis developersio-meetup-05
Amazon Kinesis developersio-meetup-05
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
20120611 aws meister-reloaded-cloud-front-public
20120611 aws meister-reloaded-cloud-front-public
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
PHP on Cloud
PHP on Cloud
aws mackerel twilio_handson_public
aws mackerel twilio_handson_public
沢山のスマホサービス環境を カジュアルにセキュアに運用する
沢山のスマホサービス環境を カジュアルにセキュアに運用する
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ AWS re:Invent 2014 最新情報のアップデート
AWS Black Belt Techシリーズ AWS re:Invent 2014 最新情報のアップデート
AWS ML Update
AWS ML Update
JAWS Summit Satoshi Yokota
JAWS Summit Satoshi Yokota
20120508 aws meister-rds-public
20120508 aws meister-rds-public
AWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
Amazon Elasticsearch Serviceを利用したAWSのログ活用
1.
Amazon Elasticsearch Service を利用したAWSのログ活用 1
2.
Copyright (C) CLASSMETHOD
All Rights Reserved 自己紹介 名前:藤本 真司 所属:クラスメソッド株式会社 やってること:AWSの導入支援、構築 好きなAWSサービス:AWS Lambda 好きなアニメ:のんのんびより(りぴーと)
3.
Copyright (C) CLASSMETHOD
All Rights Reserved 月間100万PVの技術系情報サイト Developers.IO 3 http://dev.classmethod.jp/
4.
Copyright (C) CLASSMETHOD
All Rights Reserved 4 お話すること • ログの活用って? • Amazon Elasticsearch Serviceについて • Amazon Elasticsearch ServiceによるAWSログの 可視化・分析(ケーススタディ)
5.
Copyright (C) CLASSMETHOD
All Rights Reserved 5 ある日の運用現場 ・ ・ ・ LB Web/AP DB ユーザー よくあるWEBシステム 遅いなぁ。。
6.
Copyright (C) CLASSMETHOD
All Rights Reserved 6 ある日の運用現場 ユーザー システム管理者 DB担当AP/OS担当NW担当 何か全体的にポータルページが遅いみたいなんだけど みんな調べて
7.
Copyright (C) CLASSMETHOD
All Rights Reserved 7 ある日の運用現場 ・ ・ ・ LB Web/AP DB システム管理者 NW担当 AP/OS担当 DB担当 ログにエラー出力なし レスポンスタイムは悪い SQLのクエリは問題ない 結局原因は・・?
8.
Copyright (C) CLASSMETHOD
All Rights Reserved 8 みなさん、 ログを活用していますか?
9.
Copyright (C) CLASSMETHOD
All Rights Reserved 9 ログの活用とは?
10.
Copyright (C) CLASSMETHOD
All Rights Reserved 10 ログの活用とは? 収集 集約 監視 通知 ・・・ ・・・ 可視化 分析
11.
Copyright (C) CLASSMETHOD
All Rights Reserved 11 お話すること • ログの活用って? • Amazon Elasticsearch Serviceについて • Amazon Elasticsearch ServiceによるAWSログの 可視化・分析(ケーススタディ)
12.
Copyright (C) CLASSMETHOD
All Rights Reserved • 2015/10/1にリリース(現地時間) • AWSマネージドサービスのElasticsearch / Kibana • 東京リージョン対応 12 Amazon Elasticsearch Serviceリリース!!
13.
Copyright (C) CLASSMETHOD
All Rights Reserved • OSSの検索 / 分析エンジン – Luceneベース – 高拡張性 / 高可用性 – スキーマレス(スキーマ定義も可) – RESTful APIによる操作 – 豊富な検索オプション • ユースケース – 全文検索 – ログ分析 – リアルタイムアプリケーション分析 • 豊富な周辺ツール – Logstash ログ処理ツール – Kibana データ可視化・分析ツール 13 Elasticsearchとは? 呼んだ?
14.
Copyright (C) CLASSMETHOD
All Rights Reserved • Elasticsearchのデータ可視化・分析ツール • 多様な多次元の可視化方法 – 円グラフ – エリアチャート – ラインチャート – マップ、などなど • 強力なElasticsearchの検索 14 Kibanaとは?
15.
Copyright (C) CLASSMETHOD
All Rights Reserved 15 Elasticsearch と Amazon Elasticsearch Service
16.
Copyright (C) CLASSMETHOD
All Rights Reserved • AWSマネージドサービス • IAMポリシーによるアクセス制御 • CloudWatch Logsとの連携 • プラグインがデフォルトで利用可 • 従量制の料金体系 16 Amazon Elasticsearch Serviceの特徴
17.
Copyright (C) CLASSMETHOD
All Rights Reserved 17 AWSマネージドサービスのElasticsearch • 構築の簡略化 – 画面操作、APIによるデプロイ – OS、アプリケーションのインストール/設定不要 – 自由度の高い構成設定 • インスタンスタイプ指定 • ディスクタイプ指定 • Master Node / Data Node • マルチAZ • 運用の簡略化 – 容易なスケール – 障害の自動検出、および自動ノード交換 – 自動定期スナップショット(手動スナップショットも可) – CloudWatchによるリソースモニタリング、イベント監視 Availability Zone 1 Availability Zone 2 Master Master Data Data Pri1 Rep1 Pri2Rep2
18.
Copyright (C) CLASSMETHOD
All Rights Reserved 18 IAMポリシーによるアクセス制御 • IPアドレスによる制御 • リソースによる制御 • IAM User / IAM Roleによる制御
19.
Copyright (C) CLASSMETHOD
All Rights Reserved • ロググループをAmazon ESへSubscriptionするだけ • 繋ぎのLambda Functionが自動生成 – AWSによって用意済み • JSON形式の場合、何も不要 (Elasticsearchによる自動型マッピング) – AWS CloudTrail • TEXT形式の場合、メッセージパターンを指定するだけ – VPC Flow Logs – Lambda Function 19 CloudWatch LogsとAmazon ESの連携 自動生成 CloudWatch Logs Lambda Amazon ES
20.
Copyright (C) CLASSMETHOD
All Rights Reserved • Kibana 4 / Kibana 3 – データの可視化 • Analysis-icu – 文字の正規化 • Analysis-kuromoji – 日本語の形態素解析 • Jetty – SSL Connection、ベーシック認証 • cloud-aws – S3を利用したスナップショットリポジトリ – EC2上でのクラスタリング 20 プラグインがデフォルトで利用可
21.
Copyright (C) CLASSMETHOD
All Rights Reserved • Elasticsearchのバージョン選択 • VPC対応 • プラグインのインストール (コマーシャルプラグイン含む) • Dynamic Script • ユーザー辞書 • 一部のElasticsearch API(*) • TCP Transport(サポートしない) • Elastic社のサポート (*) http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-gsg- supported-operations.html 21 出来ないこと
22.
Copyright (C) CLASSMETHOD
All Rights Reserved 22 AWSにおけるログ可視化・分析 収集 集約 監視 通知 可視化 分析・・・ ・・・
23.
Copyright (C) CLASSMETHOD
All Rights Reserved 23 お話すること • ログの活用って? • Amazon Elasticsearch Serviceについて • Amazon Elasticsearch ServiceによるAWSログの 可視化・分析(ケーススタディ)
24.
Copyright (C) CLASSMETHOD
All Rights Reserved 24 ケーススタディ ログデータを可視化・分析し、 ボトルネック箇所を特定せよ
25.
Copyright (C) CLASSMETHOD
All Rights Reserved 25 ログ活用していない運用現場 ・ ・ ・ LB Web/AP DB システム管理者 NW担当 AP/OS担当 DB担当
26.
Copyright (C) CLASSMETHOD
All Rights Reserved 26 ある日の運用現場をAWSに置き換え LB Web/AP DB ユーザー ユーザー ELB EC2 RDS
27.
Copyright (C) CLASSMETHOD
All Rights Reserved 27 Amazon ESによるログ可視化・分析
28.
Copyright (C) CLASSMETHOD
All Rights Reserved 28 解析に必要なログ / データ ELB EC2 RDS (MySQL) S3 アクセスログ URL・各種処理時間 Apacheのアクセスログ URL・レスポンスタイム スロークエリログ SQL・クエリタイム
29.
Copyright (C) CLASSMETHOD
All Rights Reserved 29 各種ログデータのAmazon ESへの投入 ELB EC2 RDS (MySQL) S3 スケジューリングは? ETL処理は? Amazon ES
30.
Copyright (C) CLASSMETHOD
All Rights Reserved 30 EC2 Amazon ES
31.
Copyright (C) CLASSMETHOD
All Rights Reserved 31 EC2 -> Amazon ES
32.
Copyright (C) CLASSMETHOD
All Rights Reserved • スケジューリング – リアルタイム収集 • Extract(ファイルからのメッセージ抽出) – Logstash file Input Plugin • Transform(JSONへの加工) – Logstash grok Filter Plugin • Load(Amazon ESへの投入) – logstash-output-amazon_es – AWS提供のAmazon ESへのLogstash Output Plugin • 詳しくはブログを。。 – http://dev.classmethod.jp/cloud/aws/amazon-es-using-logstash-plugin/ 32 Logstashによる実装
33.
Copyright (C) CLASSMETHOD
All Rights Reserved 33 ELB Amazon ESS3
34.
Copyright (C) CLASSMETHOD
All Rights Reserved 34 ELB -> Amazon ES
35.
Copyright (C) CLASSMETHOD
All Rights Reserved • スケジューリング – S3 Object Createdイベントによる発火 • Extract(S3のオブジェクト取得) – S3エンドポイントへのGetObject API – Range指定により一回のダウンロードサイズを指定可能 – 一回のLambda Functionで終わらないようなサイズの場合、Lambda FunctionをChainすることも可能 • Transform(JSONへの加工) – 要実装(サンプルコードあり) https://github.com/awslabs/amazon-elasticsearch-lambda-samples • Load(Amazon ESへの投入) – ElasticsearchのBulk APIを利用して一括投入 • 詳しくはブログを。。 – http://dev.classmethod.jp/cloud/aws/elb-accesslog-to-elasticsearch/ 35 AWS Lambdaによる実装
36.
Copyright (C) CLASSMETHOD
All Rights Reserved 36 RDS for MySQL Amazon ES
37.
Copyright (C) CLASSMETHOD
All Rights Reserved 37 RDS for MySQL -> Amazon ES
38.
Copyright (C) CLASSMETHOD
All Rights Reserved • スケジューリング – スケジュールイベントによる発火 • Extract(AWS APIによる取得) – RDSエンドポイントへのDownloadDBLogFilePortion API – Marker指定により準リアルタイムな取り込み可能 – 一回のLambda Functionで終わらないようなサイズの場合、Lambda FunctionをChainすることも可能 • Transform(JSONへの加工) – 要実装 • Load(Amazon ESへの投入) – ElasticsearchのBulk APIを利用して一括投入 • 詳しくはブログを。。 – http://dev.classmethod.jp/cloud/aws/rds-mysql-slowquerylog-to-es/ 38 AWS Lambdaによる実装
39.
Copyright (C) CLASSMETHOD
All Rights Reserved 39 Amazon ESによるログ可視化・分析
40.
Copyright (C) CLASSMETHOD
All Rights Reserved 40 ELBのアクセスログ どのURLへのリクエストが ボトルネックなのか判明 ← タイムスタンプ → ↑ 処 理 時 間 ↓
41.
Copyright (C) CLASSMETHOD
All Rights Reserved 41 Apacheのアクセスログ インスタンスレベルの 処理時間差が判明 ↑ 処 理 時 間 ↓ WEB-01 WEB-02 ← タイムスタンプ →
42.
Copyright (C) CLASSMETHOD
All Rights Reserved 42 RDS for MySQLのスロークエリログ どのSQLがボトルネック なのか判明 ← タイムスタンプ → ↑ 処 理 時 間 ↓
43.
Copyright (C) CLASSMETHOD
All Rights Reserved 43 まとめ • ログ活用の大切さ – ログからシステムをモニタリングできる – 課題があればログからクリアできないか考える • Amazon Elasticsearch Service – 従量制の課金体系。まず使ってみる。 • AWSのルールに則ったログ活用 – 各種サービスで収集可能なログを理解する – 各種ログから活用可能な情報を選別する – 各種ログを活用するためのAWSを知る
44.
Copyright (C) CLASSMETHOD
All Rights Reserved 44 2016/02/20 Developers.IO 2016
Descargar ahora