Japan elasticusergroup01 Acroquest

Elastic Stack Ver.6.3の紹介
2018/06/19
Acroquest Technology 株式会社
吉岡洋
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
Japan Elastic User Group 第1回

自己紹介
 名前：吉岡洋（よしおかひろし）
 所属：Acroquest Technology株式会社
(データアナリティクスエンジニア)
 領域：ビッグデータ分析／可視化
 その他：
─Microsoft MVP for Powershell（2006～2010）
─「Windows PowerShell宣言！」(2007)
─IBM Certified Specialist
IBM SPSS Modeler Professional（2014～）
2

Acroquest Technology株式会社
1.新横浜にあるITベンチャー
2.事業（データ活用ビジネス）
①Elastic Stack活用支援サービス
– 日本唯一のElastic OEMパートナ
②IoTデータ分析プラットフォーム
③機械学習／AI
3

4
本日のテーマ
Elastic Stack Ver.6.3の紹介

More
Use Cases
Ver.6.3の新機能を３つのカテゴリーで紹介
5
Easier
to Use
More
Efficiency
より多くの人に
使いやすく
1 2 3
ユースケースを
拡大する新機能
より効率的な
開発／運用

6
1. Easier to use

1. Easier to use～より多くの人に使いやすく～
1. X-Pack
① X-Packのソースコード公開
1. Elasticsearch
① ElasticsearchへのSQLアクセスが可能に
② SQLからクエリを生成する「SQL Translate API」
2. Kibana
① KibanaからIndexの一括管理が実行可能に
7

1. Easier to use
X-Packのソースコード公開
8

1. Easier to use
9

1. Easier to use
10

1. Easier to use
ElasticsearchへのSQLアクセスが可能に
11

1. Easier to use
ElasticsearchへのSQLアクセスが可能に
例）
POST /_xpack/sql?format=txt
{
"query": "SELECT * FROM tweets"
}
12
※format=txt/csv/json/yaml（デフォルト：json）

1. Easier to use
SQLからクエリを生成する「SQL Translate API」
例）
POST /_xpack/sql/translate
{
"query": "SELECT * FROM tweets where user='yoshioka'"
}
13
複雑なクエリを書く前に、SQL Translate APIで
叩き台を生成するという使い方も可能。

1. Easier to use
KibanaからIndexの一括管理が実行可能に
14
1. Elasticsearchでは運用業務の1つとして、
Indexのライフサイクル管理を行う必要がある
※これまではCUI(DevTools)から実行
① IndexのOpen／Close
② Hot／Warm Nodeへのデータ移動など
2. Ver.6.3からはKibana UIからIndexを一括管理可能
Active Read Only ClosedSnapshot Delete

15
2. More Use Cases

2. More Efficiency～活用ユースケースの拡大～
1. Kibana
① Vegaによる可視化表現の拡大
– 例）相関分析、関連の可視化、グラフ間連動、売上分析
② Dashboardの機能強化
– Dashboardのレイアウトグリッドの改良
– TimePickerのカスタマイズ
– 入力コントロールの連動機能
16

2. More Use Cases
Vegaによる可視化表現の拡大
1. Vegaとは
① インタラクティブな可視化表現を作成するための宣言型Web言語
2. できること
① データのロード／変換
– Elasticsearch／JSONファイル／CSVファイル
② 様々なインタラクティブな可視化表現の描画
③ 作成した可視化表現はVisualizeとして保存できる。
Dashboardへの配置も可能
17

2. More Use Cases
18
Vega Example

2. More Use Cases
19
Vega Example

2. More Use Cases
20
Vega Example

2. More Use Cases
1. 相関分析マトリクスの例
21

2. More Use Cases
1. 関連性の可視化の例
22

23
3. More Efficiency

3. More Efficiency～より効率的な開発／運用～
1. Elasticsearch
① Rollup API（利用ディスクサイズの削減）
② Painless Exeution API（Painlessデバッグ環境）
1. Kibana
① クエリバーのオートコンプリート
② SavedObject APIの導入
③ X-Pack APIのオートコンプリート
24

3. More Efficiency
Rollup API（利用ディスクサイズの削減）
25
ロギングデータ／メトリクスデータのアグリゲーションで必要なデータを
保持しつつデータサイズを
小さくするのに有効
Rollup機能は、データを定期的にアグリゲートするジョブを実行して、
結果をElasticsearchのIndexとして保存する事が可能
ElasticsearchのIndexとして保存して、
そのままKibanaで表示も可能
例えば、Webサーバのアクセス数や
転送データ量などをアグリゲートする
事が想定されるユースケース

3. More Efficiency
Rollup API（利用ディスクサイズの削減）
26
Metricbeatの例
900万ドキュメント
3GB
1万4千ドキュメント
27MB
基本設定
グループ
メトリクス

3. More Efficiency
クエリバーのオートコンプリート
27

3. More Efficiency
Painless Exeution API（Painlessデバッグ環境）
1. Elasticsearchでは様々な機能でスクリプトをサポート
1. 6.3.x以前では、スクリプト(Painless)の開発／デバッ
グ環境がなく、生産性が低かった。
1. Painless Exeution APIを利用すると、Painlessスクリ
プトのシミュレーションが可能。
28

3. More Efficiency
Painless Exeution API（Painlessデバッグ環境）
例）
POST /_scripts/painless/_execute
{
"script": {
"source": "params.count / params.total",
"params": {
"count": 100.0,
"total": 1000.0
}
}
}
29

3. More Efficiency
SavedObject APIの導入
1. SavedObject(以下)のCRUD API。
細かな環境バックアップ／データ移行が可能になる。
① Visualization
② Dashboard
③ Index Pattern
– フィールドのフォーマット、Scripted Field含む
＜過去のVersion＞
2. ①②はUIからしかExport/Import不可
3. ③はUIからExport不可
30

31
Infrastructures Evolution
ご清聴ありがとうございました。
さらに詳しい話については
本日の交流会でお話しましょう！

Japan elasticusergroup01 Acroquest

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Japan elasticusergroup01 Acroquest

Similar to Japan elasticusergroup01 Acroquest (20)

Recently uploaded

Recently uploaded (9)

Japan elasticusergroup01 Acroquest