6/9 6/9（水）12時 「BigQueryからElasticsearch - 有効データインサイト」ウェビナー https://www.elastic.co/jp/webinars/bigquery-and-elasticsearch/?view=1

1. BigQuery & Elasticsearch
Insight at Scale
鈴⽊ 章太郎
Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト
内閣官房 IT 総合戦略室 政府 CIO 補佐官

2. Elastic
Technical Product Marketing
Manager/Evangelist
内閣官房 IT 総合戦略室
政府 CIO 補佐官
元 Microsoft Technical Evangelist
Twitter : @shosuz
Shotaro Suzuki

3. 1つのスタック、3つのソリューション、多くのユースケース、どこでもデプロイ
Elastic Enterprise Search Elastic Security
Elastic Observability
Kibana
Elasticsearch
Beats Logstash
SaaS SELF-MANAGED
Elastic Cloud Elastic Cloud
Enterprise (ECE) Standalone
Elastic Cloud
on K8s (ECK)

4. 4
Strategic partner since 2017
Operating in 16 regions
with 4 deployment options
2,400+ joint customers*
“Together, Google Cloud and Elastic
share a vision of meeting customers
where they are on their journey to the
cloud...Our partnership has been inspired by
our joint customers who are looking for
choice, security, a platform for innovation
and integrations that helps them get better
insights from their data.”
Thomas Kurian,
CEO, Google Cloud

5. 5
Google マネージドサービスのデベロッパーにとっての3つのメリット
ビジネス価値の促進に重点を置く
統合されたエクスペリエンス
運⽤効率を向上
統⼀されたサポート
Google サポートを通じて
最適化されたエクスペリエンス
統合された請求
調達を簡素化

6. 6
ElasticO
n
Joint CEO
presentation
Elastic & Google Partnership Timeline
Elastic
7.8
G
CO
S
integration
Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec
CY20
G
CP
M
ontreal
G
CP
Singapore
G
CP
São
Paolo
G
CP
M
arketplace
annual deals
G
CP
S. Carolina
G
CP
M
um
bai
ECK
1.0
G
A
G
CP
N
etherlands
G
old
and
Platinum
on
G
CP
M
P
Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec
CY21
Elastic
7.10
Elastic
7.11
+
searchable
snapshots
Elastic
7.13

7. 7
Elastic & Google Partnership Highlights
Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec
G
oogle
N
ext SF
O
SS
Initiative
Announcem
ent
Elastic
7.8
G
CO
S
integration
6/18/20
G
CP
N
etherlands
Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec
FY19
FY20
G
oogle
N
ext
Tokyo
Elastic
on
G
oogle
M
arketplace
Beta
ECK
0.9.0
Alpha
G
CP
Sydney
G
CP
Sydney
G
CP
M
ontreal
G
CP
Singapore
G
CP
São
Paolo
G
CP
M
arketplace
annual deals
G
CP
S. Carolina
G
CP
M
um
bai
ECK
1.0
G
A
16
Regions
4
Ways to
deploy

8. 8
Elastic Cloud on Google Cloud
The official managed Elasticsearch and Kibana offering
16 Google Cloud Regions
Americas
us-west1 (Oregon)
us-central1 (Iowa)
us-east1 (South Carolina)
us-east4 (N. Virginia)
northamerica-northeast1 (Montréal)
southamerica-east1 (São Paulo)
Europe
europe-north1 (Finland)
europe-west1 (Belgium)
europe-west2 (London)
europe-west3 (Frankfurt)
europe-west4 (Netherlands)
Asia Pacific
asia-east1 (Taiwan)
asia-south1 (Mumbai)
asia-southeast1 (Singapore)
asia-northeast1 (Tokyo)
australia-southeast1 (Sydney)

9. ⽐類のない利点
Exclusive integrations
Fully managed
メンテナンスと維持は
Elastic に任せます。API と
Elastic CLI を使⽤して、
最適化、Google DevOps
ツールと統合します。
Best-in-class security
⾼度なセキュリティ機能と、
暗号化は、グローバルコンプ
ライアンス基準を満たして
います。
All the Feels
⾃動アップグレード、商⽤
機能、セキュリティ組み込み、
迅速な展開とサイズ変更が
可能です。
自由でオープンな技術を
通じて革新のために創造
Google クラウド マーケット
プレイスに Elastic 検索
サービスを展開します。
Google Cloud Operation
Suite からデータにアクセス
できます。
Seamless billing
Google クラウド マーケット
プレイスから、直接 Elastic
サブスクリプションを管理し、
1 つの統合請求書を取得し
ます。
Pay-per-use
使⽤するリソースに対して
のみ⽀払います。

10. 10
Elastic と Google Cloud を⽤いた
オブザーバビリティ（可観測性）
参考アーキテクチャ
Serverless
Cloud
Function
Operations
Cloud
Pub/Sub
Logstash
App
Engine
Compute
Engine
Kubernetes
Engine
Others
Filebeat
Cloud
Storage VPC Flow
Logs
Custom
Logs
Elastic Cloud
Filebeat or
Functionbeat
Filebeat or
Functionbeat

11. 11
Demo
Elastic Cloud deployment on
Google Cloud

12. 12
In-memory Relational
Non-relational
Cloud
Firestore
Cloud
Memorystore
Cloud
Bigtable
Cloud
SQL
Cloud
Spanner
Managed
Redis
Serverless, scalable
document store
Managed
MySQL &
PostgreSQL
Scalable
mission-
critical RDBMS
Low latency,
scalable wide
column store
Data
warehouse
BigQuery
Analytics,
dashboards
Third party
Oracle
SQL Server
Databases & Google Cloud Platform

13. 13
BigQuery
Google Cloud Platform の
分析⽤エンタープライズ
データウェアハウス
ギガバイトからペタバイト規模
のストレージと SQL クエリ
暗号化され、耐久性があり、
⾼可⽤性を持つ
Unique
最⼤限の俊敏性と拡張性を実現する、
完全に管理されたサーバレス DWH
Unique
ストリーミングデータからのリアルタイムの洞察
Unique
組み込みの ML を使⽤する予測的な洞察
Unique
⾼速なインメモリ BI エンジンにより、⾼速な
レポート作成と分析が可能

14. 1. BigQuery を使⽤したビッグデータとデータウェアハウジング
a. クラウドスケールの No Ops SaaS データウェアハウジング
b. 豊富な統合、BI、機械学習
2. Elastic Stack を使⽤したライブデータとリアルタイム分析
a. 速度、速度、速度
b. ターンキーソリューション:Observability, Security,
Enterprise Search
3. データウェアハウスの他のデータ ソースと統合するために、
BigQuery を使⽤し Elastic Stack データをフェデレーション
/転送
4. BigQuery から Elasticsearch に転送された洞察を保存
して、迅速なアクセスと簡単/豊富なリアルタイム分析を実現
BigQuery & Elasticsearch
Better together
3
4
1 2

15. Elasticsearch to BigQuery
• Elasticsearch to BigQuery
– Logstash
• Logstash Elasticsearch input plugin
• Logstash BigQuery output plugin
– Custom pipelines - eg. Dataflow pipeline
– Potential “one-click” tight integration
• リアルタイムの Elastic データを、より広範な
BigQuery データポートフォリオと関連付ける
• BigQuery での追加データ変換
• BigQuery での機械学習
データウェアハウス⽤の BigQuery
Real-time data
sources
BigQuery

16. BigQuery to Elasticsearch
• BigQuery to Elasticsearch
– Google Cloud Storage を通じて
– カスタムパイプライン - 例えばデータフローパイプライン
– 潜在的な「ワンクリック」タイトな統合
Elasticsearch as the speed layer
• ⾼速クエリ
• リッチで簡単なリアルタイム分析とダッシュボード
• リアルタイムアラートと Machine Learning
• BigQuery 結合の視覚化
• ターンキーソリューション
BigQuery
データウェアハウジング
⼤規模なデータ分析
リアルタイム分析と
ダッシュボード

17. Cloud Logging をエクスポートするシナリオ: Elasticsearch
https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja
• Logging のエクスポートのための設計パターン の⼀部
• Cloud Logging は、Cloud Storage、BigQuery、Pub/Sub、Elasticsearch にエクスポートできる
• Beats のより⼀般的な使⽤例の⼀部
• Auditbeat を使⽤した監査データの確認とレポート作成
• Filebeat と Metricbeat を使⽤したログファイルと指標の分析
• サーバーレス Functionbeat を使⽤したクラウドデータのモニタリング（Cloud Functions）
• Packet beat を使⽤したネットワーク トラフィックの把握
• Beats を使⽤して Google Operationsの Cloud Logging を Elasticsearch にエクスポート
するための基本的なアーキテクチャの例
• Google Cloud 向け Filebeat モジュールは、監査ログ、VPC フロー、ファイアウォール ログを収集
• 環境にコンテナ、サーバーレス機能、VM、アプリが含まれている場合でも、Cloud Logging のシンク
は、適切にフィルタリングされたデータを Pub/Sub トピックに送信するよう構成
• このトピックは、ファイル変換のために Elasticsearch に送信し、Kibanaでの検索やレポートのため
に取り込みおよび集約を⾏う

18. 18
Demo
BigQuery から Elasticsearch
へのデータの取り込み

19. 19

20. 20
Elastic と Google Cloud を⽤いた
オブザーバビリティ（可観測性）
参考アーキテクチャ
Serverless
Cloud
Function
Operations
Cloud
Pub/Sub
Logstash
App
Engine
Compute
Engine
Kubernetes
Engine
Others
Filebeat
Cloud
Storage VPC Flow
Logs
Custom
Logs
Elastic Cloud
Filebeat or
Functionbeat
Filebeat or
Functionbeat

21. 事例ご紹介

22. The GDELT Project
グローバルデータベースで世界的に展開されているプロジェクト
• ⼈類社会の最⼤、最も包括的、最⾼の解決
のオープンデータベース
• 印刷、放送、Web フォーマットのほぼすべての
国の世界中から、世界のニュースメディアを
100以上の⾔語で監視
• 1979年1⽉1⽇から現在まで
• Vision - 利⽤可能なすべてのオープンな情報
源を使⽤して、地球全体を計算可能な形式
にコーディネート

23. Elasticsearch の専⽤のフルテキスト検索インフラストラクチャを備えた
BigQuery の膨⼤なペタスケール分析機能と連携することにより、世界
クラスの検索、分析、視覚化機能
BigQuery
• ペタスケール分析
• 4 分以下のペタバイトテーブルのスキャン
• スケールを気にせずに GDELT の質問
The GDELT Project
BigQuery と Elasticsearch を使⽤した惑星スケール データセットの分析と管理
Elasticsearch
• 第2世代の全⽂検索
• Google Computing Engine
(GCE) にデプロイ
• BigQuery との統合

24. Zebra Technologiesʼ VisibilityIQ
BigQuery based big data analytics platform
• 800万台のデバイス
• 43,000のお客様
• 運⽤データとサポートデータ
• 機械学習と予測モデリングにより、予防的
対策が可能
• KPI と実⾏可能なインサイト

25. Zebra Technologiesʼ VisibilityIQ
Elasticsearch as the speed layer
• データウェアハウス/データレイクとして
の BigQuery
• パイプライン
– ML & predictive analysis
• インサイトサービングスピードレイヤーと
しての Elasticsearch
• クエリ
– Aggregations
– Dashboarding
https://www.elastic.co/elasticon/archive/2020/global/how-zebra-technologies-delivers-business-intelligence-with-elastic-on-google-cloud

26. A Food Service Company
G-Suite ログ分析
Email log search
BigQuery
Reporting
Security Analytics
with Elastic Security

27. リソース
Elastic StackとGoogle Cloudオペレーションを使ってGoogle Cloudを監視する
https://www.elastic.co/jp/blog/monitoring-google-cloud-with-the-elastic-stack-and-
google-operations
Cloud Logging をエクスポートするシナリオ: Elasticsearch
https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja
Google BigQuery output plugin
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-
google_bigquery.html#plugins-outputs-google_bigquery

28. アプリケーション開発 オンデマンド ウェビナー特集
https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx
• Elastic の Search API を Visual Studio
Code でコーディングする (1) - (3)
• Elastic Cloud で Azure Kubernetes
Serviecs の様々な Log/Metrics/APM を
可視化する
• ASP.NET Core 3.x Web アプリのログを
Elastic Cloud で収集・分析してみよう︕

29. Elastic APM のログ活⽤法
https://www.elastic.co/jp/webinars/learn-more-from-your-logs-with-elastic-apm

30. Elastic 7.13 Update ダイジェスト版(6/24)
https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/278466633/
今回のWebinarの詳細は以下の通りです。
==========================
=====================
■開催⽇時
6/24(⽊)19:30〜21:00
■内容
登壇
1. ⽇本マイクロソフト 惣道 哲也さん
2. Elastic 鈴⽊章太郎さん
3. 募集中
==========================
=====================
以上

31. Elastic on Microsoft Azure:
インテグレーション強化による価値の創出
https://www.elastic.co/jp/webinars/elastic-on-microsoft-azure-accelerate-time-to-value-with-enhanced-integration

32. ElasticON Solution Series Japan (7⽉予定)
https://www.elastic.co/elasticon/solution-series/(TBD)

33. Thank You for your attention!
Search. Observe. Protect.