[Cloud OnAir] オンプレミスにあるデータを GCP で分析する前に知っておきたいアーキテクチャ 2019年5月30日放送

Cloud OnAir
Cloud OnAir
オンプレミスにあるデータを
GCP で分析する前に知っておきたい
アーキテクチャ
2019 年 5 月 30 日放送

Agenda
Cloud OnAir
1
3
2
4
ポイントの整理
ポイントごとの選択肢
想定ユースケースごとのサンプルアーキテクチャ

Cloud OnAir
Cloud OnAir
ポイントの整理

Cloud OnAir
オンプレ DC
Cloud
Storage

Cloud OnAir
ポイント 1 ネットワーク
オンプレ DC
ネットワーク
Cloud
Storage

Cloud OnAir
ポイント 2 データ転送に使うツールとインストール場所
オンプレ DC
ツールツール

Cloud OnAir
ポイント 3 全体のデータパイプラインの管理
オンプレ DC
ジョブ / パイプライン
管理
Cloud
Storage

Cloud OnAir
Cloud OnAir
ポイントごとの選択肢

Cloud OnAir
ポイント 1 ネットワーク
オンプレ DC
ネットワーク

Cloud OnAir
ポイント 1 ネットワークの選択肢
パブリック接続プライベート接続
インターネット VPN
Partner
Interconnect
Dedicated
Interconnect

Cloud OnAir
インターネット経由で GCS を使う場合のチェックポイント
オンプレ DC
インターネット
Cloud
Storage
accounts.google.com
*.googleapis.com
プロキシ
オンプレミス側のプロキシでこれらのドメインを許可を忘れない
すべて HTTPS の暗号化通信になるので十分なセキュリティは確保

Cloud OnAir
Google API への通信経路をプライベートにしたい
オンプレ DC
インターネットプロキシ
VPN or
Interconnect
ルータ等
Zone
#FFF3E0
Virtual
Private Cloud
gsutil cp
VPN / Interconnect で接続したいが
API への通信はインターネット経由の環境になってしまう
Cloud
Storage

Cloud OnAir
Google API への通信経路をプライベートする方法 (1)
オンプレ DC
Google Private Access
有効化
VPC
gsutil cp
プロキシ設定
VPC 内のプロキシ経由で外部ネットワークを通らずに通信
VPN or
Interconnect
ルータ等外部IPなしプロキシ
Compute Engine
Cloud
Storage

Cloud OnAir
Google API への通信経路をプライベートする方法 (2)
オンプレDC
Google Private Access
有効化
VPC
gsutil cp
DNS とルーティングの設定追加で外部ネットワークを通らずに通信
VPN or
Interconnect
ルータ等
DNS Cloud
Storage
DNS への追加設定
ルーティングの追加設定

Cloud OnAir
ポイント2 データ転送に使うツールとインストール場所
オンプレ DC
ツールツール

Cloud OnAir
実際に転送を担うテクノロジー
主にデータソース側で使われるどちらでも使われる主に GCP 側で使われる
gsutil:
GCS 用の CLI ツール
簡単なのでまず最初に検討
ﬂuentd:
OSS のログ転送ツール
ストリーミングでログを
持ってくるときにオススメ
embulk:
OSS のバッチ転送ツール
取得元が様々な場合に
オススメ
Cloud Dataﬂow:
Apache Beam のマネージドな
実行エンジン
GCP クライアントライブラリ
各種言語用ライブラリ
Cloud Data Fusion:
ノンコーディングで ETL 処理
とパイプライン管理が可能

Cloud OnAir
● Google Cloud Storage 用コマンドラインツール
● Cloud SDK に同梱されている
● gsutil <linux コマンド> でファイル操作ができる
○ gsutil cp など
● GCS の URI は gs://<バケット名>/(パス名/)<オブジェクト名>
● 大きいファイル用 / 大量の小さいファイル用の並列化
オプションあり
gsutil

Cloud OnAir
gsutil 大量のファイルを転送する際の tips
gsutil のマルチスレッド機能により
複数のファイルを平行に転送

Cloud OnAir
gsutil 大きなファイルを転送する際の tips
gsutil の並列複合アップロード機能で
各ファイルをより小さいコンポーネントに分割し、
各コンポーネントを並列してアップロード

Cloud OnAir
ポイント 3 全体のデータパイプラインの管理
オンプレDC
ジョブ / パイプライン
管理
Cloud
Storage

Cloud OnAir
● データ連携の ”本当の始まりと終わり” を理解する
○ どこまでのジョブが終われば利用者側に意味があるのか？
○ エラーハンドル / リトライをするべき境界線は？
○ プロジェクトのスコープに囚われすぎてないか？
○ データソース側でパイプラインを意識した出力に変更できないか必ず
検討する
全体のデータパイプライン管理

Cloud OnAir
● GCP のサービス
○ Cloud Composer
■ Apache Airﬂow のマネージドサービスで汎用性が高い
○ Cloud Data Fusion
■ ノンコーディングでパイプラインが組める
● Airﬂow 以外の OSS のツール
○ Digdag
○ Luigi
● プロプライエタリツール
データパイプライン管理

Cloud OnAir
● Apache Airﬂow
○ ワークフローの定義・実行・モニタリングを
プログラマブルに行う
○ DAG ( 有向非巡回グラフ ) でタスクを管理
● Cloud Composer
○ GCP 上で提供されるマネージド Airﬂow
○ ユーザのプロジェクトには GKE クラスタが
立ち上がる
Apache Airflow / Cloud Composerとは

Cloud OnAir
Cloud Composer アーキテクチャ
Customer project
Composer Environment
Tenant project
Kubernetes Engine
Airflow worker(s)
Redis
Airflow scheduler
Cloud SQL Proxy
Logs
Stackdriver
DAGs, logs, plugins
Cloud Storage
Airflow web sever(s)
App Engine Flex
Airflow database
Cloud SQL
Identity-Aware
Proxy
Customer
HTTPS
Cloud SDK,
API

Cloud OnAir
Airflow / Cloud Composer のキーコンセプト
● 全てのワークフローは DAG
で定義される
● 1 つの DAG は複数の
タスクのセットを意味する
● タスクは方向を加味した
依存関係を持つ
● タスクとは何かやりたい
「事」
● 例えば「 SQL クエリで
データをロードする」
● タスクを実行するのは
Operator か Sensor
● Operator は実行を
指示する
(例：メール送信)
● Sensor はある状況が
True になるまで待つ
(例：ファイル生成)
● 自分で定義することも
可能
DAGs Tasks Operators and sensors

Cloud OnAir
GCP のサービス
GCP 以外の環境
● 汎用技術 : Bash, Python, HTTP, SFTP
● サードパーティのデベロッパー向けツール / SaaS
● 他のクラウド/ オンプレ技術
充実した Operator により多様なユースケースをサポート

Cloud OnAir
ワークフローの例 (DAG)
HDFS
Cloud
Storage
オンプレ HDFS
上に
新規ファイルを
検知、
GCS へコピー
BigQuery で
ETL クエリを実行
BigQuery
Slack チャンネルに
プロセス終了を
通知、ログへの
リンクも含める
Slack
On-premises
タスクの
依存関係の
定義
エラー
ハンドリング
スケジューリング
処理の
再利用

Cloud OnAir
Cloud OnAir
想定ユースケースごとの
サンプルアーキテクチャ

Cloud OnAir
初めて自社データで BigQuery を使ってみたい (1)
想定シチュエーション
● 初めて BigQuery を使って自社データを分析したい
● すでに NFS 等にあるログファイルを転送したい
● お試しなので、環境構築は最小限にしたい

Cloud OnAir
読み解くと
● 初めて BigQuery を使って自社データを分析してみたい
ポイント 3 ：お試し = 一回移せれば OK なのでジョブ管理は考えなくてよい
ポイント 2 ：ツールはなんでもよさそうなので、一番簡単な gsutil
ポイント1: ポリシー的にインターネット上の HTTPS で問題ないか念のため確認

Cloud OnAir
オンプレDC
Cloud
Storage
gsutil cp
HTTPS による
暗号化
BigQuery
bq load

Cloud OnAir
● お試しなので、環境構築は最小限にしたいが、プライベート接続必須
読み解くと
● 初めて BigQuery を使って自社データを分析してみたい
ポイント 3 ：お試し = 一回移せれば OK なのでジョブ管理は考えなくてよい
ポイント 2 ：ツールはなんでもよさそうなので、一番簡単な gsutil
ポイント1: 最小限なので VPN + プロキシでプライベート接続を実現

Cloud OnAir
VPC ( Google Private Access 有効)
オンプレDC
gsutil cp
+
プロキシ設定
プロキシ
Compute Engine
Cloud
Storage
BigQuery
Cloud
Router
VPN 接続
Interconnect
bq load

Cloud OnAir
履歴テーブルを BigQuery に 1 日 1 回同期したい
● オンプレ DB の履歴テーブルを BigQuery に 1 日 1 回同期したい
● DB サーバにツールを入れるのは許可されなかったが、 JDBC 接続は OK
● セキュリティルール的にインターネット経由は NG

Cloud OnAir
読み解くと
● DB サーバにツールを入れるのは許可されなかったが、 JDBC は OK
ポイント 3 : 日々履歴テーブルは増えるし、 1 日 1 回同期なのでジョブ管理は必要
ポイント 2 ：JDBC が使えるツール
ポイント 1: プライベート接続経由で DB へアクセス

Cloud OnAir
VPC ( Google Private Access 有効)
オンプレDC
VPN 接続
Interconnect
Cloud
Storage
BigQuery
Cloud
Router
JDBC &ジョブ管理
Cloud Composer

Cloud OnAir
Cloud OnAir
本日のまとめ

Cloud OnAir
● オンプレミスのデータを BigQuery に入れる前にチャレンジがある
● 考慮するポイントは大きく以下の 3 つ
○ ネットワーク
○ ツール
○ パイプライン管理
● データから価値を引き出すための最初のステップをスムーズに！
本日のまとめ

[Cloud OnAir] オンプレミスにあるデータを GCP で分析する前に知っておきたいアーキテクチャ 2019年5月30日放送

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a [Cloud OnAir] オンプレミスにあるデータを GCP で分析する前に知っておきたいアーキテクチャ 2019年5月30日放送

Similar a [Cloud OnAir] オンプレミスにあるデータを GCP で分析する前に知っておきたいアーキテクチャ 2019年5月30日放送 (20)

Más de Google Cloud Platform - Japan

Más de Google Cloud Platform - Japan (20)