機械学習の定番プラットフォームSparkの紹介

機械学習の定番プラットフォームSparkのご紹介
Cloudera株式会社
川崎達夫
kawasaki@cloudera.com

2 © Cloudera, Inc. All rights reserved.
• Clouderaと機械学習の関わり
• プラットフォーム
• Apache Spark
• 機械学習 on Spark
• 生産性を高めるためのツール
• Cloudera Data Science Workbench
本日のアジェンダ
参考資料) https://www.slideshare.net/Cloudera_jp/spark-cwt2015

MACHINE LEARNING IS A GROWTH ENGINE
CONNECT
products &
services (IoT)
PROTECT
business
DRIVE
customer insights
機械学習とはデータから有益なパターンを抽出するためのアルゴリズムと手法を指す
既存のシステムを近代化するだけでなく、完全に新しいビジネスを可能にする

巨大でヘテロジアスな計算
資源に簡単にアクセスでき
る
機械学習のアルゴリズムは
無償で利用でき、頻繁に更
新される
手頃な価格で、任意の量、
種類のデータを保存してア
クセス
なぜ今なの?
破壊的なトレンドは変化のオポチュニティを生み出す
CLOUD BIG DATA OPEN SOURCE

進化するマーケット
不確実性とオポチュニティ
未熟なマーケット
コモディティ化と過剰な
宣伝への技術的な挑戦は、
市場の定義を明らかにす
る
標準的な技法はない
機械学習には一般的に受
け入れられているベスト
プラクティスはない
急速に進む技術
新しい機能が定期的に登
場し、他のコストを劇的
に変える

AI
MACHINE
LEARNING
DATA SCIENCE
ANALYTICS
"BIG DATA"

• 私たちはオープンプラットフォーム
で、データに基づいてビジネスを進
めるためにお客様に力を与えます
• お客様のデータ
• オープンなアルゴリズム
• どこでも実行できる
• Clouderaはエンタープライズデータ
サイエンスを加速します
MACHINE LEARNING AT CLOUDERA
Clouderaの理念

Clouderaのアプローチ
Clouderaはデータサイエンスと機械学習をどう支援しているのか
不確実性データのサイロ化生産性の課題
Fast Forward Labs
.
Enterprise Data Hub with SDX
.
Data Science Workbench
.

プラットフォーム

データ管理基盤上に構築される機械学習
データ、ワークフロー、メタデータ、セキュリティ、ガバナンスなどを統合
Amazon S3
Microsoft
ADLS HDFS KUDU
SECURITY GOVERNANCE
WORKLOAD
MANAGEMENT
INGEST &
REPLICATION
DATA CATALOG
Core
Services
Storage
Services
ANALYTIC
DATABASE
DATA
SCIENCE
EXTENSIBLE
SERVICES
OPERATIONAL
DATABASE
DATA
ENGINEERING
DATA
WAREHOUSE

Apache Spark

• Apache Sparkは
• 高速で汎用目的、かつ大規模データ処理用のエンジン
• さまざまな異なるデータ処理のワークロードを実行できる
• クラスター環境で実行できる
• Apache Hadoop YARN
• Apache Mesos
• Spark Standalone
• ローカル実行もできる
Apache Spark

• Sparkアプリケーションの開始時:
• アプリケーションを管理する「ドライ
バー」という処理が起動
• データを処理する「エグゼキューター」と
いう複数のワーカープロセスが起動
• YARNクラスターでは、エグゼキューターを管理
する「Application Master」プロセスが開始
• YARNの動的割り当て機能を使用すると、アプリ
ケーションのライフサイクル中の処理の増加と
減少に応じて、エグゼキューターを開始、停止
できる
• Sparkアプリケーションが停止すると、
これらの処理は終了する
Sparkはどのように動作するのか
http://spark.apache.org/docs/latest/cluster-overview.html

Spark スタック
http://spark.apache.org/

Spark スタック (現在)
Apache Spark Core
Spark SQL
Spark
Streaming
MLlib
(OLD)
(Machine
learning)
GraphX
(graph)
MLlib
(New)
Structured
Streaming
(Graph
Frames)
DataFrame/DataSet
RDD
DStream

• Resilient Distributed Dataset（耐障害性分散データセット）
• Spark Core内でのデータ形式
• 並列で操作できる、イミュータブルで耐障害性のある要素の集合
RDD
Apache Spark Core
Spark SQL
Spark
Streaming
MLlib
(OLD)
(Machine
learning)
GraphX
(graph)
MLlib
(New)
Structure
d
Streamin
g
(Graph
Frames)
RDD

• Spark SQLは構造化データを扱うためのSparkライブラリ
• Spark SQLが提供するもの:
• DataFrame API
• SQL クエリエンジン
• Catalystオプティマイザー
Spark SQL
Apache Spark Core
Spark SQL
Spark
Streaming
MLlib
(OLD)
(Machine
learning)
GraphX
(graph)
MLlib
(New)
Structure
d
Streamin
g
(Graph
Frames)

• 名前付きの列に編成された、イミュータブルな分散データコレクション
• RとPython (Pandas)のデータフレームに影響を受けているが、ビッグデータや
データサイエンスアプリケーションをサポートするように設計されている
• 構造化されているデータファイルやHiveテーブル、データベース、既存のRDD
などから構築できる
• オプティマイザーによる最適化
DataFrame
Apache Spark Core
Spark SQL
Spark
Streaming
MLlib
(OLD)
(Machine
learning)
GraphX
(graph)
MLlib
(New)
Structure
d
Streamin
g
(Graph
Frames)
DataFrame

• Sparkで利用できる言語
• Scala
• Java
• Python (PySpark)
• R (SparkR)
• Rの代替インターフェース = sparklyr
• RStudioで開発された
• dplyrと互換性がある
Sparkで利用できる言語

CDHとSPARKの
関連
1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12
CDH5
5.0
5.1
5.2
5.3
5.4
5.5
5.6
5.7
5.8
5.9
5.10
5.11
5.12
5.13
5.14
5.15
(5.16?)
CDH6
6.0
6.1?
CDH and Spark release history
2014 2015 2016 2017 2018
0.9 1.0 1.1 1.2 1.3 1.5 1.6
2.0 2.1 2.2 2.3
2.2

• Spark 2.3
• https://spark.apache.org/releases/spark-release-2-3-0.html
• 例
• Support on Kubernetes
• Continuous Streaming
• Streaming – Streaming Joins
• Image Data Support (ImageSchema)
Spark 2.3
Clouderaは全ての機能を商用サポートしているわけではないことに注意
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html

例: ImageSchema

• Spark 2.4rc5 (2018/11/5現在)
• Native Spark App in k8s (SPARK-23984, SPARK-23146, etc..)
• Pandas UDF – Grouped Aggregate (SPARK-25328, etc)
• Earger Evaluation (for Notebook) (SPARK-24215)
• Kafka 2.0.0 (SPARK-28057, etc)
• その他数多く….
Spark 2.4 (not yet released)
https://github.com/apache/spark/compare/branch-2.3...v2.4.0-rc5

機械学習 on Spark

（再掲）Spark スタック (現在)
Apache Spark Core
Spark SQL
Spark
Streaming
MLlib
(OLD)
(Machine
learning)
GraphX
(graph)
MLlib
(New)
Structured
Streaming
(Graph
Frames)

• Spark用のスケーラブルな機械学習ライブラリ
• 非常に大規模なデータセットで動作するように設計されている
• 多くのポピュラーな機械学習ライブラリの実装を含んでいる
• 教師あり学習
• 教師なし学習
• 機械学習モデルの構築前にデータを準備するユーティリティーを提供
• Extraction
• Transformation
• Selection
Spark MLlib
https://spark.apache.org/docs/latest/ml-features.html

• MLlibは機械学習のアルゴリズムのAPIを標準化し、複数の機械学習アルゴリズ
ムを単一のパイプライン、ワークフローで簡単に組み合わせることができる
• パイプラインのコンセプトは、ほとんどが scikit-learn プロジェクトに影響を受
けている
• DataFrameベースのMLlibとRDDベースのMLlibがある
• RDDベースのMLlibは、現在 (Spark 2.0 以降）メンテナンスモード
• Spark 3.0 で削除される予定
Spark MLlib (続き)

例: KMeansのコード比較 (Python)
http://spark.apache.org/docs/latest/mllib-clustering.html
http://spark.apache.org/docs/latest/ml-clustering.html
RDD based KMeans DataFrame based KMeans

（再掲）データ管理基盤上に構築される機械学習
Amazon S3
Microsoft
ADLS HDFS KUDU
SECURITY GOVERNANCE
WORKLOAD
MANAGEMENT
INGEST &
REPLICATION
DATA CATALOG
Core
Services
Storage
Services
ANALYTIC
DATABASE
DATA
SCIENCE
EXTENSIBLE
SERVICES
OPERATIONAL
DATABASE
DATA
ENGINEERING
DATA
WAREHOUSE

CLOUDERA DATA SCIENCE
WORKBENCH

Clouderaのアプローチ
Clouderaはデータサイエンスと機械学習をどのように支援しているのか
Fast Forward Labs
.
.
.

機械学習用の
プラットフォーム
• オープンなプラット
フォーム
• 完全なライフサイクル
• チームコラボレーション
• エンタープライズ対応
• どこでも実行可能
RESEARCH | PRODUCTION
LOCAL | SPARK | IMPALA
DEPLOYMEN
T
COMPUT
E
OPEN SOURCE ECOSYSTEMALGORITHM
S
SELF-SERVICE
TOOLS
SOLUTIONS | USE CASESAPP
S
CLOUD ON-PREMISES
ADL
S
S
3
HDF
S
KUD
U
CATALOG | SECURITY |
GOVERNANCE
SHARED
CONTEXT

課題
これらの要望のバランスをとるには
DATA SCIENCE
• きめ細かなデータアクセス
• 柔軟性
• 好みのオープンソースツール
• エラスティックなプロビジョニン
グ
• 計算
• ストレージ
• 再現可能なリサーチ
• 本番環境に向けた道すじ
DATA MANAGEMENT
• セキュリティ
• ガバナンス
• 標準化
• 低メンテナンス
• 低コスト
• セルフサービスアクセス

よくあるソリューション
“好みのツールを使うことができなけれ
ば…”
• ラップトップにデータをコピー
• データサイエンスアプライアンスにデー
タをコピー
• クラウドサービスにデータをコピー
← これらが問題になるのは:
• 複雑なセキュリティ要件
• データガバナンスを壊す
• 処理の待ち時間が加わる
• コラボレーションがますます困難に
• 複雑なモデル管理とデプロイ
• インフラのサイロが作られてしまう

CLOUDERA DATASCIENCE WORKBENCH
実験環境から本番環境へと機械学習を加速する
データサイエンティスト向け
• 実験を高速に
R、Python、あるいはScalaを
使用して、オンデマンドでの
計算資源、およびセキュアな
CDHのデータにアクセス
• 共同作業
チーム全体で再現可能な実験
環境を共有
• 信頼のあるデプロイ
再コーディングなしに繰り返
して本番環境で実行
IT プロフェッショナル向け
• データサイエンティストを
データに連れて行く
リスクとサイロのコストを削
減しつつデータサイエンティ
ストに自由を与える
• デフォルトでセキュア
共通のセキュリティとガバナ
ンスをワークロード全体で活
用
• どこでも実行
オンプレまたはクラウド

MODERN DATA SCIENCE ARCHITECTURE
スケーラブルでオンデマンドな計算処理を備えるコンテナ化された環境
• DockerとKubernetesで構築
• 独立し、再生可能なユーザー環境
• ビッグデータ、スモールデータの両方
に対応
• ローカルの Python, R, Scala ランタイム
• GPUリソースのスケジューリングと共有
• Spark, Impala, その他 CDH サービスを実行
• デフォルトでセキュア化、ガバナンス
• Kerberos化されたクラスターに、簡単かつ
監査されたアクセス
• Cloudera Managerでデプロイ
CDH CDH
Cloudera Manager
gateway node(s) CDH nodes
Hive, HDFS, ...
CDSW CDSW
...
Master
...
Engine
EngineEngine
EngineEngine

ACCELERATED DEEP LEARNING WITH GPUS
• 深層学習にCDSWを拡張
• GPUリソースをスケジュール、共有
• GPUでトレーニングし、CPUにデプ
ロイ
• オンプレまたはクラウドで動作
CDSW
GPUCPU
CDH
CPU
CDH
CPU
single-node
training
distributed
training, scoring
“データサイエンティストはGPUを
求めているが、私たち（管理者）に
はマルチテナントが必要だ。彼らが
それぞれクラウドに向かうと、高価
でありガバナンスを失ってしまう”
GPU On CDH coming in C6

データサイエンティストチームが行うこと
データを大規模に取り込む
データを保存しセキュア化
分析のためにデータを綺麗
にして変換
データを調査し、オフライ
ンで予測モデルを構築
モデルの評価とチューニン
グ
モデリングパイプラインを
開発して提供
デプロイのためにモデルを
テスト、検証、および承認
バッチ、ストリーミングパ
イプライン、組み込みモデ
ル、APIを作成して維持
本番環境でモデルを更新
データの準備モデルの構築モデルのデプロイ

NEW: CLOUDERA DATA SCIENCE WORKBENCH 1.4
Accelerate and simplify machine learning from research to production
ANALYZE DATA
• Explore data securely and
share insights with the team
TRAIN MODELS
• Run, track, and compare
reproducible experiments
DEPLOY APIs
• Deploy and monitor models
as APIs to serve predictions
NEW! NEW!
MANAGE SHARED RESOURCES
• Provide a secure, collaborative, self-service platform for your data science teams

本日のまとめ：Clouderaのアプローチ
Fast Forward Labs
.
.
.
研修に興味がある方はウェブへ！受講したい方は
配布資料のディスカウントコードをご利用ください！
http://jp.cloudera.com/more/training.html#?loc=JP-Tokyo

機械学習の定番プラットフォームSparkの紹介

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a 機械学習の定番プラットフォームSparkの紹介

Similar a 機械学習の定番プラットフォームSparkの紹介 (20)

Más de Cloudera Japan

Más de Cloudera Japan (20)

Último

Último (11)

機械学習の定番プラットフォームSparkの紹介