Apache Spark の紹介（前半：Sparkのキホン）

1. Apache Sparkのご紹介～Sparkのキホン NTTデータ基盤システム事業本部 OSSプロフェッショナルサービス土橋昌 2014年5月29日第16回 Hadoopソースコードリーディング発表資料

2. 2Copyright © 2013 NTT DATA Corporation  氏名：土橋昌  略歴：  まだ世にHadoopクラスタが少なかったころから、数十台～数千台のHadoopクラスタのために奔走。結局Hadoop以外のOSSとも格闘する日々。ActiveDirectory、LDAP、Ganglia、 Nagios、Zabbix、Puppet、・・・。OSSじゃなのも混ざってますが、OSS屋さん。  最近はHadoopしながら、Stormやったり、Sparkやったり、HBase触れたり、Cassandraを覗いたり。「ゲテモノ」にぶつかって心砕ける心踊るのが仕事。  どんな人？：  基本はインフラエンジニア。下手の横好きでコード書くのも好き。  コンサル（ご相談）から開発、運用もやります。  実は人前は苦手。こっそり生きています。  他には？：  分散システムやっている関係で構成管理には昔から悩まされてきました。数年Puppet使っていますが、ここ1年くらいはAnsible使ってます。個人的な検証は Vagrant + VirtualBox + Ansible  写真撮ったり出掛けたりするのが好き。自己紹介

3. 3Copyright © 2013 NTT DATA Corporation  日頃Hadoopに触れる生活で見出したSparkの背景 一面的な説明ですが、なるべく分かりやすく書いたつもり・・・  Spark Summit 2013の振り返り  Sparkのキホン Sparkの鍵 => RDDってなに？ スケジューラ外観からその動き  Sparkの細かな話 きっと@taroleoさんが話してくれるアジェンダ

6. 6Copyright © 2013 NTT DATA Corporation  大規模データの分散処理をオンメモリで実現する データ処理してHDDに都度書き出す方式よりも高速 JavaやScalaのコレクション操作のような使い方で分散処理を実現できる  大規模データの分散処理ではHadoopが有名だが、 Hadoopとは異なるアイデア・方法でデータ処理を実現する UCBerkeleyのResilient distributed datasets（RDD）の論文がおおもと Sparkとはオンメモリデータ処理の分散処理基盤 Hadoopとよく比較されるが、アーキテクチャが全く異なる最新バージョン「Spark 0.9.1」 (2014/4/9 リリース) メモリ上に分散した変換処理に適したデータセット

7. 7Copyright © 2013 NTT DATA Corporation Hadoopは大量データ処理を現実的なものにしてくれた • 従来技術は、必要充分な性能をもった後発のローエンド技術に凌駕されてゆく流れに乗って、必要十分を追求するＯＳＳ  枯れた技術を安価に使いこなす  複数のOSSを適材適所、組み合わせて使いこなす  品質をコントロールして使いこなす • 従来技術では困難であった領域にチャレンジするＯＳＳ  新たな領域特有の課題を解決する  リスクをコントロールして使いこなす • ＯＳＳは.. コモディティ製品を使い切る先進的な技術（大容量データ処理）を身近なものにする性能 1970 1980 1990 2000 Moore's Law The number of transistors on the chip doubles every 18 months. Gilder’s Law The bandwidth of network doubles every 6 months. Metcalfe's Law The value of a network is proportional to the square of the number of users. 2010 Sparkの前にはHadoopが開いた道がある

8. 8Copyright © 2013 NTT DATA Corporation HadoopはディスクIOを並列化してスループット高める • 集中管理型の分散システム – 分散処理ジョブやデータの管理はマスタサーバで実施 – スレーブサーバは、分散処理の実行やデータの実体を保存 • スレーブサーバを増やすことで、全体の処理性能を向上させるスケールアウトアーキテクチャ Hadoopマスタサーバ Hadoopクライアント L2/L3スイッチ NameNode JobTracker L2スイッチ Hadoopスレーブサーバ群 DataNode TaskTracker DataNode TaskTracker DataNode TaskTracker DataNode TaskTracker DataNode TaskTracker ディスクディスクディスクディスクディスクディスクIOの並列化レプリケーションによる永続化

9. 9Copyright © 2013 NTT DATA Corporation 繰り返し処理ではIOコストの課題に対処が必要 Generated Data 分散ファイルシステム HDFS バッチ処理 MapReduce （MR） MR Enterprise Data Warehouse Generated Data 処理対象データを抽出 Output Output Data データマート分散ファイルシステム HDFS バッチ処理 MapReduce 分散ファイルシステム HDFS HDFSに毎度データを保存するコストが無視できないデータを転送するコストが無視できない Output Output Data 例１例２業務処理・データ分析の中には繰り返し処理が現れる

10. 10Copyright © 2013 NTT DATA Corporation Hadoopはパワフルだけど… もう少し繰り返し計算を効率よくできないか？ - 途中結果を何回も再利用しながら計算している - 業務処理が煩雑でジョブが200段くらいになっている インタラクティブなドリルダウン分析につかえないか？ - 既存HiveやPigでも何とかならないでもないが、もう少し速さと使い勝手の良いREPLが欲しい - （あとSQL以外の選択肢が欲しい。行指向じゃないこともしたい） Hadoopはパワフルだけど…という思い

11. 11Copyright © 2013 NTT DATA Corporation Sparkは繰り返し処理を高速に実現 Generated Data Output Output Data 分散ファイルシステム HDFS バッチ処理 MapReduce インメモリ分散処理 Spark リソース制御：YARN 繰り返し処理にHadoopとSparkを組み合わせるイメージ大きなデータをMapReduceで加工データがメモリ上に置かれるためレスポンスに優れる Spark内の処理イメージデータ同じデータを繰り返し処理データデータデータ変換処理を連続で適用 HDFS上のデータを利用小処理をつなげて大処理を実現メモリメモリ

12. 12Copyright © 2013 NTT DATA Corporation  JavaやScalaのコレクション操作のようなメソッドやフレームワークを利用できるため、 JavaやScalaに慣れた技術者にとって、複雑な処理を実装しやすい  Hadoopを置き換えるものではなく、SparkはHadoopの仕組みも利用する  利用例  ログ分析： POSデータ解析、トラヒック解析、M2M、行動履歴、ライフログ長期保存など  レコメンド: クリック・ストリーム分析、関係グラフ解析、広告分析など  検索: 非構造データの検索、データ抽出  データマイニング: 取引情報の分析・監査、不整データの抽出など  機械学習: 大量データのパターン分析、分類など Sparkは大量データを次々に変換する処理が得意得意苦手  Hadoopで加工した後のドリルダウン分析  TB級までのデータを扱うシステム  サンプリングが有効でないロングテールのデータ分析  数秒～数分級のHadoopよりも短いレスポンスが必要な処理  クラスタ全体のメモリに乗り切らない巨大なデータ処理（TB級以上）  大きなデータセットを少しずつ更新する処理  秒以下の特に短いレスポンスが必要な処理

13. 13Copyright © 2013 NTT DATA Corporation Hadoopなどを含むエコシステムで成り立つ • Spark : イテレーションや多段MapReduceを効率的に実行するインメモリ分散処理基盤バッチ処理では間に合わないような速報値を必要とするケースで、かつ1 台のサーバでは処理できない量のデータに対応する必要があるケースでStormを採用する Storm ストリーム並列処理基盤 Hadoop バッチ並列処理基盤 Spark インメモリ並列処理基盤イテレーションを回したりピボット処理を行うようなインメモリでの処理を必要とする場合、従来は RDBMSで扱えるデータサイズにまで減らしてから処理していた PostgreSQL RDBMS Oracle Coherence や SAP HANA のような高価な商用製品でしか実現できなかったインメモリでの並列分散処理がIAサーバ＋OSSで実現可能になる 1台のサーバによる少量のレコードに対する処理・管理 (e.g. インデックススキャン、レコード単位の更新) 複数台サーバによる大量のデータに対する蓄積・処理が得意ディスク上でのデータ処理メモリ上でのデータ処理データを蓄積した上でバッチ処理入力される各レコードに対する逐次処理 1台のサーバ内での処理複数台サーバでの処理メモリ上でデータを保持して処理データを保持・蓄積せずに処理並列分散処理

14. 14Copyright © 2013 NTT DATA Corporation 互いの得意分野が少しずつ異なるバッチ処理では間に合わないような速報値を必要とするケースで、かつ1 台のサーバでは処理できない量のデータに対応する必要があるケースでStormを採用する Storm ストリーム並列処理基盤 Hadoop バッチ並列処理基盤 Spark インメモリ並列処理基盤 PostgreSQL RDBMS 1台のサーバによる少量のレコードに対する処理・管理 (e.g. インデックススキャン、レコード単位の更新) 複数台サーバによる大量のデータに対する蓄積・処理が得意ディスク上でのデータ処理メモリ上でのデータ処理データを蓄積した上でバッチ処理入力される各レコードに対する逐次処理 1台のサーバ内での処理複数台サーバでの処理メモリ上でデータを保持して処理データを保持・蓄積せずに処理並列分散処理ユーザアカウント情報の管理（1サーバで扱えて、厳密性を要求される情報を管理する）ユーザ行動の即時処理異常行動の検知ユーザのページ遷移や行動履歴の分析インタラクティブなデータ処理例えば「ユーザ情報」という枠で考えると… データクレンジング蓄積データの全件処理（総メモリに乗り切らない処理）

15. 15Copyright © 2013 NTT DATA Corporation （参考）Sparkの開発背景や体制 Apache Spark ホームページと Spark Summit のスポンサーここ1年の Sparkの contributorが 1年前に17人だったのが今年9月に67人に 2009年: - UC Berkley AMPLab にて研究プロジェクトがスタート 2012年: - AMP Camp 1 2013年: - 急速に動きが活発化 - 6/19 Apache Incubation Project - 8月 AMP Camp 2 - 10/27 AMPLab から Databrics 社設立 - 12/2 Spark Summit 開催開発背景

18. 18Copyright © 2013 NTT DATA Corporation  Keynote : Databricks 社 CEO からのメッセージ  「いろいろ道具立てが溢れているが、Spark の上で全部やれるようになることを目指しています」  「Hadoop とは共存します」  Cloudera との提携を前面に押し出していた  アカデミック＋エンタープライズの両方の雰囲気をもつ会場会場は満員御礼、チュートリアルも人気 Keynoteの様子チュートリアルの様子（こちらも満員）

19. 19Copyright © 2013 NTT DATA Corporation  Hadoopコミュニティとの連携が強まり、Sparkコミュニティも急速に成長中  Yahoo!の事例が目立った  最も先行して導入している様子が伺われた  ただし、SparkはもともとUCBerkeleyが推し進めていたので、Hadoop YARN連携以外の細かな既存事例が他にもある様子  Sparkの特徴や利用イメージに関する発表が多かった  アプリの見た目は、Java8 Streamなどに似ている…？  Shark（SQL on Spark）、Spark Streaming、MLbaseなどのエコシステムも形成されている  後発だけあって、黎明期のHadoopよりもドキュメントやUIが充実している印象 Yahoo事例とSparkの特徴紹介が多かったセッション全体のポイント

25. 25Copyright © 2013 NTT DATA Corporation Hadoopとの連携を強めて利便性高くなってきた出典: Big Data Research in the AMPLab:BDAS and Beyond(Michael Franklin ) 「UC Berkeleyの既存プロダクト」と「Hadoopの既存エコシステム」の連携を強める動きが見られ、先行するHadoopの機能を利用しやすくなっている Sparkの入出力やデータの永続化に利用高度なリソースマネージメントに利用 Hiveで培われた SQLによる分散処理を利用

26. 26Copyright © 2013 NTT DATA Corporation Yahoo台湾でパーソナライズに利用されている一部の処理をHadoopから Sparkに置き換えている出典: Hadoop and Saprk Join Forces at Yahoo(Andy Feng) 台湾のショッピングサイトで利用されている企業ユースも少しずつ増えている様子である（数人程度 x 数か月で移行したとのこと）

27. 27Copyright © 2013 NTT DATA Corporation 低レスポンスが求められる繰り返し処理をSparkに出典: Analytics on Spark & Shark @Yahoo (Tim Tully) 新しいスタック従来のスタック業務処理後半の分析業務や繰り返し処理のレスポンスに課題スループット重視:Hadoop レスポンス重視:Spark Yahoo!の処理基盤の将来的なイメージ Pig/Hive/MR BI/OLAP Spark/Shark

28. 28Copyright © 2013 NTT DATA Corporation コンテンツ配信でのユーザエクスペリエンス向上を狙う CONVIVA社での利用イメージ出典: Using Spark @ CONVIVA Adaptive Bit Rateの調整 CDNスイッチの最適化きめ細かなトラヒックシェーピングとマルチCDNの実現を目指す如何に素早くフィードバックできるか？ Spark分析基盤ビデオ配信の効率を最適化し、エンゲージ率の向上を狙う（もともとはHadoopやストリーム処理基盤を利用していた事例）

29. 29Copyright © 2013 NTT DATA Corporation Conviva社「デメリットを補って余りあるメリット」 分析の高速化、ビットレート向上に確かに貢献 プログラミングモデルが適していた＆コミュニティが活発 Conviva社では様々な機械学習をプロトタイプ バッチ処理とストリーム処理で同じフレームワークを利用できた スケールさせやすかった良かった点苦労した点 故障対処と運用 Sparkの基盤に関する独自の知識（特にデータモデル）が必要 デバッグに際して知識が必要 チューニングに際して知識が必要数か月間のプロダクション環境実績から得られた感想

32. 32Copyright © 2013 NTT DATA Corporation Shark: SQLで記述できる分散処理フレームワークバックエンドでSparkが動作する先行するHive（Hadoop）と互換性を保ちながら発展中 SharkとHiveのスタック比較出典: Shark(Michael Armbrust @ Databricks) クエリやUDFはHive互換最新リリース: 0.8.1 （2014/1/15）最新プレリリース: 0.9.0 2014/2現在、対応Hadoopは2.0系

33. 33Copyright © 2013 NTT DATA Corporation Spark Streaming: ストリーム処理フレームワーク出典: Apache Spark (http://spark.incubator.apache.org/docs/latest/streaming-programming-guide.html) 入力データを小さく区切ってRDDを生成小さなRDD（データセット）が連なったもの入力データを区切った単語のRDDを生成小さなバッチ処理を繰り返してSpark上にストリーミング処理を実現時間時間時間（Spark StreamingのバージョンはSparkと同一）

34. 34Copyright © 2013 NTT DATA Corporation  繰り返し処理を得意とする Spark の特徴を生かし、1台のサーバで処理できない量のデータセットに対して分散処理で機械学習を実現する  Sparkの0.8系（2013年9月）から本体へ導入  Spark 0.9.0 同梱の MLlib のコード量は約4KStep  利用可能な処理  二値分類 : 線形サポートベクタマシン、ロジスティック回帰  線形回帰：Lasso回帰、Redge回帰  クラスタリング：k-means （Scalable K-means++）  協調フィルタリング：Alternating Least Squares (ALS)  勾配降下法 (Gradient Descent)  Scala、Java、Python から利用可能 MLlib: Sparkで使える機械学習ライブラリ分散ファイルシステム HDFS バッチ Map Reduce SQL Hive リソース管理機構 YARN インメモリ分散処理 Apache Spark SQL Shark 機械学習 MLLib グラフ GraphX ストリーム Spark Streaming

38. 38Copyright © 2013 NTT DATA Corporation HDFSから入力データを取得する例 Sparkシェル内で、Scalaで実装する testdata.txtをインプットとして利用 HDFS上のデータを入力とした新たなRDDが定義された・HadoopのHDFS APIが対応しているファイルシステムを利用できる（ローカルファイルシステムを含む）・そのほかのプロトコルにも対応している

41. 41Copyright © 2013 NTT DATA Corporation WordCountの実装例 val file = spark.textFile("hdfs://...") val counts = file.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) counts.saveAsTextFile("hdfs://...") １） HDFSからデータを入力する定義２）データを単語に分割する定義３）単語ごとにタプルを作る定義４）タプルを集約する定義５） HDFSに出力する定義サンプルコード流れの概要

Apache Spark の紹介（前半：Sparkのキホン）

NTT DATA OSS Professional Services

Apache Spark の紹介（前半：Sparkのキホン）