Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
Similar to 大規模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情
Similar to 大規模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情 (20)
More from nagix
大規模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情
- 2. 自己紹介 • 草薙 昭彦 (@nagix) • MapR Technologies データエンジニア NS-SHAFT 無料!
- 4. 一般人 収集 抽出 変換 加工 格納 集計 加工 生成 モデル 作成 可視化 レポート 手入力 Excel Excel Excel Excel
- 5. 一般人 収集 抽出 変換 加工 格納 集計 加工 生成 モデル 作成 可視化 レポート 手入力 Excel Excel Excel Excel 実は専門家も
- 7. 組織の規模が大きくなると • データボリューム – 大容量ストレージ・効率の良い格納フォーマット • 処理性能 – データ増や複数ユーザの同時アクセスに対応 • 信頼性・可用性 – ハードウェアのHA化・データの複製 • セキュリティ – 認証・アクセス制御・暗号化・監査
- 9. ビッグデータって何でしたっけ • データボリューム – 従来のアーキテクチャでは処理格納できない量 • データの種類 – 非構造化（=スキーマが確定していない）データ • データの流入頻度 – 月次・日時バッチ投入から都度の投入へ
- 10. 大規模なデータを扱う時に重要なこと • スケールアウト（水平スケーラビリティ） • CPUとストレージの距離（データローカリティ） サーバ ・・・ スケールアウト可能なアルゴリズム・データ格納方式 共有ストレージ (NAS/SAN) サーバ レイテンシ の問題 スループット の問題 サーバ サーバ サーバ 内蔵 HDD /SSD 内蔵 HDD /SSD 内蔵 HDD /SSD CPU CPU CPU
- 12. 分析のROI • 最も重要なのはデータを増やしたとしてもそ れに見合うリターンが得られるかどうか – データが増えれば得られる価値は上がりそう・・ – 問題はコストをいかに抑えることができるか • コモディティハードウェアは必須！ • スケールアウト分散処理ソフトウェアは必須！ • オープンソースソフトウェアは有力な選択肢
- 13. 参考 • Google対Yahoo—インターネット戦争でどうしてここ まで差がついたのかを振り返る hZp://jp.techcrunch.com/2016/05/23/20160522why-google-beat-yahoo-in-the-war-for-the-internet/ – “NetAppハードウェアのコストはYahooの規模の拡大と同 じ速さで増大し、Yahooの利益の大きな部分に食い込むこ ととなった” – “これに対して Googleは、規模を拡大し新サービスを追加 するときに起きるはずの問題を、それが起きる前に予期し、 効率的に対処できるようGoogle File Systemの開発に全力 を挙げた”
- 15. Hadoopって? サーバ サーバ サーバ サーバ サーバ サーバ
- 17. Hadoopって? サーバ Hadoop Distributed File System (HDFS) 分割されたデータ をMap、Reduceと いう単位で並列分 散処理 MapReduce
- 22. トレンド：リアルタイム処理 • ビジネス側からの要件 – より早い変化の検知、決断、情報の提供 – 業務処理と分析処理は統合へ • データフロー、格納、処理それぞれに新しい アーキテクチャが必要 • 処理の2つのアプローチ – バッチを極限まで細かくしていく（マイクロバッチ） – メッセージを1つ1つ処理していく
- 24. ラムダアーキテクチャ • バッチ処理（Data at Rest）とリアルタイムストリー ム処理（Streaming Data）は組み合わせることで 価値が出る – 近似的な速報値をリアルタイム処理で得る – 正確な集計や深い分析は履歴データを利用しバッチ 処理で得る • データを入口で複製し、用途に応じた最適な フォーマットで格納する – 例: 時間レンジの検索ならHBase、履歴集計なら Parquet
- 26. ラムダアーキテクチャ 収集 抽出 変換 加工 格納 集計 加工 モデル作成 可視化 格納 抽出 変換 加工 集計 加工 モデル作成 バッチレイヤー スピードレイヤー Kaka HDFS
- 27. 分析のタイプ • バッチ分析 – 蓄積された大量データから知見を得る • リアルタイム分析 – 流れてくるデータを対象にとりあえずの解を得る • インタラクティブ分析 – よくわからないものから鍵を見つけ方針を決める
- 28. Apache Arrow • カラム型インメモリ分析のデファクト標準を目 指す Apache プロジェクト • 多くのビッグデータ系Apacheプロジェクトで共 通のデータ構造を使うといいよね？ • データ構造、アルゴリズム、クロス言語バイン ディングを定義 • 最新のCPUの機能を活用した高速な分析
- 29. これは非効率性だわ・・・ • 各システムは独自の内部メモリ 形式を持つ • 70〜80%のCPUはシリアライズ・ デシリアライズに使われる • 似たような機能が複数のプロジェ クトで実装される Thrin, Avro, Protobuf,…
- 30. • すべてのシステムは共通のメモリ 形式を持つ • システム間のやりとりにオーバー ヘッドがない • プロジェクト間で機能を共有できる (例: Parquet-to-Arrow リーダー) ならばこうだ
- 34. ありがとうございました