Más contenido relacionado Similar a Hadoop - OSC2013 .Enterprise (20) Hadoop - OSC2013 .Enterprise6. MapReduceの仕組み
スコア
一覧
Shuffle
(同じKeyでデータを集約)
Map
<A, 10>
<B, 20>
<C, 15>
<A, {10,25} >
<C, {10,5,15} >
Reduce
Map
スコアの抽出
<A, 25>
<C, 10>
<D, 10>
<B, 10>
<C, 5>
<A, 35 >
<C, 30 >
Reduce
<D, 5>
Map
何らかの処理
<B, 30 >
<D, 15 >
<B, {20,10} >
<D, {5,10} >
・<Key, Value>の形でデータを管理
・MapやReduceが分散処理の対象
OSC .Enterprise 2013
6
7. Hadoopの仕組み
タスク
ジョブ情報
TaskTracker(s)
M M M
タスク分割
R R R
JobTracker
JobClient
クライ
アント
データローカリティを
意識した割り当て
ファイルをブロックに分割
配置を指示
DFSClient
入出力データは
HDFSと連携
マスター
サーバ
M
・・・
R
・・・
・・・
M
・・・
NameNode
・・・
・・・
ファイル
ラックを意識した
ブロック配置を実施
OSC .Enterprise 2013
DataNode(s)
7
9. Hadoopのヒストリー
The Google File System
論文の公開
MapReduce
論文の公開
EMR
プロトタイプ
作成
2003
2004
2005
HDP
CDH
2006
0.20
リリース
1.0
リリース
2009
2011
API
Sqoop
Hive
Flume
OSC .Enterprise 2013
2013
YARN
Pig
HBase
2系安定版
リリース
HA
NFS
Impala
Oozie Ambari
Spark
9
12. YARN : Yet Another Resource Negotiator
•
Hadoop 1.0 系 MapReduce基盤の問題
•
JobTrackerへの負荷集中
•
多数のリクエストを処理するためネックとなりやすい
MapReduceジョブ制御
(タスクアサイン)
•
TaskTracker管理
(ハートビート)
TaskTrackerでリソースを予約して動作
•
スロット数は固定して利用するためリソースを十分活用でき
ない
Mapスロット
Reduceスロット
OSC .Enterprise 2013
12
13. YARN : Yet Another Resource Negotiator
•
JobTrackerのリソース管理とジョブ管理を分離
•
ResourceManager : リソース管理
•
•
ApplicationMaster : アプリケーション
•
•
•
スレーブノード(NodeManager)管理
MapReduceジョブは、ApplicationMasterが制御
処理はコンテナ(Container)が実行
NodeManager : スレーブノード
•
リソース使用状況(CPU・メモリ)を確認
OSC .Enterprise 2013
13
21. HDFS Snapshot
•
スナップショットのコマンド
•
•
削除 : hdfs dfs -deleteSnapshot
•
リネーム : hdfs dfs -renameSnapshot
•
•
作成 : hdfs dfs -createSnapshot
比較 : hdfs snapshotDiff
スナップショットの確認
•
hdfs dfs -ls <対象ディレクトリ>/.snapshot/
OSC .Enterprise 2013
21
22. その他
•
Apache Pig : 0.12.0
•
•
AvroStorageをサポート
•
•
ASSERT 文、IN CASE文、
(HCatalogによるHiveメタ情報の連携)
Apache Hive : 0.12.0
•
•
•
Date型対応
Parallel ORDER BY
クエリ最適化
OSC .Enterprise 2013
22
27. まとめ
•
Hadoop 2系
•
•
•
HDFS : 必要な仕組みは一通りそろった
YARN : まだまだ発展途上
エコシステムの膨張
•
•
次々と新しいものは出てくる印象
これまで利用してきたもの(Hive/Pig ...)もより充実
•
従来の仕組み(HDFS+MR)はほぼ完成
•
HDFSを土台とした新たな仕組みに期待!
OSC .Enterprise 2013
27