1. Hadoop 1

2. シナリオ Hadoopとは？ HDFS MapReduce Hadoop利用例 2

3. Hadoopとは？ 分散データ処理を実装するために必要なコンポーネントを提供する。 HDFS クラスタ内ノードのローカルファイルシステムを論理手的にひとつのファイルシステムとする MapReduce 分散コンピューティングモデルに基づくプログラムをJavaで作成するためのフレームワークを提供 クラウドなどの大規模なシステムにおいて極めて大きなデータを処理するための環境を提供する。 3

4. HDFS 複数のノードのローカルファイルシステムを論理的に結合してひとつの共有ファイルシステムを作成する。 巨大なファイルをノードにまたがり格納することができる。 1台のNameNodeと複数のDataNodeから構成される。 NameNodeは1クラスタに1台となるためNameNodeはHadoopクラスタの単一障害点となる。 4

7. ブロック単位でハードディスクにデータが保存される。

8. データはそれぞれレプリカを別のDataNodeに作成する。5

9. HDFS HDFSクライアントからのファイル操作 （1）ファイル名からDataNodeの位置を取得 Hadoopクラスタ NameNode (2)NameNodeから情報に基づきデータを読み込む 6 DataNode

10. MapReduce MapReduceは並列データ処理のための分散コンピューティングモデル、Googleによって開発。 対象データをレコード毎に処理して結果をキー・バリュー形式に出力(Map処理) 同一キーを持つ結果を結合して、最終結果を出力する。（Reduce処理） 7

11. MapReduce 8 例）ファイル内のデータを単語毎にスペースで分割しそれぞれの単語がファイル内に 何回出てくるかを計算するプログラム。 サンプル 愛知県 東京都 愛知県 北海道 北海道 東京都 愛知県 愛知県 京都府 福岡県 大阪府 神奈川県 京都府 愛知県 福岡県 大阪府・・・ Map Reduce 分散 集約 <愛知県、1> <東京都、1> <愛知県、20> <東京都、16> <北海道、14> <京都府、18> <大阪府、10> <福岡県、12> <神奈川県、13> <福岡県、1> <京都府、1> <愛知県、1> <北海道、1>

13. 10 END