Más contenido relacionado Más de Cloudera Japan (20) Hadoopを40分で理解する #cwt20132. About
Me
•
川崎 達夫(かわさき たつお)
•
シニアインストラクター&研修全般業務を担当
email:
kawasaki@cloudera.com
twi>er:
@kernel023
•
•
2
30. Apache
Hadoop™
•
HDFS
–
ストレージ
•
⼤大量量のデータが保存できる
•
•
•
Yahoo!では合計350PB、FaceBookも100PB超
耐障害性
スケーラブル
1台〜~数千台
•
MapReduce
-‐
⼤大量量なデータを分散処理理できる
•
•
•
33
数多くのサーバで分散して処理理(数千台も可能)
耐障害性
汎⽤用的なプログラム⾔言語で記述できる
32. ⼤大量量なデータの保存
データはあるサイズに
分割/分散して保存
• データは複製して配置
マスター
スレーブ群
•
72.165.33.132
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/finance
28.114.157.122
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/item/sports/2605
52.93.117.198
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/electron
168.90.228.205
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"POST
/search/?c=Music
28.42.27.49
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/electronic
192.120.64.138
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/books?f
156.189.222.57
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/network
164.219.215.208
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/books
84.42.208.90
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/somware/3186
164.39.210.117
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/garden/4484
196.144.35.85
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/electronics/
80.78.35.71
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/electronics/35
80.174.161.70
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/garden
H
192.186.87.52
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/games
HT
132.186.183.184
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/somware/3
212.27.25.133
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/electronics/
32.21.118.159
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/electron
56.99.155.75
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/books
HTT
196.63.29.59
-‐
-‐
[04/Nov/2013:21:57:11
+0900]
"GET
/category/games
HTT
24.87.189.150
-‐
-‐
[04/Nov/2013:21:57:11
+0900]
"GET
/category/somware
38
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
A
168.90.228.205
-‐
-‐
[04/Nov/
28.42.27.49
-‐
-‐
[04/Nov/201
192.120.64.138
-‐
-‐
[04/Nov/
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
A
156.189.222.57
-‐
-‐
[04/Nov/2
164.219.215.208
-‐
-‐
[04/Nov/
84.42.208.90
-‐
-‐
[04/Nov/20
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
164.39.210.117
-‐
-‐
[04/Nov/
196.144.35.85
-‐
-‐
[04/Nov/2
80.78.35.71
-‐
-‐
[04/Nov/201
A
33. ⼤大量量なデータの保存
•
•
容易易に容量量を増やせる
構造/⾮非構造データ
マスター
スレーブ群
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
168.90.228.205
-‐
-‐
[04/Nov/
28.42.27.49
-‐
-‐
[04/Nov/201
192.120.64.138
-‐
-‐
[04/Nov/
156.189.222.57
-‐
-‐
[04/Nov/2
164.219.215.208
-‐
-‐
[04/Nov/
84.42.208.90
-‐
-‐
[04/Nov/20
164.39.210.117
-‐
-‐
[04/Nov/
196.144.35.85
-‐
-‐
[04/Nov/2
80.78.35.71
-‐
-‐
[04/Nov/201
39
34. ⼤大量量なデータの保存
–
障害時
•
•
データは複数箇所に
あるのでロストしない
⾃自動で複製される
72.165.33.132
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/finance
28.114.157.122
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/item/sports/2605
52.93.117.198
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/electron
168.90.228.205
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"POST
/search/?c=Music
28.42.27.49
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/electronic
192.120.64.138
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/books?f
156.189.222.57
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/network
164.219.215.208
-‐
-‐
[04/Nov/2013:21:57:09
+0900]
"GET
/category/books
84.42.208.90
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/somware/3186
164.39.210.117
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/garden/4484
196.144.35.85
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/electronics/
80.78.35.71
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/electronics/35
80.174.161.70
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/garden
H
192.186.87.52
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/games
HT
132.186.183.184
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/somware/3
212.27.25.133
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/item/electronics/
32.21.118.159
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/electron
56.99.155.75
-‐
-‐
[04/Nov/2013:21:57:10
+0900]
"GET
/category/books
HTT
196.63.29.59
-‐
-‐
[04/Nov/2013:21:57:11
+0900]
"GET
/category/games
HTT
24.87.189.150
-‐
-‐
[04/Nov/2013:21:57:11
+0900]
"GET
/category/somware
40
マスター
スレーブ群
①障害
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
A
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
②複製指示
③複製
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
A
A
35. ⼤大量量なデータの処理理
-‐
MapReduce
•
分散されたデータを
それぞれのサーバで
処理理する(Map)
JOB
マスター
スレーブ群
Task
72.165.33.132
-‐
-‐
[04/Nov/
28.114.157.122
-‐
-‐
[04/No
52.93.117.198
-‐
-‐
[04/Nov/
Task
168.90.228.205
-‐
-‐
[04/Nov/
28.42.27.49
-‐
-‐
[04/Nov/201
192.120.64.138
-‐
-‐
[04/Nov/
Task
156.189.222.57
-‐
-‐
[04/Nov/2
164.219.215.208
-‐
-‐
[04/Nov/
84.42.208.90
-‐
-‐
[04/Nov/20
Task
164.39.210.117
-‐
-‐
[04/Nov/
196.144.35.85
-‐
-‐
[04/Nov/2
80.78.35.71
-‐
-‐
[04/Nov/201
45
36. ⼤大量量なデータの処理理
-‐
MapReduce
•
分散処理理した結果を
集約する(Reduce)
マスター
スレーブ群
Task
72.165.33.132,
1
72.165.33.132,
1
72.165.33.132,
1
72.165.33.145,
1
168.90.228.205,1
168.90.228.205,1
192.120.64.138,1
156.189.222.57,1
156.189.222.57,1
164.219.215.208,1
164.39.210.117,1
164.39.210.117,1
164.39.210.118.1
46
37. ⼤大量量なデータの処理理
-‐
MapReduce
•
障害もうまく扱って
くれる
(開発者は考慮しなくてOK)
マスター
TaskB
スレーブ群
TaskA
72.165.33.132,
1
72.165.33.132,
1
72.165.33.132,
1
72.165.33.145,
1
TaskB
168.90.228.205,1
168.90.228.205,1
192.120.64.138,1
TaskC
156.189.222.57,1
156.189.222.57,1
164.219.215.208,1
TaskD
164.39.210.117,1
164.39.210.117,1
164.39.210.118.1
47
39. Q.
Hadoopはどんな⽬目的にも使えるの?
•
A.
いいえ、そのようなことはありません
•
•
•
49
⼤大量量データ全てを処理理するようなユースケースには向いて
います
⼀一⽅方、リアルタイム性は期待できません。また、HDFSの設
計上データの更更新はできず、MapReduceもトランザクショ
ン処理理は備えていないため、データベースの置き換え⽬目的
などには向いていません
とはいえ、低遅延なアクセスを⾏行行ったり、SQLライクなア
クセスができるなどのエコシステムが増えています
40. Q.
Hadoopはどんな⽬目的にも使えるの?
•
各種事例例はCloudera
World
2013の各セッションも参
考に(多くの資料料が公開されます)
•
h>p://h>p://www.cloudera.co.jp/jpevents/cwt2013/
•
Clouderaにも英語のホワイトペーパーもあります
h>p://www.cloudera.com/content/cloudera/en/resources/library.html?
category=cloudera-‐resources%3Awhy-‐cloudera%2Fwhite-‐papers&q=
Strata+Hadoop
Worldでも多くの事例例が紹介されています
h>p://strataconf.com/stratany2013/
•
50
48. Cloudera
Enterprise
•
Hadoopをエンタープライズで利利⽤用するためのベスト
ソリューション
•
CDH
(Cloudera’s
Distribuxon
includes
Apache
Hadoop)
•
•
•
•
最も利利⽤用されているディストリビューション
オープンソースソフトウェア
多くのエコシステム(Cloudera
Impala,Hue,Hive,….)
Cloudera Manager
•
•
CDHを管理理する統合管理理ツール
機能限定の無償版(スタンダード)と、サブスクリプションを購
⼊入していただくと利利⽤用できる版(エンタープライズ)
CDH/Cloudera Managerを簡単に試すことができる仮想マシンイメージ
Cloudera QuickStart VM: http://bit.ly/1966hRW
58
54. We
are
Hiring!
•
Clouderaは貴⽅方を求めています!!
•
ソリューションアーキテクト
•
•
カスタマーオペレーションエンジニア
(サポート)
•
•
•
世界中のお客様のHadoopを守る!
インストラクター
システムエンジニア
•
•
Hadoopを使ったコンサルティングやモデリング
技術営業⽀支援
セールス
興味のある⽅方は下記までご連絡下さい!
info-‐jp@cloudera.com
66
56. Thank
you!
Tatsuo
Kawasaki,
Manager/Senior
Instructor,
Cloudera
K.K
@kernel023