Más contenido relacionado
La actualidad más candente (20)
Similar a NamenodeHA導入背景と運用状況 (20)
NamenodeHA導入背景と運用状況
- 9. 9
Hadoop in Ameba
・ 2007年~ アメブロアクセス解析
- Hadoop0.13.1
- MapReduce,HDFS
・ 2009年~ Ameba Pigg
- ログ集約サーバ(HDFS)
・ 2010年~ Patriot(ログ解析基盤システム名)
- Amebaサービス全体のログ集約解析基盤
- CDH3系
- Hive
・ 2012年~ Hornet
- オンライン用途でのグラフデータ構造を扱うデータストア
- CDH3系
- HBase
・ 2013年~ ミニグラフHbase,レコメンドHBase
-オンライン用途でコミュニティアプリのデータを扱うDB
-CDH4系
-HBase
HadoopConferenceJapanキッカケ
- 11. 11
Hadoop in Ameba
・ 2007年~ アメブロアクセス解析
- Hadoop0.13.1
- MapReduce,HDFS
・ 2009年~ Ameba Pigg
- ログ集約サーバ(HDFS)
・ 2010年~ Patriot(ログ解析基盤システム名)
- Amebaサービス全体のログ集約解析基盤
- CDH3系
- Hive
・ 2012年~ Hornet
- オンライン用途でのグラフデータ構造を扱うデータストア
- CDH3系
- HBase
・ 2013年~ ミニグラフHbase,レコメンドHBase
-オンライン用途でコミュニティアプリのデータを扱うDB
-CDH4系
-HBase
この時期までは、NameNodeに障害があっても起動し直せば
まぁいっかと割り切っていた。サービス的にも影響少なかった
- 12. 12
Hadoop in Ameba
・ 2007年~ アメブロアクセス解析
- Hadoop0.13.1
- MapReduce,HDFS
・ 2009年~ Ameba Pigg
- ログ集約サーバ(HDFS)
・ 2010年~ Patriot(ログ解析基盤システム名)
- Amebaサービス全体のログ集約解析基盤
- CDH3系
- Hive
・ 2012年~ Hornet
- オンライン用途でのグラフデータ構造を扱うデータストア
- CDH3系
- HBase
・ 2013年~ミニグラフHbase,レコメンドHBase
-オンライン用途でコミュニティアプリのデータを扱うDB
-CDH4系
-HBase
この時期からはオンライン用途になり、
落ちたらダメよと言われた
- 25. 25
株式会社サイバーエージェント株式会社サイバーエージェント
障害試験 概ね良好
Master01
NN
Master02
ZK ZK
HM
ZKFC ZKFC
JN JN
NN
・NN01 プロセスダウン時
ZKFCが障害を検知しNN02をアクティブへ移行
HDFS、HBaseへの書き込み続けたがともに問題なし
active
・はまったとこ
フェンシングの方法は2種類ありsshfenceのみの設定だと
リトライを繰り返して切り替わらない。Gracefulfencing
のタイムアウトがconf上にはなく20sでハードコーディン
グされてるなど
この辺↓
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence
shell(true)</value>
</property>