Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Destacado
Destacado (20)
HBase スキーマ設計のポイント
- 4. 4 • 優れた書き込み・読み出し性能 • 自動シャーディング（データ分散） • 自動フェイルオーバー（障害復旧） • 行レベルでのアトミック性の保証 （更新の一貫性） HBase の優れた点のおさらい
- 7. 7 結論、HBase でのタイムラインの テーブル設計はこうなった Rowkey TLのユーザID + リバースtimestamp + 投稿したユーザID ColumnFamily：Qualifier manga : title タイトル : nickname ニックネーム : like_count いいね数 : koma_count コメント数
- 8. 8 デモ
- 13. 13 • 行レベルでのアトミック性の保証 - 同じRowkeyでの更新状態の一貫性。 - 他のKVS（Cassandra、MongoDBなど）に比べて データの一貫性と速度を両立。 • INDEXが1箇所にだけある - Rowkeyには検索インデックス RDBに近いところ
- 15. 15 １． JOIN＆並べ替えができない → 非正規化＆複製 ２． INDEXが１箇所 → Rowkeyで検索 Hbase の特徴 まとめ
- 18. 18 • auto increment しない！ （ = 意味のないキーはつくらない） • フィルターしない！中身は見ない！ （カラム単位のインデックスは使えないので☓） RDBのノウハウを下手に利用しない
- 20. 20 SCAN （ Java API ） Rowkey の範囲検索 ユーザIDをPrefixにすることで、 対象のデータの範囲の StartRow ／ StopRow を 決定できる。 ユーザID をキーにした検索
- 22. 22 100 _ 9223370672552094052 _ 1 100 _ 9223370672551411750 _ 52 100 _ 9223370672550612514 _ 100 101 _ 9223370672551093583 _ 79 101 _ 9223370672551093583 _ 7 101 _ 9223370672550612514 _ 100 102 _ 9223370672551093583 _ 79 103… 実際のデータ
- 23. 23 テーブル設計まとめ 「DDI」 - Denormalization (非正規化) -Duplication (複製) -Intelligent Keys (インテリジェントキー)
- 24. 24 性能評価
- 28. 28 • HBase/Hadoop には CDH を使用 – Cloudera‘s Distribution, including Apache Hadoop 4.2.0-1 • hadoop-2.0.0+922 • hbase-0.94.2+202 • 評価用環境としてアプリクラウドを利用 – 仮想サーバー S x 8 台 • 仮想 CPU ４個、ディスク容量 320 GB、メモリ容量 16GB 評価環境
- 29. 29 評価環境 IP HDFS (HA/QJM) HBase ZooKeeper Other 10.112.21.20 Apache/AP 10.112.21.21 NameNode JournalNode HMaster ZooKeeper 10.112.21.22 NameNode (stand-by) JournalNode HMaster ZooKeeper 10.112.21.23 JournalNode ZooKeeper JobTracker 10.112.21.24 DataNode RegionServer TaskTracker 10.112.21.25 DataNode RegionServer TaskTracker 10.112.21.26 DataNode RegionServer TaskTracker 10.112.21.27 DataNode RegionServer TaskTracker
- 30. 30 全体レコード数 平均応答ミリ秒 1000件 0 ～ 4ms 250万件 0 ～ 4ms 3億5000万件 0 ～ 4ms TIMELINEテーブル へ 単発のPUT （書き込み）
- 31. 31 タイムラインテーブルへバッチ PUT （同時書き込み＝同時コピー数） 全体レコード数 友達数 平均応答ミリ秒 3億5000万件 10人 0 ～ 4ms 1000人 70 ～ 120ms 10000人 500 ～ 1200ms
- 32. 32 SCAN（レンジ検索） 全体レコード数 自分の レコード数 平均応答 ミリ秒 3億5000万件 10件 0 ～ 10ms 1000件 0 ～ 10ms 10000件 0 ～ 10ms
- 33. 33 初回のSCAN（リージョンルックアップ）は遅い 全体レコード数 平均応答ミリ秒 10万件 0 ～ 10ms 8000万件 50～90ms 3億5000万件 100 ～ 500ms
- 34. 34 まとめ
- 35. 35 • Row Key を第一に考えて行う • フィルターを使わずに STARTROWとエンドキーを指定したスキャンで シンプルに行うことが有効 設計のまとめ