Enviar búsqueda
Cargar
HBase
•
Descargar como PPTX, PDF
•
2 recomendaciones
•
1,264 vistas
Tony Deng
Seguir
Tecnología
Entretenimiento y humor
Denunciar
Compartir
Denunciar
Compartir
1 de 33
Descargar ahora
Recomendados
Hbase介绍
Hbase介绍
Kay Yan
大型互联网站性能优化
大型互联网站性能优化
丁 宇
Ceph perf-tunning
Ceph perf-tunning
Yang Guanjun
Ceph intro
Ceph intro
Yang Guanjun
Ceph monitor-op
Ceph monitor-op
Yang Guanjun
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
redhat9
Cephfs架构解读和测试分析
Cephfs架构解读和测试分析
Yang Guanjun
Mysql调优
Mysql调优
ken shin
Recomendados
Hbase介绍
Hbase介绍
Kay Yan
大型互联网站性能优化
大型互联网站性能优化
丁 宇
Ceph perf-tunning
Ceph perf-tunning
Yang Guanjun
Ceph intro
Ceph intro
Yang Guanjun
Ceph monitor-op
Ceph monitor-op
Yang Guanjun
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
redhat9
Cephfs架构解读和测试分析
Cephfs架构解读和测试分析
Yang Guanjun
Mysql调优
Mysql调优
ken shin
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
redhat9
Google LevelDB Study Discuss
Google LevelDB Study Discuss
everestsun
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
frogd
redis 适用场景与实现
redis 适用场景与实现
iammutex
大规模网站架构
大规模网站架构
drewz lin
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
丁 宇
云梯的多Namenode和跨机房之路
云梯的多Namenode和跨机房之路
li luo
Kubernetes use-ceph
Kubernetes use-ceph
Yang Guanjun
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
redhat9
Leveldb background
Leveldb background
宗志 陈
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
丁 宇
阿里CDN技术揭秘
阿里CDN技术揭秘
Joshua Zhu
Design realization and application of RBD NBD - Wang Li
Design realization and application of RBD NBD - Wang Li
Ceph Community
数据库内核分享——第一期
数据库内核分享——第一期
frogd
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
frogd
Buffer pool implementaion inno db vs oracle
Buffer pool implementaion inno db vs oracle
frogd
Web coding principle
Web coding principle
ZongYing Lyu
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Jinrong Ye
Jvm memory
Jvm memory
benewu
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
涛 吴
Hbase
Hbase
baggioss
Más contenido relacionado
La actualidad más candente
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
redhat9
Google LevelDB Study Discuss
Google LevelDB Study Discuss
everestsun
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
frogd
redis 适用场景与实现
redis 适用场景与实现
iammutex
大规模网站架构
大规模网站架构
drewz lin
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
丁 宇
云梯的多Namenode和跨机房之路
云梯的多Namenode和跨机房之路
li luo
Kubernetes use-ceph
Kubernetes use-ceph
Yang Guanjun
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
redhat9
Leveldb background
Leveldb background
宗志 陈
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
丁 宇
阿里CDN技术揭秘
阿里CDN技术揭秘
Joshua Zhu
Design realization and application of RBD NBD - Wang Li
Design realization and application of RBD NBD - Wang Li
Ceph Community
数据库内核分享——第一期
数据库内核分享——第一期
frogd
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
frogd
Buffer pool implementaion inno db vs oracle
Buffer pool implementaion inno db vs oracle
frogd
Web coding principle
Web coding principle
ZongYing Lyu
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Jinrong Ye
Jvm memory
Jvm memory
benewu
La actualidad más candente
(20)
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
Google LevelDB Study Discuss
Google LevelDB Study Discuss
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
redis 适用场景与实现
redis 适用场景与实现
大规模网站架构
大规模网站架构
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
云梯的多Namenode和跨机房之路
云梯的多Namenode和跨机房之路
Kubernetes use-ceph
Kubernetes use-ceph
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
Leveldb background
Leveldb background
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
阿里CDN技术揭秘
阿里CDN技术揭秘
Design realization and application of RBD NBD - Wang Li
Design realization and application of RBD NBD - Wang Li
数据库内核分享——第一期
数据库内核分享——第一期
分布式Key Value Store漫谈
分布式Key Value Store漫谈
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
Buffer pool implementaion inno db vs oracle
Buffer pool implementaion inno db vs oracle
Web coding principle
Web coding principle
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Jvm memory
Jvm memory
Similar a HBase
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
涛 吴
Hbase
Hbase
baggioss
分布式缓存与队列
分布式缓存与队列
XiaoJun Hong
大型网站架构的发展
大型网站架构的发展
drewz lin
大型网站架构的发展
大型网站架构的发展
Hesey
Hbase架构简介、实践
Hbase架构简介、实践
Li Map
Linux binary Exploitation - Basic knowledge
Linux binary Exploitation - Basic knowledge
Angel Boy
How do we manage more than one thousand of Pegasus clusters - backend part
How do we manage more than one thousand of Pegasus clusters - backend part
acelyc1112009
1到100000000 - 分布式大型网站的架构设计
1到100000000 - 分布式大型网站的架构设计
RolfZhang
Exadata那点事
Exadata那点事
freezr
H base 使用初体验
H base 使用初体验
兴 施
Nosql三步曲
Nosql三步曲
84zhu
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
Linux Binary Exploitation - Stack buffer overflow
Linux Binary Exploitation - Stack buffer overflow
Angel Boy
百度前端技术交流会--搜搜前端架构演变与优化
百度前端技术交流会--搜搜前端架构演变与优化
tiantianli
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
思念 青青
Linux内存管理
Linux内存管理
zijia
Linux内存管理
Linux内存管理
zijia
数据库高可用架构
数据库高可用架构
freezr
MySQL设计、优化、运维
MySQL设计、优化、运维
Jinrong Ye
Similar a HBase
(20)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Hbase
Hbase
分布式缓存与队列
分布式缓存与队列
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
Hbase架构简介、实践
Hbase架构简介、实践
Linux binary Exploitation - Basic knowledge
Linux binary Exploitation - Basic knowledge
How do we manage more than one thousand of Pegasus clusters - backend part
How do we manage more than one thousand of Pegasus clusters - backend part
1到100000000 - 分布式大型网站的架构设计
1到100000000 - 分布式大型网站的架构设计
Exadata那点事
Exadata那点事
H base 使用初体验
H base 使用初体验
Nosql三步曲
Nosql三步曲
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Linux Binary Exploitation - Stack buffer overflow
Linux Binary Exploitation - Stack buffer overflow
百度前端技术交流会--搜搜前端架构演变与优化
百度前端技术交流会--搜搜前端架构演变与优化
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
[Baidu web frontend_conference_2010]_[soso_frontend_architecture]
Linux内存管理
Linux内存管理
Linux内存管理
Linux内存管理
数据库高可用架构
数据库高可用架构
MySQL设计、优化、运维
MySQL设计、优化、运维
Más de Tony Deng
一页纸项目管理
一页纸项目管理
Tony Deng
Docker at the gate
Docker at the gate
Tony Deng
《我们如何工作》—质量保障
《我们如何工作》—质量保障
Tony Deng
《我们如何工作》- 产品经理和工程师如何有效沟通
《我们如何工作》- 产品经理和工程师如何有效沟通
Tony Deng
我们为何工作--找到正确的工作方式
我们为何工作--找到正确的工作方式
Tony Deng
SDN介绍
SDN介绍
Tony Deng
漫谈职业规划
漫谈职业规划
Tony Deng
一次Http请求过程分析
一次Http请求过程分析
Tony Deng
图解Git
图解Git
Tony Deng
一次Code review引发的思考
一次Code review引发的思考
Tony Deng
My sql迁移总结
My sql迁移总结
Tony Deng
一次项目的探险旅程
一次项目的探险旅程
Tony Deng
Scrum敏捷开发模型
Scrum敏捷开发模型
Tony Deng
Shoutv 冯晓东
Shoutv 冯晓东
Tony Deng
技术债务的形成
技术债务的形成
Tony Deng
我们不了解的计算机世界(二)
我们不了解的计算机世界(二)
Tony Deng
我们不了解的计算机世界(一)--Unix目录结构的来历
我们不了解的计算机世界(一)--Unix目录结构的来历
Tony Deng
实时任务调度
实时任务调度
Tony Deng
节约内存:Instagram的redis实践
节约内存:Instagram的redis实践
Tony Deng
晁盖与宋江的“兄弟情谊”
晁盖与宋江的“兄弟情谊”
Tony Deng
Más de Tony Deng
(20)
一页纸项目管理
一页纸项目管理
Docker at the gate
Docker at the gate
《我们如何工作》—质量保障
《我们如何工作》—质量保障
《我们如何工作》- 产品经理和工程师如何有效沟通
《我们如何工作》- 产品经理和工程师如何有效沟通
我们为何工作--找到正确的工作方式
我们为何工作--找到正确的工作方式
SDN介绍
SDN介绍
漫谈职业规划
漫谈职业规划
一次Http请求过程分析
一次Http请求过程分析
图解Git
图解Git
一次Code review引发的思考
一次Code review引发的思考
My sql迁移总结
My sql迁移总结
一次项目的探险旅程
一次项目的探险旅程
Scrum敏捷开发模型
Scrum敏捷开发模型
Shoutv 冯晓东
Shoutv 冯晓东
技术债务的形成
技术债务的形成
我们不了解的计算机世界(二)
我们不了解的计算机世界(二)
我们不了解的计算机世界(一)--Unix目录结构的来历
我们不了解的计算机世界(一)--Unix目录结构的来历
实时任务调度
实时任务调度
节约内存:Instagram的redis实践
节约内存:Instagram的redis实践
晁盖与宋江的“兄弟情谊”
晁盖与宋江的“兄弟情谊”
HBase
1.
HBASE
2.
HBASE简介 • HBASE是NoSQL • 基于HDFS
BigTable实现 • 实时随机读写 • 主要厂商: Yahoo,FaceBook, Cloudera
3.
HBASE基本概念 •
HBaseMaster • HRegionServer • Zookeeper • HBase Client
4.
HBASE特性 •
线性扩展 • 行操作的强一致性 • 自动分表 • 支持MapReduce,和Hadoop无缝集成 • Java,Thrift,REST-ful接口 • 支持范围查询 • 高性能随机写
5.
HBASE基本性能参数 • 3台RegionServer.每台8G内存,8核 • 1亿行
Row/s MB/s Row/s BigTable Per node Row/s per node 随机写 14789 14.789 4930 8850 随机写 22180 22.180 7393 8850 (noLog) 随机读 1996 1.996 665 1212 顺序读 10678 10.678 3559 4425
6.
目录 •
HBASE模型 • 架构设计 • 使用技巧 • 运维技巧 • 测试分析
7.
HBASE模型
8.
Hbase数据模型 •
Table • Region • ColumnFamily • Row • Column CELL • Version • Value
9.
HBASE操作 • Put
– Delete – 原子操作 – WAL • Scan – Get – Filter – Cache/Batch • 批量操作 • 行锁
10.
HBASE架构设计
11.
总体结构 • Master
– Region之上的操作 – Put/Get不经过Master • RegionServer – Region之下的操作 • HDFS – HFile – HLog • ZooKeeper – 状态信息
12.
访问流程
13.
RegionServer结构
14.
HFile结构 • DataBlock
– 存储Key-Value • MetaBlock(可选) – 存储BloomFilter • DataBlockIndex – Key到Block Offset • Read – 占用内存,加载缓慢 • Write
15.
Hfile性能测试
none gz lzo Write 20718 23885 55147 Full Scan 41436 94937 100000 Random Seek 600 989 956 Random Short 12241 25568 25655 Scan 120000 100000 80000 60000 none 40000 gz 20000 lzo 0 Write Full Scan Random Seek Random Short Scan
16.
存储分布 • 寻找RegionServer
– ZooKeeper – -ROOT-(单Region) – .META. – 用户表
17.
Put/Get操作 •
PUT • DELETE • GET • SCAN
18.
Region操作 •
Flush MemStore • Compact • Major Compact • Split
19.
使用技巧
20.
Schema设计 • Column Family的数量
– 最好为1 • Key的设计 – 避免单调递增 – 最小化 • 最小化Column
21.
Schema设计 • Column Family的数量
– 最好为1 • Key的设计 – 避免单调递增 – 最小化 • 最小化Column
22.
Schema设计 • Column Family的数量
– 最好为1 • Key的设计 – 避免单调递增 – 最小化 • 最小化Column
23.
MapReduce结合 • Mapper
– Region数=Mapper数 • Reducer – Region数=Reducer数 – Reducer写Hfile,再 BulkLoad • Hive/Pig
24.
建立索引 • 单列索引
Index Key Column:Value Key… • 组合索引 单列索引 • Join? – Key <=> Kind:ID Index Key Column:Value/Column:Value Key… 组合索引
25.
开发调优 • Table属性
– BlockSize – BloomFilter – BlockCache – InMemory • 尽可能使用Bulk Load • Put使用客户端Cache • Scan使用Cache/Batch
26.
运维技巧
27.
HBASE 部署 • Hadoop版本
– Hadoop 0.20.x – Append补丁 • ZooKeeper • Metric • 内存 – RegionServer 12GB • MemStore <=40% • HFile DataIndex • BlockCache <=20% – Master 4GB – ZooKeeper 1GB
28.
Region管理 • 预创建Region • Region的大小
– hbase.hregion.max.filesize=256MB,1GB,4GB – 手动Split,交错负载 • Region合并 – hbase.hstore.compactionThreshold=3 – hbase.hstore.blockingStoreFiles=7(阻塞,超时) – hbase.hstore.compaction.max=10 – hbase.hregion.majorcompaction=86400,0 • MemStore Flush – hbase.regionserver.global.memstore.upperLimit – hbase.regionserver.global.memstore.lowerLimit
29.
运维调优 • Java GC
– JVM GC调整(ParNewGC+CMS) – Full GC-10s/GB – MemStore本地分配(2MB,减少碎片) • LZO压缩 – 压缩单位为Block – 提高性能 • 并发数调整 – hbase.regionserver.handler.count • Cache设置 – hfile.block.cache.size
30.
测试分析
31.
随机Get测试 • Get波动不是很大
32.
Put测试 • Put有波动 • Region操作导致阻塞
33.
Put测试 •
Client重试波动 • HLog拖慢速度 • Split波动 • Compact波动
Descargar ahora