美团技术沙龙04 美团下一代分布式存储系统
•
7 recomendaciones•1,220 vistas
介绍美团云分布式存储系统的现状、运维与测试经验，介绍美团正在自主研发的下一代统一分布式存储系统架构、成本控制和技术选型的思考，分享高性能存储节点、并发网络框架、跨机房部署、高可用与强一致模型、元数据管理、纠删码、碎片整理等关键模块设计思路，以及统一存储系统在冷数据存储方面的思考。
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a 美团技术沙龙04 美团下一代分布式存储系统
Similar a 美团技术沙龙04 美团下一代分布式存储系统 (20)
Más de 美团点评技术团队
Más de 美团点评技术团队 (20)
美团技术沙龙04 美团下一代分布式存储系统
- 2. 自我介绍 • 美团云高级技术专家 ✤ 美团云存储团队TechLeader ✤ 阿里巴巴OceanBase团队UpdateServer模块TechLeader ✤ 百度Pyramid ✤ 北京邮电大学 ✤ 研究方向：分布式存储、高可用、数据库
- 3. 目录 • 美团云存储现状 • 新一代系统架构 • 新一代技术亮点 • 技术展望
- 4. 美团云存储现状 • 集群规模 • PB级数据量，数亿个对象 • 日均新增数据量数TB • 服务近百个业务线
- 5. 对象存储 图片处理 视频编辑回源鉴权 CDNCDN SDK / Rest API 美团云存储生态
- 7. 美团云存储现状 •
- 9. 美团云存储现状 • Swift的发展瓶颈 • 无中心化设计 • 一致性Hash • 最终一致性模型 • 没有将对象聚合存储 • Python项目性能和可维护性
- 10. 目录 • 美团云存储现状 • 新一代系统架构 • 新一代技术亮点 • 技术展望
- 11. 新一代系统架构 • 新一代存储系统架构亮点 • 跨机房强一致与高可用 • 集中化元数据存储 • 高并发网络框架 • 纠删码存储与在线恢复 • 多版本存储 • 数据去重 • 备份级别控制
- 12. 新一代系统架构 • S3对象存储系统特点 • 用户指定对象名字（Key） • 一次写入多次读取 • 对象元数据修改 • 小对象与大对象并存 • Http协议接口 • AWS已成为事实标准
- 13. 新一代系统架构 • 技术选型 • 定制机型：带缓存Raid卡、SMR硬盘、单路CPU、万兆网卡 • 集中化元数据管理与调度，OceanBase：海量、高可用、ACID事务、MySQL兼容 • GoLang开发代理与调度节点 • C开发存储节点 • 基于libev的并发网络框架 • 基于多数派应答的跨机房强一致同步
- 15. 目录 • 美团云存储现状 • 新一代系统架构 • 新一代技术亮点 • 技术展望
- 16. 新一代技术亮点 • 存储节点设计 • 物理存储单位：Partition • 对象存储单位：Record • Group Commit • Record索引 • 数据只追加不修改 • EC实时恢复
- 17. 新一代技术亮点 • 元数据设计 • Name表与ID表分离，元数据分布式缓存 • Bucket与Object多版本管理 • Object去重与引用计数 • Sharding表设计 • EC与碎片整理 • SchedServer选主 • 对象Meta存储
- 18. 新一代技术亮点 • OceanBase设计 • 基线数据与修改增量分离存储 • Raft一致性日志同步 • 去中心化选主 • 多版本并发 • 30w TPS处理能力 ) (
- 19. 新一代技术亮点 • 并发网络框架 • 借鉴阿里libeasy设计思路 • 多epoll_wait线程 • 跨语言序列化协议
- 20. 新一代技术亮点 • 跨机房高可用设计 • 本地写优化 • 多数派投票 • 冻结与恢复
- 21. 目录 • 美团云存储现状 • 新一代系统架构 • 新一代技术亮点 • 技术展望
- 22. 技术展望 • 更全面的AWS-S3接口兼容 • GoLang并发网络框架 • 冷存储成本控制 • 定制硬件、冗余度更低的EC、冷数据关机... • 多Region与跨Region备份 • …