SlideShare una empresa de Scribd logo
1 de 32
Distributed Filesystem Ning Peng
定义 ,[object Object],[object Object]
Challenge ,[object Object],[object Object],[object Object]
Challenge ,[object Object],[object Object],[object Object]
Challenge ,[object Object]
Challenge ,[object Object]
Challange ,[object Object],[object Object],[object Object]
How to scale ,[object Object],[object Object],[object Object],[object Object],[object Object]
看看我们有的文件系统 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Google File system Like ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
GFS Goal ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
GFS Architecture
GFS Architecture ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Master  设计 ,[object Object],[object Object],[object Object]
一致性 ,[object Object],[object Object],[object Object],[object Object]
Write Process
GFS 限制 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
MogileFS ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
MogileFS Overview ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Read Request
MogileFS  特点 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
FastDFS ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
FastDFS
FastDFS 构成 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
FastDFS 基本流程 -PUT ,[object Object],[object Object],[object Object]
FastDFS 基本流程 -GET ,[object Object],[object Object],[object Object]
FastDFS 特点 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
DFS  设计考虑因素 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
我的性能瓶颈在哪里 ,[object Object],[object Object],[object Object],[object Object]
DFS 的一些因素的分析 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Reference & Thanks ,[object Object],[object Object],[object Object],[object Object]
Q & A ,[object Object],[object Object]

Más contenido relacionado

La actualidad más candente

How to plan a hadoop cluster for testing and production environment
How to plan a hadoop cluster for testing and production environmentHow to plan a hadoop cluster for testing and production environment
How to plan a hadoop cluster for testing and production environmentAnna Yen
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践Wensong Zhang
 
“云存储系统”赏析系列分享三:Sql与nosql
“云存储系统”赏析系列分享三:Sql与nosql“云存储系统”赏析系列分享三:Sql与nosql
“云存储系统”赏析系列分享三:Sql与nosqlknuthocean
 
大规模数据处理
大规模数据处理大规模数据处理
大规模数据处理Kay Yan
 
Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬
Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬
Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬Hang Geng
 
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBBig Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBMonster Supreme
 
Ted yu:h base and hoya
Ted yu:h base and hoyaTed yu:h base and hoya
Ted yu:h base and hoyahdhappy001
 
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pubChao Zhu
 
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析iammutex
 
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...Etu Solution
 
2016-07-12 Introduction to Big Data Platform Security
2016-07-12 Introduction to Big Data Platform Security2016-07-12 Introduction to Big Data Platform Security
2016-07-12 Introduction to Big Data Platform SecurityJazz Yao-Tsung Wang
 
Stroage server slidershare
Stroage server slidershareStroage server slidershare
Stroage server slidershareJon Chen
 
Use Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in SuningUse Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in SuningAlluxio, Inc.
 

La actualidad más candente (20)

How to plan a hadoop cluster for testing and production environment
How to plan a hadoop cluster for testing and production environmentHow to plan a hadoop cluster for testing and production environment
How to plan a hadoop cluster for testing and production environment
 
Redis介绍
Redis介绍Redis介绍
Redis介绍
 
Hdfs
HdfsHdfs
Hdfs
 
Hdfs
HdfsHdfs
Hdfs
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
“云存储系统”赏析系列分享三:Sql与nosql
“云存储系统”赏析系列分享三:Sql与nosql“云存储系统”赏析系列分享三:Sql与nosql
“云存储系统”赏析系列分享三:Sql与nosql
 
大數據
大數據大數據
大數據
 
大规模数据处理
大规模数据处理大规模数据处理
大规模数据处理
 
Life of Big Data Technologies
Life of Big Data TechnologiesLife of Big Data Technologies
Life of Big Data Technologies
 
Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬
Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬
Ceph中国社区9.19 Ceph FS-基于RADOS的高性能分布式文件系统02-袁冬
 
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBBig Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
 
Ted yu:h base and hoya
Ted yu:h base and hoyaTed yu:h base and hoya
Ted yu:h base and hoya
 
Hadoop hive
Hadoop hiveHadoop hive
Hadoop hive
 
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
 
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
 
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
 
2016-07-12 Introduction to Big Data Platform Security
2016-07-12 Introduction to Big Data Platform Security2016-07-12 Introduction to Big Data Platform Security
2016-07-12 Introduction to Big Data Platform Security
 
Stroage server slidershare
Stroage server slidershareStroage server slidershare
Stroage server slidershare
 
Hbase
HbaseHbase
Hbase
 
Use Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in SuningUse Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in Suning
 

Destacado

Amazon Ec2 Application Design
Amazon Ec2 Application DesignAmazon Ec2 Application Design
Amazon Ec2 Application Designguestd0b61e
 
S3 Overview Presentation
S3 Overview PresentationS3 Overview Presentation
S3 Overview Presentationbcburchn
 
Amazon's Simple Storage Service (S3)
Amazon's Simple Storage Service (S3)Amazon's Simple Storage Service (S3)
Amazon's Simple Storage Service (S3)James Gray
 
Intro to Amazon S3
Intro to Amazon S3Intro to Amazon S3
Intro to Amazon S3Yu Lun Teo
 
What is Cloud Computing with Amazon Web Services?
What is Cloud Computing with Amazon Web Services?What is Cloud Computing with Amazon Web Services?
What is Cloud Computing with Amazon Web Services?Amazon Web Services
 
Introduction to Amazon Web Services
Introduction to Amazon Web ServicesIntroduction to Amazon Web Services
Introduction to Amazon Web ServicesAmazon Web Services
 

Destacado (8)

Amazon S3 and EC2
Amazon S3 and EC2Amazon S3 and EC2
Amazon S3 and EC2
 
Amazon Ec2 Application Design
Amazon Ec2 Application DesignAmazon Ec2 Application Design
Amazon Ec2 Application Design
 
S3 Overview Presentation
S3 Overview PresentationS3 Overview Presentation
S3 Overview Presentation
 
Amazon's Simple Storage Service (S3)
Amazon's Simple Storage Service (S3)Amazon's Simple Storage Service (S3)
Amazon's Simple Storage Service (S3)
 
Intro to Amazon S3
Intro to Amazon S3Intro to Amazon S3
Intro to Amazon S3
 
Black Belt Online Seminar AWS Amazon S3
Black Belt Online Seminar AWS Amazon S3Black Belt Online Seminar AWS Amazon S3
Black Belt Online Seminar AWS Amazon S3
 
What is Cloud Computing with Amazon Web Services?
What is Cloud Computing with Amazon Web Services?What is Cloud Computing with Amazon Web Services?
What is Cloud Computing with Amazon Web Services?
 
Introduction to Amazon Web Services
Introduction to Amazon Web ServicesIntroduction to Amazon Web Services
Introduction to Amazon Web Services
 

Similar a Dfs ning

Fdfs for cnblogs 1th
Fdfs for cnblogs 1thFdfs for cnblogs 1th
Fdfs for cnblogs 1thkevin zhang
 
百度分布式数据库平台
百度分布式数据库平台百度分布式数据库平台
百度分布式数据库平台Wyatt Fang
 
百度分布式数据库 刘斌 Sacc2010
百度分布式数据库 刘斌 Sacc2010百度分布式数据库 刘斌 Sacc2010
百度分布式数据库 刘斌 Sacc2010Chuanying Du
 
淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践Feng Yu
 
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华zhuozhe
 
网站存储经验谈pdf
网站存储经验谈pdf网站存储经验谈pdf
网站存储经验谈pdfYu Lin
 
网站存储经验谈-pdf
网站存储经验谈-pdf网站存储经验谈-pdf
网站存储经验谈-pdfYu Lin
 
TSM6培训教程
TSM6培训教程TSM6培训教程
TSM6培训教程acqua young
 
华为软件定义存储架构分析
华为软件定义存储架构分析华为软件定义存储架构分析
华为软件定义存储架构分析Liang Ming
 
應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局Alex Lau
 
Altibase管理培训 管理篇
Altibase管理培训 管理篇Altibase管理培训 管理篇
Altibase管理培训 管理篇小新 制造
 
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)infortrendgroup
 
利用统一存储获得无与伦比的速度,简化系统,并节省更多
利用统一存储获得无与伦比的速度,简化系统,并节省更多利用统一存储获得无与伦比的速度,简化系统,并节省更多
利用统一存储获得无与伦比的速度,简化系统,并节省更多ITband
 
Kafka介绍
Kafka介绍Kafka介绍
Kafka介绍lurga
 
glusterfs 文件系统
glusterfs 文件系统glusterfs 文件系统
glusterfs 文件系统LI Daobing
 
Alibaba数据库运维最佳实践
Alibaba数据库运维最佳实践Alibaba数据库运维最佳实践
Alibaba数据库运维最佳实践freezr
 
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)涛 吴
 
Redis分享
Redis分享Redis分享
Redis分享yiihsia
 

Similar a Dfs ning (20)

MogileFS
MogileFSMogileFS
MogileFS
 
Fdfs for cnblogs 1th
Fdfs for cnblogs 1thFdfs for cnblogs 1th
Fdfs for cnblogs 1th
 
百度分布式数据库平台
百度分布式数据库平台百度分布式数据库平台
百度分布式数据库平台
 
百度分布式数据库 刘斌 Sacc2010
百度分布式数据库 刘斌 Sacc2010百度分布式数据库 刘斌 Sacc2010
百度分布式数据库 刘斌 Sacc2010
 
淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践
 
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
 
网站存储经验谈pdf
网站存储经验谈pdf网站存储经验谈pdf
网站存储经验谈pdf
 
网站存储经验谈-pdf
网站存储经验谈-pdf网站存储经验谈-pdf
网站存储经验谈-pdf
 
TSM6培训教程
TSM6培训教程TSM6培训教程
TSM6培训教程
 
华为软件定义存储架构分析
华为软件定义存储架构分析华为软件定义存储架构分析
华为软件定义存储架构分析
 
應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局
 
Altibase管理培训 管理篇
Altibase管理培训 管理篇Altibase管理培训 管理篇
Altibase管理培训 管理篇
 
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
 
利用统一存储获得无与伦比的速度,简化系统,并节省更多
利用统一存储获得无与伦比的速度,简化系统,并节省更多利用统一存储获得无与伦比的速度,简化系统,并节省更多
利用统一存储获得无与伦比的速度,简化系统,并节省更多
 
儲存三二話
儲存三二話儲存三二話
儲存三二話
 
Kafka介绍
Kafka介绍Kafka介绍
Kafka介绍
 
glusterfs 文件系统
glusterfs 文件系统glusterfs 文件系统
glusterfs 文件系统
 
Alibaba数据库运维最佳实践
Alibaba数据库运维最佳实践Alibaba数据库运维最佳实践
Alibaba数据库运维最佳实践
 
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
 
Redis分享
Redis分享Redis分享
Redis分享
 

Más de Andy Shi

Mysql若干参数
Mysql若干参数Mysql若干参数
Mysql若干参数Andy Shi
 
Go语言web开发
Go语言web开发Go语言web开发
Go语言web开发Andy Shi
 
移动互联网2010
移动互联网2010移动互联网2010
移动互联网2010Andy Shi
 
Go集成c&c++代码
Go集成c&c++代码Go集成c&c++代码
Go集成c&c++代码Andy Shi
 

Más de Andy Shi (6)

Mysql若干参数
Mysql若干参数Mysql若干参数
Mysql若干参数
 
Go语言web开发
Go语言web开发Go语言web开发
Go语言web开发
 
移动互联网2010
移动互联网2010移动互联网2010
移动互联网2010
 
Go
GoGo
Go
 
Go
GoGo
Go
 
Go集成c&c++代码
Go集成c&c++代码Go集成c&c++代码
Go集成c&c++代码
 

Dfs ning

Notas del editor

  1. 测试一下双屏浏览 - 在连接了外部显示器或者投影仪的情况下,点击“ 2” 号屏幕,并按照图中高亮标注处选中“将 windows 桌面扩展到该显示器”同时设置适当的分辨率。  在图中高亮的部分选中“显示演讲者视图” 自我介绍一下
  2. 淘宝 - 百亿级别文件, 600TB Facebook – 2008 65 亿图片,每张图片 4-5 个文件 每周一亿的上传, Stored on netapp filers
  3. 本地文件系统收到容量的限制,硬件的限制,文件系统设计的限制 某些文件系统可以动态扩容 一般的文件系统既不是为大媒体文件优化,也不是为海量小文件优化
  4. 特别对于一些 IO 密集型领域: DB / Streaming / 监控 / some Internet service
  5. 什么都很贵, SAN / NAS / SAS 硬盘
  6. 磁盘损坏率,不要相信 MTBF ,算出来经常是 AFR 1% 不到 实际是 3%-15%
  7. SSD - 嵌入式系统 , 写入优化 Record – 是记录方式的,区别于大部分文件系统的 Shard-disk SAN- Redhat GFS 等 DFS - SMB is also known as Common Internet File System (CIFS) DFS-FT MS DFS / DFS-Parallel 没啥好说的,还有下面 DFS-Parallel-FT GoogleFilesystem / CloudStore / Lustre [Laster]
  8. 什么是 Posix like ?
  9. 核心要素: 便宜 ( 意味着性能一般,容易坏 ) 大文件,顺序读写 高 throughput vs low latency
  10. 客户请求 Master 2. Master 返回主块 ( 带有租约 ) 3. Client 推送数据 4. Client 发送写请求 主块分配序号 5. 要求其第二副本块按照同样的顺序写 6. 第二副本块回复写操作 7. 主块回复客户机,包括第二副本的错误都会返回给客户机
  11. From LiveJournal
  12. Namespace 的查找是一个消耗很大的操作 , NFS 文件句柄缓存 NFS 文件句柄缓存 Facebook have extended the Linux kernel to allow NFS file opens via inode number rather than filename to avoid the NetApp scaling issue. Namespace 可以扁平化