20141128（刘胜）UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索

1. 分布式和云服务的思考与实践
——支付清算行业分布式架构的探索
Version 1.3.20141121
刘胜liusheng@umpay.com
联动优势B办公区
北京市西城区安德路甲104号证通商务楼F5层（100120）
以“云服务”思想构建大规模高扩展的分布式服务。

2. 2
0.引子*
 选题——“云”
 公共及私有云的建设与管理；互联网安防；
 分布式云计算的思考和实践
 分布式云服务的思考和实践
 分布式和云服务的思考与实践--支付清算行业去IOE架构研究
 分布式和云服务的思考与实践--支付清算行业分布式架构的探索
 背景
 工商银行/软件开发中心/北京研发中心/研发支持部
孙冰江@IBM
研发支持部【夏扬（部门副总），任风雷，王秦川，…】
 中国支付清算行业协会/技术标准部/架构研究小组
技术标准部【于沛（副主任），周浩，颜勇】
第三方支付公司【陈亮@支付宝，沈华勇@财付通，刘胜@联动】
传统的商业银行【王伟南@中行，李中华@光大】
其他的金融机构【陈鹏远@北京金融资产交易所】
杜晓宇（业务3部）
支付宝：俊义，公孙胜
财付通：张帅，李丹丹

3. 3
1.背景
 背景
 互联网经济时代，金融行业新动向
 内部原因，外部事件，我司相关
 去IOE运动，技术路径，对比
 概述：云服务
 云分类，云层级，云市场*2、云技术*2、开源云
 实践
 数据云技术和实践（DaaS）
 云部署技术和实践（D4C）

4. 5
1.1 金融行业新动向*
传统金融行业
互联网行业
4.
合
作
2.
打
压
1.
颠
覆
元年
————————
第三方支付250+19
余额宝火爆5400+
P2P的喧嚣1000+
众筹，保理，征信，
…
3.
监
管
井喷年& 监管元年
————————
互联网金融10万亿
第三方支付9+万亿
P2P 1184/800+亿
…
互联网金融行业
百付宝：“团结就就有8%！”

5. 6
1.2 内在原因
 传统金融企业
 技术保守 购买
 规模受限 放弃
 互联网企业
 技术可控 自研
 规模可扩 抢夺
投
入
购买
有钱
买不到
自研
规模规模
 图2：自研和外购的对比（修改版）
投
入
买/租
自研
图1：摘自《淘宝技术十年》

6. 7
1.3 外部事件
 IBM中国：-20%，-40%
 2.27 中央网络安全和信息化领导小组
 5.16 国家机关政府禁止采购安装Win8系统。
 5.27 浪潮“I2I计划”
 9.03 银监发[2014]39号
China's
No ICE Policy
 《关于应用安全可控信息技术加强银行业网络安全和信息化建设的指导意见》
 人民银行，工商银行，中国银行，…
斯诺登和棱镜门事件
（2013.6）
No IOE & No ICE

7. 8
1.4 我司相关*
中央网络安全和信息化领导小组（习）
银监会
工商银行
人民银行
中国支付清算
行业协会
银监发[2014]39号文
——————————
《…应用安全可控信息技术…》
2015每年+15%
2019使用率75%
工行/软开/北京研发部（3.26）
————————————
我司“UDAL技术”介绍和交流
其他：邮件答复两次～准售前
去IOE架构
技术标准部/分布式架构研究小组（9.11）
————————————
课题：支付清算行业分布式系统架构研究
成员：支付宝、财付通、联动优势、中行
、光大、上海农商行、北金所
会议： 9.11，9.22，10.13调研，10.28，
11.13/14，…
PS：1.准售前（功能点；投入不足）+工行自研； 2.领导力（吴政铎@怡安翰威特）

8. 9
1.5 去IOE运动*
 什么是IOE？
 IBM 主机
 Oracle 数据库
 EMC2 存储
 为啥去IOE？
 技术可控& 领先
 响应速度& 成本
 阿里案例
 阿里去IOE演进
 阿里去IOE历程
 阿里去IOE经验
 规模& 野望& 信念
 商品库，交易库，结算库
阿里去IOE预算指导原则的演进
—————————————
•2010 商用技术Oracle RAC
•2011 开源技术MySql
•2012 自主技术OceanBase
•2013 云计算阿里云
去IOE历程（3年+1.7万技术人员）
———————————
2010.01 三淘核心系统"去IOE"启动
2010.07 完成商品库"去I”
2011.07 完成商品库"去OE"
2011.09 完成交易库"去IOE”
2012.06 启动B2B/阿里金融
2012.12 完成三淘"去IOE"
2013.4.26 完成CBU/ICBU"去I"
2013.5.21 完成支付宝“去IE”（余O）
2013.6.04 最大的现金流结算系统"去O”
最难去O!
风险极高
收益极大
阿里巴巴技术保证部

9. 10
1.6 去IOE技术路径*
 用国产化替代
 主机 浪潮
 存储 华为
 数据库？？？
 虚拟化的私有云
 中行：用”阿里技术”自建
 以云服务去IOE
 王坚：以”阿里云”去IOE
集中式
IBM主机
Oracle商
业数据库
EMC存储
Share-
Storage
主备架构
分布式
X86集群
MySql等
廉价磁盘
+ SSD
Share-
Nothing
双主多从
多主多从
云服务
+NoSQL
+NewSQL
终极方案
PS：1）“阿里技术”是什么技术？ 2）“阿里云”有什么？

10. 11
1.7 分布式和云服务*
集中式
• Scale-Up
• 小计算
• 扩展受限
• IOE问题…
分布式
• Scale-Out
• 大计算
• 集群（同构）
• 网格（异构）
“持续”
可扩展能力
云服务
• “无限”扩展
• “普适”计算
• “云”计算
• “云”数据
阿
里
联
动
以云服务的思想，构建大规模、高扩展、分布式的金融服务。

11. 12
2.概述
 背景
 概述：云服务
1. 云服务分类、层级
2. 国外云服务技术、市场、规模
3. 数据中心的成本、创新、开放
4. 中国云市场
5. 开源云项目
 实践
 数据云技术和实践（DaaS）
 云部署技术和实践（D4C）

12. 13
2.1 云服务的分类
1.按服务方式（收费方式） 2.按服务类型（服务层级）
云的五大本质特征
（NIST）
—————————
• 按需的自我服务
• 广泛的网络访问
• 快速的弹性能力
• 海量的资源池
• 可度量的服务/质量
PS： 1）NIST=美国国家标准技术研究院； 2）私有云是真正的“云”么？

13. 14
2.2 云服务的层级*
SaaS（软件服务层）
• 监控，通讯，协作、财务，…
• 数据内容(文档|演示稿|电子表格
|图片|音频|视频|…)
PaaS（平台服务层）
• 识别/认证，运行环境，队列，…
• 对象型存储库(文件|KV|列集|…)
• 关系型存储库(实例库|海量库|…)
IaaS（基础架构层）
• 计算单元，网络，块存储，…
PS：NaaS，OaaS，DBaaS，DaaS，…

14. 15
2.3 国外云市场*
Challengers（挑战者） Leaders（领导者）
Softlayer
5/2/2/0
云服务能力
● Amazon的EC2云平台有45.4万台
服务器，分布在全球7100+个机架。
仅东海岸每月+110个。（2012.3）
● Amazon把云收入归类到“其他”
类别，该类共占2012年总收入的5%
20亿$ ，高于2011年的3.2%。
来源：云计算市场的魔力象限图（Gartner 2014.6）
来源：2014云厂商“拿地”对比（美/欧/亚/其他）
Amazon
3/1/3/1
MS
5/2/4/1
Google
1/1/1/0
AT&T
Rackspace
3/1/2/0
HP
IBM
市场竞争力
Niche Players （利基型企业） Visionaries（远见者|空想家）

15. 16
2.4 中国云市场*
Challengers（挑战者） Leaders（领导者）
1.国际巨头
Amazon，微软
市场竞争力
● 贝索斯定律：每隔3年云计算单
位计算能力的价格将下降50%。
● 数据中心的建设周期通常为2～3
年，而Google只有16个月。
● 2014已知数据中心平均PUE是
1.7，而Facebook小于1.1。
2.国内互联网巨头
云服务能力
4.电信运营商
CM，CT，UT
B，A，T
3.国内初创
青云，Ucloud
5.传统IDC
世纪互联
6.国内软件商
金蝶，用友
8.国外软件厂商
VMware
RedHat
7.国内硬件商
浪潮
Niche Players （利基型企业） Visionaries（远见者|空想家）
PS：1.我的理解… 2.被颠覆& 打酱油3.DC的持续创新（PUE）

16. 分布式谷歌* 亚马逊* 微软* 开源阿里
文件GFS, Colossus/CFS HDFS TFS
计算
&服务
17
MapReduce,Percol
ator,Dremel,Power
Drill,GAE
AWS Hadoop,
Spark,
Storm,
K-V LevelDB S3,Dynamo Swift Tair
表格
BigTable,
SimpleDB,
Azure Table
HBase
&服务
CloudDataStore
DynamoDB
Azure Blob
队列Azure Queue
DB
&服务
MegaStore,
Spanner/F1,
Cloud SQL
RDS Azure SQL Hive，
CockroachDB
DRDS，
Ocean
Base,
块存储EBS Ceph
虚拟机
&容器
GCE EC2/AMI Azure KVM, XEN,
LXC, Docker
系统OpenStack,
CloudStack
2.5 国外云技术和服务
PS：1.技术最先进2.商业化最成功3. 微软…

17. 18
2.5 国外云技术的发展*
时间顺序概览
• 2003 谷歌GFS @Sanjay Ghemawat，…
开启
• 2004 谷歌MapReduce @Jeff Dean，…
云计算时代
• 2006 谷歌BigTable @Jeff Dean，…
的三大基石
• 2007 开源Hadoop系列（HDFS/HBase/Hive）
• 2008-2011 谷歌Megastore
• 2010 谷歌Colossus/CFS
• 2009-2012 谷歌Spanner & F1（数百DC/数百万机器/数万亿条）
• 2010-2013 半开源OceanBase（4y） @阿里正祥
• 2014 开源CockroachDB （目前α阶段）
阳振坤
发展有序
不断积累
• 2008 开源KVM（6y）
(2010~2014)
• 2010 开源OpenStack（Rackspace & NASA，133+/1419+，4y，v10/Juno）
• 2011.7-2012.4 开源CloudStack（Citrix  Apache）
• 2013 开源Docker（2y），开源CoreOS
PS：1. 分布式（文件> 计算> 数据库） 2.数据库（非结构化>半结构化>结构化）
PS：3.延迟时间（谷歌 开源） 4. 渐入佳境的NewSQL。

18. 19
2.6 开源云项目*
“Cloud Open”大会
2014.8.22 芝加哥
数据来源：Linux.com
5.数据存储很重要.
4.初始化配置和管
理需求强烈.
2.PaaS市场远
不成熟.
3.轻量级虚拟技术
发展迅速.
1.OpenStack焦
油坑(2010/40+
亿/v10)

19. 20
2.7 我们的需求
我们最需要什么云？ 数据云DaaS
最需解决什么难点？
1.IaaS技术
————————
…
2.PaaS技术
————————
…
5.数据存储技术
————————
云数据库DBaaS
4.初始化配置管理
————————
云部署D4C
（打包/发布/部署/…）
3.虚拟机和容器
————————
云部署D4C
虚拟机（VM）
虚拟环境（VE）
弹性扩展——隔离、部署、扩展
高扩展性！

20. 21
3.实践
 背景
 概述：云服务
 云分类，云层级，云市场*2 、云技术*2、开源云
 实践
 数据云技术和实践（DaaS）
 云部署技术和实践（D4C）

21. 22
3.1 数据云由来
静态展现页面
（Web Server）
动态业务逻辑
（App Server）
持久化数据
（DB Server）
用户展现层
(无状态)
业务逻辑层
(有状态)
数据持久层
(强状态)
数据云
传统三层架构的演化
“状态性”是
横向扩展能力
的天敌！

22. 23
3.2 数据云概念*
 什么是数据云（Data-as-a-Service）？
数据云=
数据库
+集群架构
+访问服务
 数据云！= 云存储（例：百度云网盘，七牛云存储）
 数据云！= 云数据库（Database-as-a-Service）
（SaaS）数据内容• 文档/演示稿/电子表格/…
数
• 图片/音频/视频/… 据
（PaaS）数据结构
云
• 非结构：文件/KV/…
• 半结构：对象/文档/列集/表/…
• 结构化：关系型数据库/…
（IaaS）数据块• 块存储设备（逻辑磁盘）

23. 24
全新架构!!!
3.NewSQL数据库
（C+A+P）
C+A
3.3 数据库分类和CAP+理论*
COST
！！！
 “CAP+理论”
C.
一致性
A.
可用性
三选二!!!
P.分布性
关系型
K-V型
列式库
文档库
图式库
Oracle，DB2，Mysql，
Green Plum，Sybase IQ，HP Vertica
Eric A. Brewer的CAP理论（2000）
Partition tolerance
1.传统SQL数据库
2.NoSQL数据库
2009.6 （C+P 或A+P）
亚特兰大
NoSQL大会

24. 25
3.3 数据库生态体系（2012）
业界流传这一句话
————————
Oracle 之后再无关系库
MySql 之后再无开源库
Sybase IQ 之后再无列式库
SQLite 之后再无嵌入库
Memcached 之后再无缓存
Redis 之后再无KV库
MongoDB 之后再无文档库
Neo4j 之后再无图形库
Dynamo 之后再无NoSQL
VoltDB 之后再无NewSQL
NoSQL is Out，
NewSQL is In！
（2012）Google Spanner‘s Most Surprising Revelation: NoSQL is Out and NewSQL is In !

25. 26
3.4 高可用数据库集群方案*
技术路径1：基于传统关系数据库的高可用集群
存储存储存储
1.Share-Storage 架构DB2
2.Share-Cache 架构RAC
注：1+2 = Share-Anything
存储存储存储
3.Share-Nothing MySql架构
Cache Fusion
不足：存储是单点，切换较慢。
3.1 全库冗余：主备，写是瓶颈。
3.2 数据分片：难解决跨库JOIN
和分布式事务一致性。
技术路径2：基于NewSQL数据库的高可用架构
MySql——
较差的库，
更好的集群

26. 27
3.4 高可用数据库对比(-)
高
可
用
路径1：基于传统关系型数据库的高可用集群方案路径2：基于新架构
全库冗余（Share-Nothing） 3.数据分片4.NewSQL数据库
1.读写混合2.读写分离“只读”/“读写” 读写混合
场景在线交易在线交易在线分析/在线交易在线交易
数据量中中海量数据大
读操作小大（可扩展） 大（无跨库JOIN） 大
写操作小小大（无跨库事务） 大（分布式事务）
事务事务一致性事务一致性同库事务一致性跨库事务一致性
架构双主架构双主多从应用级分库和分表自动分片和冗余
特点数据全量冗余
互为主备
单一主库可写
数据全量冗余
从库只读
单一主库可写
数据水平拆分
同库事务一致
数据自动拆分
不足数据未做拆分，
读写性能瓶颈
数据未做拆分，
写库性能瓶颈
主要支持读操作
无跨库JOIN
无跨库事务一致性
技术各异，
实现难度大，
产品不成熟。
案例MySql双主架
构
2.联动高可用
MySql集群*
3.联动海量MySql
集群*
谷歌Spanner/F1
阿里OceanBase
开源VoltDB
开源CockroachDB
PS：可结综合使用2+3方案

27. 28
3.3 高可用数据库对比(-)
传统SQL库
——————
MySql，
PostgreSQL
传统SQL库+分片
——————
Vitess，…
NoSQL库
——————
Hbase，
Cassandra
NewSQL库
——————
Spanner/F1，
CockroachDB
特点——
• 结构化
优点——
• 事务（有限）
• 索引（有限）
• 关联（有限）
• 一致性可调整
• 高扩展性/w
缺点——
• 应用级分片
• 跨DC弱一致性
特点——
• 结构化
优点——
• 事务
• 索引
• 关联/JOIN
• 强一致性
缺点——
• 扩展受限/w
•跨DC弱一致性
特点——
• 非结构化
优点——
• 高扩展性
• 一致性可调整
缺点——
• 无事务
• 无索引
• 无关联
• 跨DC弱一致性
或不可用
特点——
• 结构化/弱关系
优点——
• 高扩展性
• 事务
• 索引
• 关联/JOIN
• 一致性可调整
• 跨DC强一致性
和高可用性
缺点——
• 写延迟较大

28. 29
3.4 高可用数据库方案对比（表）
特性×∨√ SQL+集群SQL+分片+集群NoSQL NewSQL
R 关系型√ ∨弱关系× √弱关系
Q 支持SQL √ ∨不支持跨库× √精简SQL
C
索引√ ∨无全局索引× √
关联√ ∨无跨库JOIN × √
事务/ACID √ ∨无跨库事务× √
同DC一致性√ ∨可调整∨可调整∨可调整
跨DC一致性× × × √
A
高扩展容量× √ √ √
高扩展写× ∨分片+写√ √写延时较大
高扩展读√读写分离∨分片+读写分离√ √
实时性/内存× × √ √
P
分布式× ∨无跨库写√ √
分片方式× ∨应用分片√ √自动分片
案
2)双主多从
例
+读写分离
3)DAL+分片只读Spanner，蟑螂，
4)DAL+分片读写VoltDB，OceanBase

29. 30
3.5-联动数据云（UTC2012）
负载均衡层
CDN 区域负载
（可选）
F5/LVS
+Nginx/
Haproxy
Web前置集群综合前置FSL
异
步
订阅
同
步
服务层缓存层持久层）
综合前置
FSL
通知和反馈SMS，Email，IM，…
Memcached
+ Membase
二级缓存
应用切分
水平切分
垂直切分
读写分离
双主多从
F5/LVS
+Nginx/
Haproxy
主备机制
JMS
Camel
通过UDAL访问
NoSQL
DB
Hadoop / HBase
数据云
=UDAL
+缓存层
+持久层
+…
在线交易库（OLTP）
…
NameNode2
复制
Master DB
写
读…
Master / Slave，分片，集群
DataNodes
同NameNode1
步
异
步
页面缓存
Squid
Varnish
OSCache
静态资源
合作机构
银行
移动
商户
分布式服务集群
应用服务：ASL
基础服务：BSL
数据访问：DAL
监控服务定时服务：TSL
集群
…
读
在线分析库（OLAP）
复
制
Slave DB

30. 31
3.5 联动数据云实践*
业务线应用系统
1.联动数据访问层UDAL+
读
写
分
离读
2.高可用
MySql集群
2) 读写分离
写
3.~海量
MySql集群
3) 分片只读
4) 分片读写
读
写
读
写
5.~海量
分布式
对象存储库
Swift
4.～海量
分布式
键值存储库
Redis
读
写
只
读
6.~海量
分布式
列式分析库
Hbase/Hive
7.高可用分布式NewSQL数据库
（OceanBase，CockroachDB，VoltDB，…）
技术路径1
路径2
—高扩展—
1.数据量～
2.读性能～
3.写性能～

31. 32
2.5.1 联动数据访问层UDAL+
+新需求
+新特性
1 应用逻辑层2 数据访问层（UDAL）
1 应用系统
21 NIO网络
协议适配器
22 Dalet引
擎
211 消息头
解析器
212 消息体
解析器
221 资源
分发器
222 操作
映射器
23 Dalet容器
● Dalet1
● Dalet2
…
http
11表现层
12逻辑层
13持久层
11表现层
12逻辑层
13持久层
http
Method+URI
3 数据资源层
2 数据访问服务(1)
1应用系统
2 数据访问服务(2)
21 22 23
HTTP或CM20
JDBC
Cache Hadoop
Call
DB2 MySQL Search
APIs
APIs
专利201010506543.2
数据访问方法及装置
+新需求：多机房支持，多层次支持，分布式事务，…
+新特性：数据分片@2013，自定义JDBC驱动@2014，...

32. 33
3.5.1 联动UDAL多机房方案*
无状态设计
更易分流
Zone #A Zone #B
1.跨机房负载均衡
DalServer#A1 DalServer#A2
MySql
#A集群
负载均衡器#A
(如LVS/HaProxy)
DB2
#A集群
Oracle
#A集群
DalServer#B1 DalServer#B2
MySql
#B集群
DB2
#B集群
Oracle
#B集群
服务查找器#A
（如DNS）
负载均衡器#B
(如LVS/HaProxy)
服务查找器#B
（如DNS）
网络协议（HTTP、TCP等）
存储接口（JDBC等）
MongoDB
#A集群
…
业务线应用系统
双向复制
2.跨机房远程服务路由
3. 跨机房远程数据源
PS：工行需求。CRM迁移案例。

33. 34
3.5.1 联动UDAL多层次方案*
JAVA数据访问对象（DAO）
ORM框架（iBatis, Hibernate, …）
中立性设计
更多场景
其他语言
PHP/.NET/…
自定义Udal-Client
（本地| 远程）
自定义JDBC Driver
（ Udal-Jdbc）
自定义
SDK 2+
HTTP或
CM20
DaaS 中间层（Udal-Server）
JDBC (MySql)
RDS 中间层（Amoeba,
Cobar, DRDS, Atlas, … ）
关系型数据库（MySql/DB2/Oracle/…）
NoSQL
读写混合操作只读只写
Tuxedo等
自定义
DataSource
（Tddl, Zdal）
业
务
层
中
间
层
数
据
层
JDBC (MySql/Db2/Oracle)
2
4
1 3 4

34. 35
3.5.1 联动UDAL多阶段实现*
 第一阶段（2010）UDAL服务端
 原型：可扩展/开放协议，访问代理，多序列化，多数据源，身份认证，…
 扩展：可扩展接口， 依赖注入，PoGenerator组件，NoSQL
 专利：数据访问方法及装置（201010506543.2）
 第二阶段（2010）UDAL客户端
 DAL远程接口访问库 联动编程大赛2012
 DAL本地接口访问库 类iBatis框架
 第三阶段（2013）UDAL分片
 固化的分片策略（殷舒）Java代码类
 灵活的分片策略（刘胜）JS动态脚本
 第四阶段（2014）UDAL驱动
 服务端SQL解析和分片（殷舒）
 客户端封装JDBC驱动（丁喆&虚拟小组）
1
2
3
4
业务系统
Udal客户端
iBatis框架
Udal JDBC 驱动
UDAL服务器/引擎
网络协议解析
SQLID匹配
3 4
分片策略
SQL参数填充
DB路由
SQL解析
分片策略
SQL参数填充
分页参数重置
DB路由
DB1 DB2 DB3
1
2
4
越来越多
参与者

35. 36
3.5.2 联动高可用MySql读写分离
优点：高扩展（读），强一致性
不足：仅有读写分离，数据未做拆分
备复制工具
DBRep
LVS/DR（wrr）
DB2主库
主复制工具
DBRep
MySql主库
（Master1）
MySql备库
（Master2）
Keepalived
MySql读库
（Slave1）
—高扩展—
在1.
线系统
2.读性能～
3.
OLTP / OLAP
双向半同步复制
写VIP
MySql读库
（Slave2）
异步复制
设计思路：面向交易系统 +面向用户服务
容量预估：预估DB空间 +预估DB性能
话费读库：预算￥200万/DB2  实际￥40万/MySql集群
电商读库：十倍性能（PCIe/SSD vs. RAID-10/*16）
全
量
库

36. 37
3.5.3 联动海量MySql分片只读
1.联动数据访问层（UDAL+）
DB2主库
主复制工具
DBRep
MySql
分库
复制源
在线系统
OLAP
MySql
分库1
MySql
分库2
—高扩展—
1.数据量～
2.读性能～
3.
… MySql
分库n
优点：高扩展（读，容量）
不足：不支持跨库JOIN
备复制工具
DBRep
异步复制
用户管理系统：数据迁移（望京 丰台）
客服短信查询：按手机号查（Hbase），+按子号统计（Hive）
非
全
量
库

37. 38
3.5.4 联动海量MySql分片读写
在线系统
OLTP
优点：高扩展（读、容量、写）
不足：不支持跨库JOIN和事务
1.联动数据访问层（UDAL+）
写
分库1/主库…
分库1/备库0
分库2/主库
分库2/备库0
—高扩展—
1.数据量～
2.读性能～
3.写性能～
分库n/主库
分库n/备库0
读
分库1/从库1 分库2/从库1 分库n/从库1
… …
读
读
分库1/从库2
双
向
半
同
步
复
制
异
步
复
制

38. 39
3.5.X 后续方向…
业务线应用系统
读
写
分
离读
1.联动数据访问层UDAL+ （+/-分布式事务？）
2.高可用
MySql集群
2) 读写分离
写
3.~海量
MySql集群
3) 分片只读
4) 分片读写
读
写
读
写
5.~海量
分布式
对象存储库
Swift
4.~海量
分布式
键值存储库
Redis
读
写
只
读
6.~海量
分布式
列式分析库
Hbase/Hive
7. 分布式NewSQL数据库
OceanBase，
CockroachDB，
VoltDB，…
事务一致性
—————
1.可调整
2.分布式
3.跨DC
这个世界上只有一种一致性算法，那就是Paxos，
其它的算法都是残次品，包括2PC和3PC等。（谷
歌Chubby作者Mike Burrows）
—高扩展—
1.数据量～
2.读性能～
3.写性能～
4.一致性

39. 40
QX &结 A语和Q&A
结语——
 最难的是“去O”，数据库是最大的单点。
 云服务是“去IOE”的终极方案。
 云的本质是“服务”，数据和计算不分家。
 云的关键是“持续Scale-Out 能力”。
 绝大部分私有云都不是真正的“云”！
 云很大，选择适合自己的云技术方向。
 “数据是有重量的”，准备好迁移手段。
问题——
 1，缺分布式事务！？
 2，？
 3，？