www.yhd.com DW part of architect on Oracle-Exadata machine

1. Exadata在电商的应用
By louis liu @vmcd.org

2. 在哪使用？ 怎么使用？

3. 结构化 vs 非结构化
事务
数据
结构化
元数据和
主数据 数据
仓库
数据
分析
数据
集成
日志、社交、行
为、多媒体
非结构化
机器生成
Map Reduce
分布式
文件系统
NoSQL
数据存储
数据
分析
1. 割裂 or 集成?
?

4. 结构化 vs非结构化 割裂 or 集成 -- reloading?
元数据
非结构数据
结构数据

5. 目前-Reloading操作
技术路线
• 数据分析可直接从MR汇总
至BI分析;
• 客户行为等数据分析要与已
有关系型数据关联, 需将
MR结果保存在RDBMS后再
统一进行BI;
架构决策
• 使用标准 BI 平台;
• 规划科学的数据流向;
• 优化不同类型数据关联;

6. 1号店BI 数据现状与未来
2013 2014 2015
•BI业务数据当前-2013年：
•非结构化数据 – xx+节点Hadoop, 总存储300TB, 日
均增长1TB;
•结构化数据 - 两台Exadata互备且读写分离, 总存
储6TB(high compress) ;
•预计年均增长约200%+;
•现有架构数据容量远不能满足未来三年发展;
•需要升级、扩容现有架构;
关系数据
6TB
日志数据
200TB
日志数据
400TB
关系数据
15TB
日志数据
800TB
关系数据
30TB

7. 目前的架构 X4 X2 分离 –两层结构 + Reloading
BI分析
平台
整合
流量/浏览统计
销售/财务/CRM
X4X2
Not online

8. 1号店数据物理拓扑 2013年
利用成熟平台
X2-2 1/4
HDFS
• 业务数据中结构化部分由
RDBMS架构处理; 非结构化部
分由Hadoop平台处理;
• Hadoop结果集通过
Connectors同步至Exadata;
• 处理结果由统一的BI平台分
析;
销售
供应链
财务
结构化数据
店中店
CRM
关联查询
复杂计算
统计分析
Hadoop结果集
各类行为日志
非结构化数据
分布存储
MapReduce
Aggregation

9. 1号店数据物理拓扑建议 Exadata –X4 资源分割 2014
利用成熟平台
X4-2 1/2
HDFS
• 应用分离 (线上Domain 分离)
• 资源隔离(两套XD集群互补)
• 利用hadoop+ X2 构造ODS数
据集市 X4 ;
销售
供应链
财务
结构化数据
店中店
CRM
关联查询
复杂计算
统计分析
Hadoop结果集
日志Tracking
非结构化数据
分布存储
MapReduce
Aggregation

10. DW
X2-集群
X4-集群
Hadoop集群
系统融合 – 共组DW集群系统
X4构造ODS + X2构造分级BI,
配合Hadoop的非结构化数
据组成了数据集市

11. 非结构化
结构化
P-of-X2
1号店数据物理架构 两层数据, 两层BI
BI分析
平台
Hadoop
X4-2 1/2
ODS
InfiniBand
InfiniBand
X2-2 1/4
多活业务中心
财务
Hadoop
结果集
Hadoop
结果集
CRM..
供应链
商家
X2-2 1/4
Tracking
ETL Tool
…

12. 未来的BI架构- ->脱离传统的约束
Text in here

13. 截取Oracle的官方回复
性能提升
Exadata&Hadoop是
性能最佳结构化&
非结构化数据平台;
Oracle有最优的多
表Join, 集群,
Connector等技术;
成本节约
RDBMS是最成熟的
BIDW平台;CDH是
成熟的商用版本;
高效利用已有平台
能大大降低’新’数
据项目的资源投入;
灵活性增强
RDBMS&Hadoop组
成两层BI数据基础;
更多数据, 更多技
术手段灵活处理,
达到整体最优;
风险降低
RDBMS有更高的数
据安全性, 可管理
性;
两层架构使’新’数
据项目总体风险可
控;

14. 参考案例 - XXX BI DW 架构
filesystem

15. Exadata所面临的问题
2. X4 所考虑的问题
3. 升级所遇到的问题
1. X2所遇到的问题1

16. Q & A