1. 淘宝海量数据产品技术架构 张轩丞（朋春） 淘宝网-数据平台与产品部

3. 淘宝数据平台与产品部（杭州）

4. vi党，脚本语言爱好者

5. 关注NodeJS，cnode社区组织者之一

6. pengchun@taobao.com

9. 50G统计汇总结果

10. 千万量级数据查询请求

11. 平均20.8ms的响应时间（6月1日）

12. 淘宝主站：

13. 30亿店铺、宝贝浏览

14. 10亿计的在线宝贝数

16. 计算的速度

17. 处理吞吐量

18. 存储

19. 存储是为了更方便地查询

20. 硬盘、内存的成本

21. 查询

22. “大海捞针”

25. NoSQL是SQL的有益补充

26. 用中间层隔离前后端

29. SQL有较强的表达能力

30. 只存储中间状态的数据

31. 查询时过滤、计算、排序

32. 数据产品的本质

33. 拉关系

36. MyISAM引擎

37. 离线批量装载

38. 跨机房互备APP 云梯 MyFOX 数据查询 数据装载 MySQL 集群

40. 基于NodeJS，1200QPS

41. 数据装载

42. 路由计算

43. 数据装入

44. 一致性校验

45. 集群管理

46. 配置信息维护

48. MyFOX-节点结构 MyFOX 路由表 冷节点（MySQL） 30天无访问的冷数据 新增热数据 7.2k SATA盘，1T * 12，raid10 内存:24G 成本:1.6W / T 热节点（MySQL） 15k SAS盘，300G * 12，raid10 内存:24G 成本:4.5W / T

50. 冷热数据分离

51. 降低成本，好钢用在刀刃上

53. NoSQL是SQL的有益补充

55. 同一商品的属性对有很多

56. 用户查询所选择的属性对不确定

57. Prometheus

58. 定制化的存储

60. Prom—数据查询 查索引 求交集 汇总计算 写入缓存

62. 牺牲磁盘容量，以得到：

63. 避免明细数据网络传输

65. “预算”与“现算”的权衡

67. 从isearch获取实时的店铺、商品描述

68. 从主站搜索获取实时的商品数

69. …异构数据源如何整合统一？

70. 用中间层隔离前后端

71. [pengchun]$ tail ~/logs/glider-rt2.log 127.0.0.1 [14/Jun/2011:14:54:29 +0800] "GET /glider/db/brand/brandinfo_d/get_hot_brand_top/where… HTTP/1.1" 200 17 0.065

73. UNION

74. JOIN

75. 输出格式化

76. PERCENT / RANK OVER …

78. 缓存是系统化的工程

79. 缓存系统 URL请求，nocache? data etag, http header 前端产品 nocache? glider 一级缓存 nocache? ttl, http header Min (ttl) 二级缓存

81. 底层架构对前端透明

82. 水平可扩展性

83. 缓存是把双刃剑

84. 降低后端存储压力

85. 数据一致性问题

87. 矛盾之美

88. 谢谢