SlideShare una empresa de Scribd logo
1 de 23
支持高性能模糊检索的内存数据库 EMS ,[object Object],2011-7-05
内容 EMS 架构和工作原理 1 2 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 4 3 5
EMS 的定义 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
EMS 产生的背景 需要新型数据库管理系统 信息服务遇到瓶颈 信息管理系统 磁盘数据库管理系统 内存数据库管理系统 数据库系统处理能力不足 高速聚集的海量信息 快速增长的用户群 互联网的快速发展 快速处理海量信息 满足大量并发访问 极高的并发访问能力 极强的业务定制能力
传统数据库查找数据的方式 SQL Query Optimizer & Executor Application Determine  Disk Address of Desired Record Table# Page# IPC Assuming the Page is Already in Memory… Locate Page Pointer Via Hashing and Linear Search Copy Row to Private Buffer Send buffer to application (via IPC) Hash Function Buffer Tool Linked Lists Into Buffers Linked Lists Into Buffers Data Page Data Page
Data Store SQL Query Optimizer & Executor Memory  Address Application The full database is preloaded from disk to memory Determine Memory Address of Desired Record Copies data to application buffers Memory-Resident Database 内存数据库查找数据的方式
内容 EMS 架构和工作原理 1 2 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 2 4 3 5
EMS  系统架构 mysql  2 armor …… 公共数据源 本地数据镜像 业务系统 上游同步管理 数据处理 下游同步管理 业务逻辑 so 监控管理 mysql   1 ZCache  Memcache 请求解析 数据和表管理 索引管理 replicate update
BROKER ,[object Object],[object Object],[object Object],[object Object]
STORAGE ,[object Object],[object Object],[object Object],[object Object]
BROKER 工作原理
STORAGE 工作原理
系统限制 ,[object Object],[object Object],[object Object],[object Object]
内容 EMS 架构和工作原理 1 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 2 2 4 3 5
性能测试条件 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
性能测试结果 ,[object Object],[object Object],场景 性能数据 插入 逐条插入 1200/s 检索 winfoid=X(254154638/254154974) 9000/s Userid=1163904  and  key word like  “ 鲜花” 4600/s key word like  “ 尼龙 ” 170/s
性能测试详表 功能点 场景 性能指标 load 加载 wordinfo 导出表 2 亿 + 记录 14.2w 行 /s  内存: dump Dump 2 亿 + 记录 50w  行 /s insert 从 wordinfo 表导出数据选取前 100w 行,逐行插入。插入前 storage 已 load  大约 2 亿 +  记录 RTT /  长连接 单线程 10 线程 RTT=0 6400/s 21000/s RTT=0.5ms 1250/s 6000/s  update 从 wordinfo 表导出数据选取前 100w 行,逐行更新 planid 与 unitid 字段。更新前 storage 已 load  大约 2 亿 +  记录 RTT /  长连接 单线程 10 线程 RTT=0 6300/s 24000/s RTT=0.5ms 1460/s 13800/s remove 从 wordinfo 表导出数据选取前 100w 行,逐行删除入。删除入前 storage 已 load  大约 2 亿 +  记录 RTT/ 长连接 单线程 10 线程 RTT=0 3000/s 3500/s RTT=0.5ms 1300/s 5000/s Select  随机选取 usesrid  与   keyword ,进行如下语义查询: Select * from wordinfo where userid=X and keyword like W RTT /  短连接 多线程 RTT=0 1000+/s  返回 100+ 记录 RTT=0.5ms  1000+/s 返回 100+ 记录
内容 EMS 架构和工作原理 1 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 2 2 4 3 5
EMS 典型应用 ,[object Object],[object Object],[object Object],user1 userid name groupid … user2 userid provid cityid tradeid … user3 userid clk show sum … UserAll userid name groupid provid cityid tradeid clk show sum
EMS 典型应用 ,[object Object],[object Object],[object Object],Mysql_1  Mysql_0  BROKER STORAGE Userid : 一般索引  Keyword : hashmap 索引 armor FCDB adid userid keyword … ADINFO adid adddes adurl …
内容 EMS 架构和工作原理 1 2 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 4 3 5
EMS 下一步工作 ,[object Object],[object Object],[object Object]
THANKS Q&A

Más contenido relacionado

La actualidad más candente

2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)infortrendgroup
 
Db2 different basis_installa
Db2 different basis_installaDb2 different basis_installa
Db2 different basis_installaHermes Chiang
 
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11gOracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11gChien Chung Shen
 
PostgreSQL 9 Standby
PostgreSQL 9 StandbyPostgreSQL 9 Standby
PostgreSQL 9 StandbyMarch Liu
 

La actualidad más candente (6)

2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
2018 普安 EonStor GSe Pro 产品线介绍 (簡中版)
 
Db2 different basis_installa
Db2 different basis_installaDb2 different basis_installa
Db2 different basis_installa
 
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11gOracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
 
Cvs
CvsCvs
Cvs
 
Oracle Tablespace介紹
Oracle Tablespace介紹Oracle Tablespace介紹
Oracle Tablespace介紹
 
PostgreSQL 9 Standby
PostgreSQL 9 StandbyPostgreSQL 9 Standby
PostgreSQL 9 Standby
 

Destacado

Tair-分布式kv系统
Tair-分布式kv系统Tair-分布式kv系统
Tair-分布式kv系统gettyying
 
网易分布式数据库平台
网易分布式数据库平台网易分布式数据库平台
网易分布式数据库平台gettyying
 
Hogyan csináljunk sikeres Kickstarter kampányt?
Hogyan csináljunk sikeres Kickstarter kampányt?Hogyan csináljunk sikeres Kickstarter kampányt?
Hogyan csináljunk sikeres Kickstarter kampányt?Beachegg
 
Mit csinál egy online marketinges?
Mit csinál egy online marketinges? Mit csinál egy online marketinges?
Mit csinál egy online marketinges? Beachegg
 
可视化与可视分析从数据拥有者到数据用户的桥梁
可视化与可视分析从数据拥有者到数据用户的桥梁可视化与可视分析从数据拥有者到数据用户的桥梁
可视化与可视分析从数据拥有者到数据用户的桥梁gettyying
 
Entrepreneurship Resource Guide
Entrepreneurship Resource GuideEntrepreneurship Resource Guide
Entrepreneurship Resource GuideMoonSoup, Inc.
 

Destacado (6)

Tair-分布式kv系统
Tair-分布式kv系统Tair-分布式kv系统
Tair-分布式kv系统
 
网易分布式数据库平台
网易分布式数据库平台网易分布式数据库平台
网易分布式数据库平台
 
Hogyan csináljunk sikeres Kickstarter kampányt?
Hogyan csináljunk sikeres Kickstarter kampányt?Hogyan csináljunk sikeres Kickstarter kampányt?
Hogyan csináljunk sikeres Kickstarter kampányt?
 
Mit csinál egy online marketinges?
Mit csinál egy online marketinges? Mit csinál egy online marketinges?
Mit csinál egy online marketinges?
 
可视化与可视分析从数据拥有者到数据用户的桥梁
可视化与可视分析从数据拥有者到数据用户的桥梁可视化与可视分析从数据拥有者到数据用户的桥梁
可视化与可视分析从数据拥有者到数据用户的桥梁
 
Entrepreneurship Resource Guide
Entrepreneurship Resource GuideEntrepreneurship Resource Guide
Entrepreneurship Resource Guide
 

Similar a 罗立刚 高性能模糊查询内存数据库Ems

海量日志分析系统实践,Dba
海量日志分析系统实践,Dba海量日志分析系统实践,Dba
海量日志分析系统实践,DbaCevin Cheung
 
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaOcean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaknuthocean
 
大型互联网广告应用系统架构
大型互联网广告应用系统架构大型互联网广告应用系统架构
大型互联网广告应用系统架构Shaoning Pan
 
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)vanadies10
 
数据库性能诊断的七种武器
数据库性能诊断的七种武器数据库性能诊断的七种武器
数据库性能诊断的七种武器Leyi (Kamus) Zhang
 
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引liu sheng
 
Redis分享
Redis分享Redis分享
Redis分享yiihsia
 
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照Shaoning Pan
 
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计YANGL *
 
腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析areyouok
 
腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析topgeek
 
Mysql handlersocket
Mysql handlersocketMysql handlersocket
Mysql handlersocketpwesh
 
11, OCP - awr & alert system
11, OCP - awr & alert system11, OCP - awr & alert system
11, OCP - awr & alert systemted-xu
 
构建基于Lamp的网站架构
构建基于Lamp的网站架构构建基于Lamp的网站架构
构建基于Lamp的网站架构Cosey Lee
 
Sina my sq概述及优化
Sina my sq概述及优化Sina my sq概述及优化
Sina my sq概述及优化pigso
 
+++º+ ¦¦ ¦ ¦¦ ¦+ =
+++º+ ¦¦  ¦ ¦¦ ¦+ =+++º+ ¦¦  ¦ ¦¦ ¦+ =
+++º+ ¦¦ ¦ ¦¦ ¦+ =guesta6295f3
 
淘宝数据魔方的系统架构 -长林
淘宝数据魔方的系统架构 -长林淘宝数据魔方的系统架构 -长林
淘宝数据魔方的系统架构 -长林Shaoning Pan
 
Oracle 高可用概述
Oracle 高可用概述Oracle 高可用概述
Oracle 高可用概述xlight
 
Oracle ha
Oracle haOracle ha
Oracle haxlight
 

Similar a 罗立刚 高性能模糊查询内存数据库Ems (20)

Java@taobao
Java@taobaoJava@taobao
Java@taobao
 
海量日志分析系统实践,Dba
海量日志分析系统实践,Dba海量日志分析系统实践,Dba
海量日志分析系统实践,Dba
 
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaOcean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
 
大型互联网广告应用系统架构
大型互联网广告应用系统架构大型互联网广告应用系统架构
大型互联网广告应用系统架构
 
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
 
数据库性能诊断的七种武器
数据库性能诊断的七种武器数据库性能诊断的七种武器
数据库性能诊断的七种武器
 
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
 
Redis分享
Redis分享Redis分享
Redis分享
 
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
 
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
 
腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析
 
腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析腾讯大讲堂48 数据库查询优化浅析
腾讯大讲堂48 数据库查询优化浅析
 
Mysql handlersocket
Mysql handlersocketMysql handlersocket
Mysql handlersocket
 
11, OCP - awr & alert system
11, OCP - awr & alert system11, OCP - awr & alert system
11, OCP - awr & alert system
 
构建基于Lamp的网站架构
构建基于Lamp的网站架构构建基于Lamp的网站架构
构建基于Lamp的网站架构
 
Sina my sq概述及优化
Sina my sq概述及优化Sina my sq概述及优化
Sina my sq概述及优化
 
+++º+ ¦¦ ¦ ¦¦ ¦+ =
+++º+ ¦¦  ¦ ¦¦ ¦+ =+++º+ ¦¦  ¦ ¦¦ ¦+ =
+++º+ ¦¦ ¦ ¦¦ ¦+ =
 
淘宝数据魔方的系统架构 -长林
淘宝数据魔方的系统架构 -长林淘宝数据魔方的系统架构 -长林
淘宝数据魔方的系统架构 -长林
 
Oracle 高可用概述
Oracle 高可用概述Oracle 高可用概述
Oracle 高可用概述
 
Oracle ha
Oracle haOracle ha
Oracle ha
 

罗立刚 高性能模糊查询内存数据库Ems

  • 1.
  • 2. 内容 EMS 架构和工作原理 1 2 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 4 3 5
  • 3.
  • 4. EMS 产生的背景 需要新型数据库管理系统 信息服务遇到瓶颈 信息管理系统 磁盘数据库管理系统 内存数据库管理系统 数据库系统处理能力不足 高速聚集的海量信息 快速增长的用户群 互联网的快速发展 快速处理海量信息 满足大量并发访问 极高的并发访问能力 极强的业务定制能力
  • 5. 传统数据库查找数据的方式 SQL Query Optimizer & Executor Application Determine Disk Address of Desired Record Table# Page# IPC Assuming the Page is Already in Memory… Locate Page Pointer Via Hashing and Linear Search Copy Row to Private Buffer Send buffer to application (via IPC) Hash Function Buffer Tool Linked Lists Into Buffers Linked Lists Into Buffers Data Page Data Page
  • 6. Data Store SQL Query Optimizer & Executor Memory Address Application The full database is preloaded from disk to memory Determine Memory Address of Desired Record Copies data to application buffers Memory-Resident Database 内存数据库查找数据的方式
  • 7. 内容 EMS 架构和工作原理 1 2 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 2 4 3 5
  • 8. EMS 系统架构 mysql 2 armor …… 公共数据源 本地数据镜像 业务系统 上游同步管理 数据处理 下游同步管理 业务逻辑 so 监控管理 mysql 1 ZCache Memcache 请求解析 数据和表管理 索引管理 replicate update
  • 9.
  • 10.
  • 13.
  • 14. 内容 EMS 架构和工作原理 1 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 2 2 4 3 5
  • 15.
  • 16.
  • 17. 性能测试详表 功能点 场景 性能指标 load 加载 wordinfo 导出表 2 亿 + 记录 14.2w 行 /s 内存: dump Dump 2 亿 + 记录 50w 行 /s insert 从 wordinfo 表导出数据选取前 100w 行,逐行插入。插入前 storage 已 load 大约 2 亿 + 记录 RTT / 长连接 单线程 10 线程 RTT=0 6400/s 21000/s RTT=0.5ms 1250/s 6000/s update 从 wordinfo 表导出数据选取前 100w 行,逐行更新 planid 与 unitid 字段。更新前 storage 已 load 大约 2 亿 + 记录 RTT / 长连接 单线程 10 线程 RTT=0 6300/s 24000/s RTT=0.5ms 1460/s 13800/s remove 从 wordinfo 表导出数据选取前 100w 行,逐行删除入。删除入前 storage 已 load 大约 2 亿 + 记录 RTT/ 长连接 单线程 10 线程 RTT=0 3000/s 3500/s RTT=0.5ms 1300/s 5000/s Select 随机选取 usesrid 与 keyword ,进行如下语义查询: Select * from wordinfo where userid=X and keyword like W RTT / 短连接 多线程 RTT=0 1000+/s 返回 100+ 记录 RTT=0.5ms 1000+/s 返回 100+ 记录
  • 18. 内容 EMS 架构和工作原理 1 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 2 2 4 3 5
  • 19.
  • 20.
  • 21. 内容 EMS 架构和工作原理 1 2 EMS 典型应用 EMS 性能测试 EMS 简介 5 EMS 下一步工作 5 4 3 5
  • 22.

Notas del editor

  1. IO 密集型的 HCE 通信和计算密集型的 HPC 更新和检索性能很高的分布式 KV 系统 armor 支持 TB 级数据的 DATAWAREHOSUE doris 等
  2. 跨库联表