蘑菇街实时搜索引擎

1. 微博实时搜索
xuanxi@mogujie.com
汪亚军

2. 大纲
简介
近实时搜索
可增量段存储 AND 可中断查询
并发编程
Jessica 2.0

3. 简介
于我
菇街搜索
实时搜索场景

4. Lucene segment
segment 1 segment 2 segment 3
Map
mergepolicy
Reduce
segment

5. Lucene 近实时搜索
IndexWriter.setRAMBufferSizeMB() 设置ram
buffer大小 LUCENE-843
IndexWriter.getReader() 将ram buffer刷回
RamDir 但不Commit LUCENE-1516
LUCENE-843 VS LUCENE-1516

6. Zoie
由linkedin 发并 源
提供一个在lucene之上的封装保证实时性
快速doci<=>uid双向对应方案

7. zoie
Mem A + Disk Mem A + new Disk
1,Mem A 添加文档立刻更新的 1,Mem A 添加文档立刻更新的
2,Disk在下次合并之前，一直使用 2, 使用前面Mem A和Disk合并好
的 new Disk
Mem A +Mem B+ Disk
1,Mem B 添加文档立刻更新的
2,Mem A 只读 与Disk合并
2,Disk 无变化 与Mem A合并

8. Zoie
RAM IndexWriter 定时reopen有效 10s
reopen一次 Disk缓存中docId<=>Object_id 对
应不对 都必须重建一次
fav:{ 100 to 1000} 这是个灾难
查询千万级 的数据 耗时在100ms级 (no
cache)

9. 结论
为了实时搜索,常常刷新创建的segment,不可取
实时系统,缓存常常失效,这样我们没有办法在短
时间内,遍历所有的docId

10. 解决办法
可增量的倒排索引
从新向旧遍历的倒排索引
可中断的查询

11. 可增量倒排索引
term 字典
词频
text
PostingList

12. 可增量倒排索引
textpointe frequency startPostingsPotine endPostingsPotiner
a r r
b
c parralle
d int arrays
...
... Term
x
字典
y
z

13. 可增量倒排索引
textpointe frequency startPostingsPotiner endPostingsPotiner
a r
b
c
d
...
...
x
y
z
PostingListStore

14. 可增量倒排索引
textpointe frequency startPostingsPotiner endPostingsPotiner
a r
b
c
d
...
...
x 从新向旧遍历的倒排索引
y
z
PostingListStore

15. Lucene 倒排压缩算法

16. 可增量倒排索引
textpointe frequency startPostingsPotiner endPostingsPotiner
a r
b lucene
c 的压缩算法无法从新向旧搜索
d
文档
...
...
x 从新向旧遍历的倒排索引
y
z
PostingListStore

17. PostingListStore
docId
position (twitter 1-140 < 255 )

18. PostingListStore
docId
position (twitter 1-140 < 255 )
(docId <<8 ) | (position&0xFF)

19. PostingListStore
无压缩
通过位置信息和docId存储在一个int里面 少内
存 销

20. PostingListStore
int pool
auto expand
zero copy (do not like array)

21. PostingListStore

22. PostingListStore
PostingListPointer

23. PostingListStore
单个Term的PostingList的所有Slice组成一个双向链表
prepointer data ...
... data nextpointer

24. PostingListStore
单个Term的PostingList的所有Slice组成一个双向链表
prepointer data ...
... data nextpointer
双向链表的好处?

25. 可增量倒排索引

26. 可中断查询
我们最 心最近有更新的前n条数据
从新向老查询
超时立马返回(HashedWheelTimer)

27. 智能二分查找算法
依次从新向旧找
记录上次二分查找时候各位置数据
对当前查找做智能直到
skipList search + smart search + binary
search

28. 总结
中断查询 + 从新查找PostingStore = 实时搜索

29. 并发编程
writer和reader wait free(JMM)
保证reader的数据一致性(版本号)

30. Writer AND Reader
v = 100;
thread a write v = 101;
thread b read v => 100;
数据一致性 java并不能保证a写了就立马能被b
看到
Lock Free

31. Java Memory Model
happen before
volatile
memory barrier
volatile 只能保证之前写的越过内存障碍*

32. 内存屏障
PostingStore越过内存屏障 => 从Term的
PostingList 始指针向新查找

33. 内存屏障
单个Term的PostingList的所有Slice组成一个双向链表
prepointer data ...
... data nextpointer
双向链表的好处

34. reader 数据一致性

35. 版本号

36. Jessica 2.0
重写lucene
纯内存posting store
从日志系统重建索引
可中断查询
存储原始数据

37. Jessica 2.0
jessica 负责索引
jessica monica负责打分排序
feeder monica
jessica
feeder负责分词 jessica

38. 感谢
twitter
Michael Busch