第21回 Lucene/Solr勉強会 https://solr.doorkeeper.jp/events/75586 LT資料

1. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
第21回 Lucene/Solr 勉強会 #SolrJP (2018/07/19)
ヤフー株式会社 矢野 友貴
Graal を Solr で使ってみた

2. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Introduction
1
• 氏名
• 矢野 友貴 (やの ゆうき)
• 所属
• ヤフー株式会社 D&S統括本部
• Solr 歴 = 2年ちょっと
• やってること
• プラグイン開発, k8s 対応, etc.
前回の Lucene/Solr 勉強会でも発表してました！
https://www.slideshare.net/techblogyahoo/solr-solrjp
@Lucene/Solr Revolution 2017

3. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Today’s topic
2
https://www.graalvm.org/ http://lucene.apache.org/solr/

4. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
GraalVM
3
• オラクルが 2018/4/17 にリリースした新しい VM
• 複数の言語を共通のプラットフォームで動作できる
• 新しい JIT コンパイラ (Graal) ← 今日はこっちの話
https://blogs.oracle.com/developers/announcing-graalvm

5. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Today’s topic
4
https://www.graalvm.org/ http://lucene.apache.org/solr/

6. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Graal Compiler
5
• Java で書かれた JIT コンパイラ
• JDK9 で追加された JVMCI (JEP 243) 経由で差し替える
• JDK10 からオプションで β 版が利用可能 (JEP 317)
bytecode
JVMCI
HotSpot
Graal
machinecode

7. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Graal Compiler (cont’d)
6
• Graal の強み → メモリ最適化周りが賢い (らしい)
• Partial Escape Analysis の実装
• エスケープ解析 = オブジェクトの参照がサブルーチン内
で閉じてるか (escape しないか) を解析
• 参照が閉じてるならヒープじゃなくてスタックに割当
• Partial Escape Analysis では条件分岐も考慮
• Ex) if 文が true なら escape しないので部分的に最適化
• 詳しくは 論文 を読んでね！

8. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Graal Compiler (cont’d)
7
• 論文だと概ねパフォーマンスが改善
• 最大でメモリが 60%, 速度が 30% 改善してるケースも
• Java Day Tokyo で Twitter の人がデモしてたケース (factorie)
メモリ割当 (MB)/iter malloc回数/iter iter回数/分
PEAなし PEAあり 差分 PEAなし PEAあり 差分 PEAなし PEAあり 差分
※ PEA = Partial Escape Analysis
http://www.ssw.uni-linz.ac.at/Research/Papers/Stadler14/Stadler2014-CGO-PEA.pdf

9. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Graal x Solr
8
• 何も考えず雑に Solr を Graal で動かしてみる
• Oracle-JDK10 に内蔵されている Graal を利用
• 環境
• JDK8 vs JDK10 vs JDK10+Graal
• G1GC
• Solr-7.3.1 + 3億件ぐらいのデータ + プラグイン色々
-XX:+UnlockExperimentalVMOptions -XX:+UseJVMCICompiler

10. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Graal x Solr (cont‘d)
9
• JDK10 にするだけで全体的に速くなった
• Graal は 99.9%ile が妙に速くなった (他は遅いけど)
• (仮説) GC が改善したことで最悪値が良くなったかも？
average 95%ile 99%ile 99.9%ile
JDK8 1.0 1.0 1.0 1.0
JDK10 0.971 0.940 0.972 0.984
JDK10+Graal 1.058 1.069 1.061 0.908
JDK8に対するレイテンシの相対値

11. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Graal x Solr (cont‘d)
10
• GC の停止時間は JDK10 で改善してるような雰囲気
• 外れ値を除くと Graal ありの方が若干短いかも？
GC の実行タイミングと停止時間

12. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Graal x Solr (cont‘d)
11
• ロングランしてみると 99.9%ile は実負荷でも改善
• が, たまに JVM がクラッシュして Solr が落ちる
• JDK10 内蔵の Graal はまだ不安定なのかも
JDK8 JDK10 + Graal
99.9%ile が
大きく改善
JVM Crashed!
Graal を有効にすると
BlockTreeTermsWriter#write
でたまに JVM がクラッシュする
99.9%ile レイテンシの推移

13. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Summary
12
• Graal x Solr
• GC は改善してそうな雰囲気がある
• 99.9%ile のような最悪値に結構効く
• たまに JVM が落ちる
• (誰か最新の GraalVM で検証してくれないかな)