Enviar búsqueda
Cargar
Solr勉強会第10回
•
10 recomendaciones
•
5,377 vistas
Nobutoshi Ogata
Seguir
Denunciar
Compartir
Denunciar
Compartir
1 de 28
Descargar ahora
Descargar para leer sin conexión
Recomendados
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
OCHI Shuji
第10回solr勉強会 solr cloudの導入事例
第10回solr勉強会 solr cloudの導入事例
Ken Hirose
SolrとElasticsearchの比較
SolrとElasticsearchの比較
genta kaneyama
Lucene/Solr Revolution 2016 参加レポート
Lucene/Solr Revolution 2016 参加レポート
Shinpei Nakata
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
Elasticsearchを使うときの注意点 公開用スライド
Elasticsearchを使うときの注意点 公開用スライド
崇介 藤井
SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
Shinsuke Sugaya
はじめての検索エンジン&Solr 第13回Solr勉強会
はじめての検索エンジン&Solr 第13回Solr勉強会
Noritsugu Suzuki
Más contenido relacionado
Más de Nobutoshi Ogata
Introducing in-house PaaS in SmartNews
Introducing in-house PaaS in SmartNews
Nobutoshi Ogata
Monitoring of SmartNews
Monitoring of SmartNews
Nobutoshi Ogata
The story became happy with itamae
The story became happy with itamae
Nobutoshi Ogata
sensuとその周辺のはなし
sensuとその周辺のはなし
Nobutoshi Ogata
SSH Tips & Tricks
SSH Tips & Tricks
Nobutoshi Ogata
zshと仮想端末マネージャで快適ターミナル生活
zshと仮想端末マネージャで快適ターミナル生活
Nobutoshi Ogata
Más de Nobutoshi Ogata
(6)
Introducing in-house PaaS in SmartNews
Introducing in-house PaaS in SmartNews
Monitoring of SmartNews
Monitoring of SmartNews
The story became happy with itamae
The story became happy with itamae
sensuとその周辺のはなし
sensuとその周辺のはなし
SSH Tips & Tricks
SSH Tips & Tricks
zshと仮想端末マネージャで快適ターミナル生活
zshと仮想端末マネージャで快適ターミナル生活
Solr勉強会第10回
1.
GREEにおける
全文検索の歴史 GREE Inc. Infrastructure Platform Development Nobutoshi Ogata (@nobu666) 13年3月26日火曜日
2.
about me
• @nobu666 • 片隅でくすぶっています • 猫とウイスキーとワイン 13年3月26日火曜日
3.
GREEの検索 13年3月26日火曜日
4.
検索の歴史 (1)
• Senna • 2007年とかその辺の話…? • 安定稼働しなかった 13年3月26日火曜日
5.
検索の歴史 (1)
• Tritonn • 2009年くらいまで • データファイルが壊れる • やっぱり安定しない • MySQLのバージョンあげたい 13年3月26日火曜日
6.
検索の歴史 (3)
• Lucene • 2012年初頭まで • 手動index optimizeとの戦い 13年3月26日火曜日
7.
検索の歴史 (4)
• Solr • イマココ • 2012年初頭から 13年3月26日火曜日
8.
Solr化の恩恵
• ほぼメンテナンスフリー • SPoFフリー • 全体的な検索速度向上 13年3月26日火曜日
9.
LuceneからSolr3.6へ 13年3月26日火曜日
10.
まずやること 13年3月26日火曜日
11.
まずこれを買うんだ!! 13年3月26日火曜日
12.
いつ買うか? 13年3月26日火曜日
13.
Solr化への前提条件
• 他プロダクトへ影響を出さない • フロントエンドからの呼び出しは 互換性を維持する • Ease of maintenance 13年3月26日火曜日
14.
後方互換
• HTTP GETを受けてXMLを返却 • Lucene+Tomcatで受け付けていた クエリをSolr向けに変換 • Solrの返却するXMLをカスタマイズ • Indexing依頼のI/Fも変えない 13年3月26日火曜日
15.
Ease of maintenance
• すべてのサーバーを冗長化 • サービス影響なしにindex optimize 13年3月26日火曜日
16.
←WebアプリがQueueへ登録
←indexerがMasterへ登録 ここで定期的にoptimize ←クエリの受付、返却 query translation ←クエリとレスポンスの変換 クライアントからのクエリ受付 13年3月26日火曜日
17.
簡単に説明
• 現状7schema • サーバー台数40台ちょっと • マルチコア使えばもっと詰められる • 全部で250qps+ くらい 13年3月26日火曜日
18.
13年3月26日火曜日
19.
13年3月26日火曜日
20.
負荷の傾向
• 大凡0:00付近に負荷のピーク • schemaによってはほとんど 使われていない • Range Query使いまくりなので slaveが一番重くなる 13年3月26日火曜日
21.
作りこみが必要だった部分(1)
• Indexer • Masterへ分散してIndexing • マルチスレッドで効率的に 13年3月26日火曜日
22.
作りこみが必要だった部分(2)
• Query Translation • 負の遺産の継承 • Schema毎の特殊なフィルタ付与 • 青少年保護なんちゃらけ • 人力監視との兼ね合い • 監視 • Replication, SSH, Ping, Solr Ping 13年3月26日火曜日
23.
今でも面倒なこと
• スキーマ変更を無停止でやるの すごいめんどい • SlaveをMasterに昇格する、などの 操作は手動で設定ファイルをいじる 13年3月26日火曜日
24.
検索のこれから 13年3月26日火曜日
25.
改善したいとこ
• 精度 • 日本語以外でも使われるので 辞書を使う&メンテするのが 事実上難しい • さらなる自動化 13年3月26日火曜日
26.
試したいこと
• Amazonのサービスじゃないことで おなじみのElasticSearch • Solr Cloud • これもっと前にあったら俺は こんなに頑張らなくて良かった説 13年3月26日火曜日
27.
Any Questions? 13年3月26日火曜日
28.
Join us!
http://jobs.gree.net/ 13年3月26日火曜日
Descargar ahora