Droongaを転職情報サイトで使ってみた話 Groonga meatup2015での発表資料です。

1. Groonga Meatup 2015
Droongaを転職情報サイトで
使ってみた話
瀬戸隆太

2. About Me
• ジャストシステムのエンジニア(2年目)
• 関わってきたこと
– 転職サービスの検索サーバー周りの開発
– リスティング広告出稿の最適化エンジン開発
• 興味があること
– ファインダビリティ、検索、レコメンド
– Scala, akka, breeze

3. URL: https://lets.pitajob.jp/

4. ピタジョブとは
• 今年6月サービスイン
• 掲載企業数最大級! の求人情報サイト
– 掲載企業数 14894
– 掲載求人数 22140
– 求人のほとんどが広告掲載ではなくWEB上の公開求人
• 求人/企業はクローラ&スクレイパで自動収集
– http://www.slideshare.net/JSUXDesign/ss-55233052
– https://lets.pitajob.jp/contents/column/feature/WF0000
00013/WF000000013.html

5. 業界最大級!

6. Droongaとは
• Distributed Groongaの略
• レプリケーションするGroonga
– 検索のリクエスト数に対してスケールアウト可能
– droonga-engine (Rroongaベース)とdroonga-http-server
(Node.jsベース)からなる
• 汎用な分散処理エンジンとして設計されており、
rubyプラグインで様々なタスクを処理できる
– 検索機能の拡張はもちろんスケールアウトするバッチ処理シス
テムなどにも

7. ピタジョブでのDroonga利用シーン
• 求人/企業のタグ検索、ファセット(not 全文検索)
– 勤務地、職種、福利厚生、年収、ランキング、他
• 求人レコメンド
– 興味軸、オススメ順
– 関連オススメ求人
– 企業に関連する求人
• 履歴書の入力サジェスト
– 企業名、スキル、資格
全てDroongaで実現しています !
(※ただし全文検索は使っていません)

8. 転職サービスサイト
Droongaの立ち位置
ロード
バランサ稼働監視、ログ収集
求人/企業編集追加
CMSサーバー
Droonga cluster
Webマイニングシステム
・クローラ
・スクレイパ
・推論エンジン
・NLPサーバー etc
レコメンドシステム
・コンテンツベースの
静的スコアリング
・クラスタリング
・ユーザー行動解析
・レコメンドメール etc
internet
RDB
検索サーバー

9. Droongaによる求人/企業検索
• 地域 / 職種 / 業界などタグ検索を提供
– 全文検索も近日導入予定
• 求人が多いタグはファセットで提示
– 求人数が多いタグをドリルダウンで集計
• 検索機能の一部はRroongaによる機能拡張で
実現
– RroongaはDroongaのバックエンド

10. 単純なタグ検索では問題があることも…
ジャストシステムの求人ばかり!!

11. ・ピタジョブではRroongaのドリルダウン機能を
応用することで、求人を企業ごとにまとめられる
- filter → sort → drilldown(group) で実現
・DroongaはRubyで機能拡張できるため、
こういった柔軟な検索がある程度簡単に実現できる

12. Droongaと求人レコメンド
• 興味軸、オススメ順
– 事前にユーザーの興味を持ちそうな軸を定義、オススメする
– 「安定企業の求人」「はたらきやすい求人」など
• 関連オススメ求人
– 閲覧中の求人からオススメの求人を提示する
– コンテンツベースのレコメンド
– 求人のタグの合致度と、安定性、はたらきやすさなど独自のス
コアソートをかけ求人を提示
• 企業に関連する求人
– 求人がない企業を閲覧したユーザーにオススメ求人を提示
– ドリルダウンとタグ検索、独自のスコアソートを駆使して関連
する求人を提示

13. 転職サービスサイト
求人レコメンドのしくみ
稼働監視、ログ収集
求人/企業編集追加
CMSサーバー
Droonga cluster
Webマイニングシステム
レコメンドシステム
internet
RDB
検索サーバー
求人の特徴を抽出し、
各興味軸について
静的にスコアリング
RDB → Droongaへ
求人のスコア/タグ情報や
ユーザーの希望をベースに
動的レコメンド
Droonga → ユーザーへ

14. 履歴書の入力サジェスト
• プロフィール入力をサジェスト(補完)でサポート
– スキルや資格、勤務社名など
– 裏でGroongaをうごかしてます
– 前方一致検索 + ローマ字かな検索
• 読みのリソースがあれば非常に簡単に実現できる
– groonga-suggest-create-datasetコマンドで
• Droongaでも補完だけならプラグインで可能
– Patricia trieのopen_rk_cursorとselectで
– 入力補正/提案までするのは大変そう(Groongaなら簡単)

16. Droongaクラスタの運用について
ロード
バランサ
稼働監視、ログ収集
Droonga cluster
検索サーバー • Droongaクラスタへのリクエスト
はロードバランサを通す
• 各ノードはZabbix & Monitで監
視、自動復旧
• Droongaのノード同士はTCP ANY
で疎通できるようにする
droonga-engineが任意のポートで通信
するため(できればポート指定したいが…)
• 集中したデータ追加/更新は避ける
メモリ不足で低速化するため見積り必須
• ノードの追加はいまのところ手動
将来的にはauto scaleさせたい
Zabbix, Monit
TCP ANY

17. Droongaのいいところ
• 高速、高精度
– Postgresqlのlikeなどより数倍早い
– 自社製のトークナイザー(JMAT)により高精度な検索が可能
(※まだ運用で使ってないが近日導入予定)
• スケールアウト
– ノンストップにノードの追加、同時アクセス負荷の分散が
可能
• 柔軟な検索
– Rubyで機能拡張やプラグイン追加が可能

18. 高精度な全文検索
• 高精度な検索はサービスにおいて非常に重要
– 検索にヒットしないことはコンバージョンの機会損失
– 適合率の悪い検索結果はユーザーの離脱を誘導する
• 検索精度を上げるには、高品質な形態素解析器や
辞書の整備が必要
• Groonga族は、ジャストシステム製のJMATを
トークナイザーとして利用でき、高精度な検索が
可能だった

19. ちなみに...JMATとは
19
日本語入力システム
ATOK
企業内検索システム
ConceptBase
全国4,000社超の導入実績をもつ最強の
純国産検索エンジン
日本で開発を積み重ねてきた30年と
いう実績により、多くのユーザーから
支持されている
ATOK、ConceptBaseで培ったノウハウと
機械学習を融合した日本語解析エンジン

20. まとめ
• 転職サービスのいろんな機能をDroonga使って
実現しています!
– 高速
– スケールアウトする
– 柔軟(rubyプラグイン)
• みなさんもDroongaで快適レプリケーション生
活を送りませんか?
– http://www.slideshare.net/pirooutsiderreflex/droonga-
asgroongawithreplicationdroongaasgroongawithreplication