Solr勉強会

Solr勉強会(第9回)

株式会社マーズフラッグ
柳吾朗
g-yanagi@marsflag.com
@hitode7456


自己紹介

• 柳吾朗
• 株式会社マーズフラッグに勤務
• 研究開発部に所属
• 主にサイト内検索エンジン MARS FINDERの開
発
• 本日の目的
1. 皆様への恩返し
• Solr勉強会の資料にはお世話になっています(でも参加はなか
なか出来ませんでした。。)

2. 会社の宣伝
• 人材募集中です(人脈つくりの下心。飲み会楽しみにしています！)
© 2012 MARS FLAG Corporation. All rights reserved. 2


• 検索エンジンを中心とした ASP ベンダー
です。
• Webクローラーなどの周辺技術も使って、
色々やっています。
• Solr にも大注目中です。Solrを使ったアプ
リケーションも作成中です。


ネタは色々考えたのですが

• ドリルダウン
• サジェストともしかして
• 順位調整の色々
• Solr Core マネージメント
• スケーラビリティとパフォーマンス


本日のお題

ドリルダウン(Drill
Down)
色々


概要です

• ドリルダウンとは

• トリルダウン(多段)をSolrを使って実現す
る
– 方法その１実直形
– 方法その２少し工夫形
– 方法その３ Pivot Facet


Droll Downとは？

In information technology, to drill down means to
move from summary information to detailed data
by focusing in on something.
Wikipedia

何かの要素に着目し、
概要情報から詳細情報に移動すること。


例1 楽天様 (www.rakuten.co.jp)


Solrではどうやるの？

Facet と Filter Query を組み合わせて行うのが
一般的

/select?q=<検索キーワード>
&fq=<絞り込み用field>:<絞り込みた
い値>
&facet=true
&facet.field=<集計したいfield>


先ほどの例をSolrのクエリで実現しようとす
ると

/select?q=ケーブル
&fq=category1:パソコン・周辺機器
&facet=true
&facet.field=category2


さらに絞り込むとしたら。。。

/select?q=ケーブル
&fq=category1:パソコン・周辺機器
&fq=category2:ウルトラブック
&facet=true
&facet.field=category3


別の例


例2 ヨドバシカメラ様(www.yodobashi.com)


例2 ヨドバシ電機様(www.yodobashi.com)

大カテゴリ

中カテゴリ


Solrのクエリで実現しようとすると。。。

多段のドリルダウン
を実現する方法を、
幾つかご紹介致しま
す。


説明したいところ

(1) request

検索機能付きWebサイト
(2) 検索結果画面


説明したいところ

Web App Solr

(1) request (2)変換 (3) Solr 検索要求

(4) 検索
(7) 検索結果画面 (6) 検索結果画面生成 (5) Solr 検索結果


サンプルアプリケーション(書籍検索)

*:* 検索

検索結果n件(1 ~ 10まで表示)

+人文・思想(14)
+倫理学・道徳(5)
坊ちゃん
夏目漱石
+哲学・思想(5)
.... .....
+文学・評論(13)
+歴史・時代小説
(5) 永遠の0(講談社)
..... 百田尚樹
.....

注文の多い料理店
宮沢賢治
.....

.....


投入データ

タイトル :坊っちゃん
タイトル :夏目 :坊っちゃん
著者タイトル漱石 :坊っちゃん
著者著者 :夏目漱石
:夏目漱石
大カテゴリ :文学・評論
中カテゴリ :文芸作品
....

「Amazon > 書籍」より拝借

ドリルダウンペイン

*:* 検索


坊ちゃん
夏目漱石
+哲学・思想(5)
.... .....
+文学・評論(13)
..... 百田尚樹
.....

宮沢賢治
.....

.....


ドリルダウンペイン

*:* 検索


坊ちゃん
夏目漱石
+哲学・思想(5)
ドリルダウン template .... .....
データ engine +文学・評論(13)
..... 百田尚樹
.....

宮沢賢治
.....

.....


ドリルダウンデータフォーマット

<drilldown> ::= [{<category>}]
<category> ::= [<name>, <count>,<drilldown>]
<name> ::= tabを除く任意の文字列
<count> ::= 数値


ドリルダウンデータフォーマット

<drilldown> ::= [{<category>}]
<category> ::= [<name>, <count>,<drilldown>]
<name> ::= tabを除く任意の文字列
<count> ::= 数値

[[人文・思想, 14, [[倫理学・道徳, 5, [] ],...]...]
<name> <count> <drilldown>

<name> <count> <drilldown>
<drilldown>


インデントすると分かりやすい

[
[
人文・思想, 14, [
[倫理学・道徳, 5, []], +人文・思想(14)
[哲学・思想, 5, []], +倫理学・道徳(5)
.... +哲学・思想(5)
] ....
], +文学・評論(13)
[
+歴史・時代小説(5)
文学・評論, 13, [
[歴史・時代小説, 5, []], .....
....
]
]
]


方法その1

実直形


schema.xmlと投入データ
schema.xml

<field name="category1" type="string" .. multiValued="true"/>

投入データ

<add>
<doc>
<field name="title">坊っちゃん</field>
<field name="author">夏目漱石</field>
<field name="category1">文学・評論</field>
<field name="category2">文芸作品</field>
</doc>
....
</add>


検索
大カテゴリ

Q /select?q=*:*&facet.field=category1&wt=json&facet=true

R category1:["人文・思想", 14, "文学・評論", 13, ...]


検索
大カテゴリ

Q /select?q=*:*&facet.field=category1&wt=json&facet=true

R category1:["人文・思想", 14, "文学・評論", 13, ...]

中カテゴリ

/select?q=*:*&facet.field=category2&fq=category1:人文・思想
Q &wt=json&facet=true

R category2:["倫理学・道徳", 5, "哲学・思想", 5, "宗教", 5, ...]


まとめる

[
[
人文・思想, 14,
[
大カテゴリ

category1:["人文・思想", 14, "文学・評論
", 13, ...]
]
],
[
文学・評論, 13,
[

]
]
]


まとめる

[
[
[
大カテゴリ
[倫理学・道徳, 5, []],
category1:["人文・思想", 14, "文学・評論", 13, ...] [哲学・思想, 5, []],
....
]
中カテゴリ
],
[
category2:["倫理学・道徳", 5, "哲学・思想", 5, .. 文学・評論, 13,
[
category2:["文芸作品", 5, "歴史・時代小説", 5, ...] ....
]
]
]


効率悪すぎやしないか。。。


方法その２

少し工夫形


schema.xml

<field name="category_join" type="string" .. multiValued="true"/>

<add>
<doc>
<field name="id">坊っちゃん</field>
<field name="category_join">人文・思想</field>
<field name="category_join">
人文・思想<tab>倫理学・道徳
</field>
</doc>
....
</add>

検索

Q /select?q=*:*&facet.field=category_join&wt=json&facet=true

category_join: ["人文・思想", 14, "文学・評論", 13,
"人文・思想<tab>倫理学・道徳",5,
R "人文・思想<tab>哲学・思想", 5,
"人文・思想<tab>宗教", 5,
"文学・評論<tab>歴史・時代小説",5...]


まとめる

[
[
[
大カテゴリ
h_join: [ "人文・思想", 14, "文学・評論
", 13,
]
],
"人文・思想<tab>倫理学・道徳",5, [
"人文・思想<tab>哲学・思想", 5, 文学・評論, 13,
"人文・思想<tab>宗教", 5, [
"文学・評論<tab>歴史・時代小説",5...]
]
]
]


まとめる

[
[
[
大カテゴリ
[倫理学・道徳, 5, []],
h_join: ["人文・思想", 14, "文学・評論", [哲学・思想, 5, []],
13, ....
大カテゴリ<tab>中カテゴリ ]
],
"人文・思想<tab>倫理学・道徳",5, [
"人文・思想<tab>哲学・思想", 5, 文学・評論, 13,
"人文・思想<tab>宗教", 5, [
"文学・評論<tab>歴史・時代小説",5...] ....
]
]
]


まぁ、いいんだけどindex作成時にカテゴリ
構造を決めなくてはいけないのがちょっと
ね。。


方法その３

Pivot Facet


schema.xml


投入データ

<add>
<doc>
<field name="id">坊っちゃん</field>
<field name="category1">文学・評論</field>
<field name="category2">文芸作品</field>
</doc>
....
</add>


検索

Q /select?q=*:*&facet.pivot=category1,catetory2&wt=json&facet=true

category1,category2: [
{
field: "category1", value: "人文・思想", count: 14,
pivot: [ { field: "category2", value: "倫理学・道徳", count: 5 },
{ field: "category2", value: "哲学・思想", count: 5, ....]
},
{
R field: "category1", value: "文学・評論", `count: 13,
pivot: [ { field: "category2",value: "文芸作品",count: 5 },
{ field: "category2", value: "歴史・時代小説", count:
5 },....]
},
....
]


まとめる(というか殆ど同じ)

[
h1_ss,h2_ss: [ [
{ 人文・思想, 14,
field: "h1_ss", value: "人文・思想", count: 14,
[
pivot: [
{field: "h2_ss", value: "倫理学・道徳", count: 5},
[倫理学・道徳, 5, []],
{field: "h2_ss", value: "哲学・思想", count: 5}, [哲学・思想, 5, []],
.... ....
] ]
}, ],
{ [
field: "h1_ss", value: "文学・評論", count: 13, 文学・評論, 13,
pivot: [
[
....
]
....
} ]
] ]
]


比較

実直形少し工夫形 Pivot Facet
検索コスト悪い良い良い
データ加工不必要必要不必要
柔軟性悪くない悪い良い


Pivot Facetの柔軟性についてもう少し

Q /select?q=*:*&facet.pivot=auhotr,catetory1,category2&wt=json&facet=true

author,category1,category2: [
{
field: "author", value: "百田尚樹", count: 3,
pivot: [
{
field: "category1", value: "文学・評論", count: 3,
pivot: [
R { field: "category2", value: "歴史・時代小説", count: 2 },
{ field: "category2", value: "経済・社会小説", count: 2 },
{ field: "category2", value: "文芸作品", count: 1}
....
]
},
....


まとめ

• Pivot Facet がSolr 4.0でリリースされました。
• 多段のドリルダウンを実装する再は是非
使ってみてください。


最後に


MARS FLAG
人材募集中です！
http://www.marsflag.com/
(宣伝はしたぞ！-> マーケティング本部)


ご静聴
ありがとうございました


参考文献

• 関口宏司、三部靖夫、武田光平、中野
猛、「Apache Solr入門 ―オープンソース
全文検索エンジン」、技術評論社、2010
• HierarchicalFaceting、
http://wiki.apache.org/solr/HierarchicalFaceti
ng、ErikHatch、2012/11/18


Solr勉強会

Recommended

Recommended

More Related Content

Featured

Featured (20)

Solr勉強会