SlideShare una empresa de Scribd logo
1 de 46
Descargar para leer sin conexión
���������������������� �����������������������
Groongaでのタグ検索と
表記揺れとの戦い
�����
�������������������
����������
���������������������� �����������������������
自⼰紹介
��������������������✓
�����������������������������
��������������������������
✓
�����������������������������������
��������������������������✓
�����������������✓
�������������������������
����������������
��������������������������������
✓
✓
���������������������� �����������������������
 
�����������������������������
�����������������������
✓
������������������������✓
��������������������������
�����������������
������������������������������������
����������
✓
�����������������������✓
�������������������
���������������������������������������
������������������������
✓
✓
���������������������� �����������������������
Groongaのタグ検索を使っているとろ
�������������������
�����������������������������✓
✓
�����������������������
������������������������✓
✓
�������������������
���������������������
��������������
✓
✓
���������������������� �����������������������
Groongaのタグ検索のいいところ
���������✓
������������������������
���������������������������������
�����������
✓
✓
������ �����������
� ������
� ������
���� ���������
� ���
� ���
���������������������� �����������������������
Groongaのタグ検索のいいところ
����������
�������������✓
�����������������✓
�����������������✓
✓
������ �����������
� ����������������
� ��������
���������������������� �����������������������
Groongaのタグ検索のいいところ
�����������������������
��������
����������������������
���������������������
✓
������������������✓
✓
���� ��������� ���
���������
�����
�����������
� ��� ������ ���
� ��� ��������� ��
���������������������� �����������������������
タグ検索で困ったこと
�����������
�������������������������
���
✓
�����������������
�����������������������✓
✓
���������������������� �����������������������
KABUSHIKI
KAISHA
���������������������� �����������������������
KABUSHIKI
KAISYA
���������������������� �����������������������
KABUSHIKI
GAISHA
���������������������� �����������������������
KABUSHIKI
KAAISHA
���������������������� �����������������������
KABSHIKI
KAISHA
���������������������� �����������������������
KABUHSIKI
KAISHA
���������������������� �����������������������
KABUSHIKI
DAISHA
���������������������� �����������������������
KABUSHIKI
KISHA
���������������������� �����������������������
KABUSHIKI
KEISHA
���������������������� �����������������������
KABUSHIKI
HAISHA
���������������������� �����������������������
負けては
いけませ
ん
���������������������� �����������������������
タグの表記揺れで問題になること
�����������
�����������������������������
�����������������������������
���������������
✓
���������������������������
�����������������������������
✓
✓
��������������
���������������������������������
�������
✓
✓
���������������������� �����������������������
表記揺れの主な種類
�������������
�������������✓
✓
���������
������������������✓
✓
�����������������
����������������✓
✓
����������✓
誤字/脱字(Typo)✓
���������������������� �����������������������
表記揺れ(Typo)の単語を抽出するプラグイ
ン gronoga-term-similar
�����������������������
��������������������������������������������
✓
��������������������
�������������
✓
�����������������������
�����
✓
���������������������� �����������������������
表記揺れ(Typo)の検出⽅法
����������������������
����������������������
�
��������������✓
����������������������������������������������✓
✓
����������������������
����������
��������������������✓
���������✓
✓
���������������������� �����������������������
Patricia Trieによる前⽅⼀致検索
����������������������
����������������������
������������������������
��������
✓
✓
Da����������Da��������Da����������������������✓
����������
�������������������������
✓
���������������������� �����������������������
編集距離(Levenshtein distance)
����������������������✓
�����������������������
������������
✓
��������������t��������✓
��������������a�������✓
��������������_�������✓
���������������������a���_�������✓
���������������������� �����������������������
KABUSHIKI
KAISHA
���������������������� �����������������������
KABUHSIKI
KAISHA
���������������������� �����������������������
KABUSHIKI
DAISHA
���������������������� �����������������������
Damerau-Levenshtein distance
�����������������������
�������������������������
�
✓
✓
����������������������
��������������������
✓
��������������✓
���������������������na���������✓
���������������������� �����������������������
qwerty配置のキーボード距離
�����������������������✓
����������������������
���������������������
✓
����������������������
��������������
✓
����������������������������we�������✓
�����������������������������e�����o�✓
��������������������������
������
✓
���������������������� �����������������������
多くの⽂書に出現しているタグを選択
(optional)
����������������������
����������������
✓
������������������������
�������������������
����������������������������������
�����������������
✓
�����������
Database = DF:200/Distance:11
���������������������������
���������������������������
✓
���������������������� �����������������������
表記揺れ(Typo)の検出⽅法
�������������������������✓
������������������������������✓
������������������������������������✓
�����������������������✓
��������������������✓
����������������������
����������������������
Typoの修正候補ぽいのが抽出される✓
✓
���������������������� �����������������������
抽出例(DFオプションなし1)
����������������������������������������
�
�����
���������������������
��������������������
���������������������
����������������������
���������������������
���������������������
�����
�
�������������������������✓
���������������������� �����������������������
抽出例(DFオプションなし2)
����������������������������������������
�
�����
�������������������
�������������������
������������������
��������������������
�����
�
�������������������
���������������
✓
���������������������� �����������������������
抽出例(DFオプションあり)
���������������������������������������������������������
�
�����
����������������������
�����������������
�������������������
������������������
�����
�
���������������������������
��������������������������
✓
���������������������� �����������������������
タグの表記揺れで問題になること
まとめてグループ集計できない
���������������������������������
�������
✓
✓
������������✓
����������������
�����������������������������✓
�������������������✓
✓
���������������������� �����������������������
投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
���������������������
�������������������������������������������
✓
�������������������������
���������������������������������✓
✓
�������������������
���������������������������✓
������������������������✓
✓
Typoのあるタグが集約される✓
���������������������� �����������������������
投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
�������������������������������������������
�����������������
���������������������������������������������
������������������
������������������������������������������������������
�����������������������������������������������������
��������������������������������������������������������������������
�
�����
�������
������������������
������������������������������
��������
�������
������������������
������������������������������
�������
�����
���
�
���������������������� �����������������������
投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
���������������������
�����������������������������
�����������������������������
����������
✓
���������������������������������
�������
✓
✓
����������������������
����������������
�������������������������
�����������������������������
✓
✓
���������������������� �����������������������
投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
�����������������
����������������
�����������������������✓
✓
�����������������
����������������
�����������
✓
�������������✓
���������������������� �����������������������
TokenFilterTypoトークンフィルター
gronoga-term-similar
�������������������������
��������������������������
����
✓
�����������������������������
���
�������������������
���������
✓
�������������������������
�������������������
✓
���������������������� �����������������������
TokenFilterTypoトークンフィルター
gronoga-term-similar
������������������
��������������������������������������������
�������������������������������������������������������
���
�������������������������������������
���
���������������������� �����������������������
Groongaのいいところ
����������������✓
���������������������✓
���������������������� �����������������������
タグの表記揺れでもうひとつ解決したいこと
あいまい検索
�������������������
�������������������������自動�
������������
������✓
✓
����������������������
����������������������
��������
✓
����������������������
�������������
✓
���������������������� �����������������������
Thank
you for
your
attension
���������������������� �����������������������
Thank
you for
your
attention

Más contenido relacionado

Destacado

ダブル配列の実装方法
ダブル配列の実装方法ダブル配列の実装方法
ダブル配列の実装方法
Higashiyama Masahiko
 

Destacado (9)

ソーシャルアプリにおけるRedisの活用事例とトラブル事例
ソーシャルアプリにおけるRedisの活用事例とトラブル事例ソーシャルアプリにおけるRedisの活用事例とトラブル事例
ソーシャルアプリにおけるRedisの活用事例とトラブル事例
 
Mroongaを使ったときの MySQLの制限との戦い
Mroongaを使ったときの MySQLの制限との戦いMroongaを使ったときの MySQLの制限との戦い
Mroongaを使ったときの MySQLの制限との戦い
 
CloudSearchによる全文検索 - CM:道 2014/08/01
CloudSearchによる全文検索 - CM:道 2014/08/01 CloudSearchによる全文検索 - CM:道 2014/08/01
CloudSearchによる全文検索 - CM:道 2014/08/01
 
Redis勉強会資料(2015/06 update)
Redis勉強会資料(2015/06 update)Redis勉強会資料(2015/06 update)
Redis勉強会資料(2015/06 update)
 
ダブル配列の実装方法
ダブル配列の実装方法ダブル配列の実装方法
ダブル配列の実装方法
 
SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみようSolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
 
MySQL 5.7の罠があなたを狙っている
MySQL 5.7の罠があなたを狙っているMySQL 5.7の罠があなたを狙っている
MySQL 5.7の罠があなたを狙っている
 
絶対に描いてはいけないグラフ入りスライド24枚
絶対に描いてはいけないグラフ入りスライド24枚絶対に描いてはいけないグラフ入りスライド24枚
絶対に描いてはいけないグラフ入りスライド24枚
 
H2O x mrubyで人はどれだけ幸せになれるのか
H2O x mrubyで人はどれだけ幸せになれるのかH2O x mrubyで人はどれだけ幸せになれるのか
H2O x mrubyで人はどれだけ幸せになれるのか
 

Groongaでのタグ検索と表記揺れとの戦い