15 - Sphinx - ефективний повнотекстовий пошук - Мар'ян Коренюк - IT Event 2013 (5) Останнім часом ми все більше стикаємось із необхідністю опрацювання великих об'ємів даних. Одною із найбільших проблем є повнотекстовий пошук, адже обчислювальні затрати на нього слід звести до мінімуму, а ефективність до максимуму. У доповіді буде розглянуто Sphinx як потужний засіб із високою швидкістю індексації та пошуку, який може взаємодіяти із різними базами даних та мовами програмування. Буде розказано про його функціональні можливості та особливості налаштування. Доповідь призначена для адміністраторів та програмістів, які працюють із великими об'ємами даних. Мар'ян Коренюк http://itevent.if.ua/lecture/sphinx-efektivnii-povnotekstovii-poshuk

1. Sphinx - ефективний
повнотекстовий пошук
Доповідач: Коренюк Мар’ян
Дата-центр Першерон

2. Пошук
Пошук інформації у масивах даних
Базові механізми пошуку

3. Архітектура Sphinx
База даних (джерело)
Сервіс Sphinx
Індекси
Клієнтський інтерфейс
База даних
My SQL
Клієнт API
(PHP, Perl, …)
Запит на пошук
Результат пошуку
Індекси Sphinx
Сервер
Sphinx
Indexer
(індексація даних)
Запит даних
для індексування
Масив даних Запит на
пошук
ID
документа
Запит документів по ID

4. Конфігурація
1) Джерела отримання даних
source src_index1 {
type=mysql
sql_host=localhost
sql_user=sphinx
sql_pass=password
sql_db=sphinx
sql_sock=/var/run/mysql/mysql.sock
sql_query_pre=SET NAMES utf8
sql_query_pre=REPLACE INTO `sphinx_counter` SELECT 1, MAX(`id`)
FROM `items` WHERE `items`.`country`='ch'
sql_query=SELECT
`items`.`id`, `items`.`item_title`, `item_descr`.`item_descr` FROM `items` WHERE
`items`.`id` >= $start AND `items`.`id`<=$end
sql_query_info=SELECT
`items`.`id`, `items`.`item_title`, `item_descr`.`item_descr` FROM `items` LEFT JOIN
`item_descr` ON `items`.`id`=`item_descr`.`item_id` WHERE `items`.`id`=$id
sql_query_range=SELECT MIN(`id`),MAX(`id`) FROM `items`
sql_range_step=1000
sql_attr_uint=id
sql_attr_uint=r_id
sql_attr_uint=c_id
sql_ranged_throttle=0
}
index index1 {
source=src_index1
path=/sphinx/data/index1
docinfo=extern
mlock=0
morphology=stem_enru
min_word_len = 2
charset_type = utf-8
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F-
>U+430..U+44F, U+430..U+44F
min_infix_len = 0
enable_star = 1
}
indexer {
mem_limit = 512M
max_iops = 40
write_buffer = 8M
}
searchd {
port=9312
listen=9306:mysql41
log=/var/log/searchd.log
query_log=/var/log/query.log
read_timeout=5
max_children=30
pid_file=/var/run/searchd.pid
max_matches=200000
seamless_rotate=1
preopen_indexes=0
unlink_old= 1
}
2) Індекси
3) Процес індексації
4) Конфігурація сервера Sphinx
1) Джерела отримання даних
2) Індекси
3) Процес індексації

5. Приклад
використвання
MySQL
PostgreSQL
XML
PHP
My SQL
PostgreSQL
XML
PHP API
Sphinx
Запит на
пошук
ID
документа

6. Використання
Sphinx
Доцільність використання
Приклад використання
Час впровадження

7. Запитання