Компьютерное зрение на Я.Студенте в ВШЭ Александр Крайнов

1. Поиск изображений
и компьютерное зрение
Александр Крайнов

2. Яндекс.Картинки
•
•
•
•
•
Более 20 миллиардов изображений
5 миллионов уникальных посетителей в день
15 миллионов запросов в час
2000+ серверов
35+ человек

3. Что такое поиск изображений?
• Текстовые запросы
• Объект поиска – изображение на веб
странице с релевантным запросу текстом

4. 4

5. 5

6. Успешный поиск означает показ искомого на
самых верхних позициях.

7. Куда кликают
Количество кликов
2500000
2000000
1500000
1000000
500000
Позиция результата
0
0
20
40
60
80
100
120
140

8. Сессии без кликов
Сессии, %
45,00%
40,00%
35,00%
30,00%
25,00%
20,00%
15,00%
10,00%
5,00%
0,00%
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Страница, с которой ушли.
15
16
17
18
19
20

9. Документ как единица поиска

10. Группировка дубликатов
– фундамент поиска изображений.

11. Типы дубликатов
Тумбнейлерные дубликаты
Полудубликаты

12. Хостовые дубликаты
Джоконда
<Мо?на Ли?за> (<Джоко?нда>; итал. La
Gioconda, фр. La Joconde, полное название Портре?т госпожи? Ли?зы Джоко?ндо, итал.
Ritratto di Monna Lisa
Винчи, находящаяся в Лувре (Париж, Франция),
одно из самых известных произведений живописи в
мире[1][2], которое, как считается,
Джоконда
dzhokonda_full.jpg

13. Хостовые и межхостовые дубликаты

14. Дубликаты для поиска релевантных результатов
Флоренция
Мост
Базилика
Медичи
Мода
Дуомо
Кьянти
Санта Мария
Давид
Площадь
Тоскана
Боттичелли
Италия
Шопинг
Флоренция
Базилика
Мода
Дуомо
Санта Мария
Площадь
Тоскана
Италия
Флоренция
Дуомо
Санта Мария

15. Дубликаты для тегов
Релевантность тега
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
0
50
100
150
200
250
Количество дубликатов в группе

16. Дубликаты для релевантности
Средняя релевантность
0,35
0,33
0,31
0,29
0,27
0,25
0,23
0,21
0,19
0,17
0,15
0
200
400
600
800
1000
1200
Количество дубликатов в группе

17. Дубликаты для ранжирования
• Как правило, копируют лучшие изображения.
• Лучшие изображения нужно показывать выше
Количество копий – очень важный фактор
ранжирования.

18. Только 1/3 изображений не имеют копий.
% of images
40,00%
35,00%
30,00%
25,00%
20,00%
15,00%
10,00%
5,00%
0,00%
0
2
4
6
8
10
12
14
16
number of duplicates

19. Проблемы группировки копий

20. Слишком разные кропы

21. Две группы дубликатов

22. Две группы дубликатов

23. Две группы дубликатов

24. Две группы дубликатов
=
=

25. Две группы дубликатов
=
=
=

26. Как вы кластеризуете эти картинки?

27. Транзитивность

28. Картинки очень близки, но…

29. Картинки очень близки, но…

30. Цвет не учитываем, но…

31. Иногда нет метаданных
Иногда метаданные слабы
Иногда метаданные врут

32. Что на картинке?
Мнение зрителя:
Девушка
Винтовка
Тигр
Рыба
Слон
Гранат
Метаданные:
Сон
Полет
Пчела
Гранат
Пробуждение

33. Что на картинке?
Мнение зрителя:
Дети
Горы
Лыжи
Подъемник
Метаданные:
Антон
Ярослав

34. Что на картинке?
Мнение зрителя:
Спальня
Кровать
Подушка
Лампа
Метаданные:
Двухместный
WiFi
Парковка
Завтрак

35. Анализ визуального контента
• Классификация изображений или объектов
- фильтры
- настройка алгоритмов определения дубликатов
- выделение объектов для распознавания.
• Распознавание объектов:
– верификация текстовых описание
– добавление новых описаний

36. Классификатор порно

37. Про порно
Домохозяйка в ванной

38. Поиск по загруженной картинке
CBIR (Сибирь)

41. Ищем картинку
×
×

42. Узнаем кто/
что на картинке

43. Ищем сайты с такой
картинкой

44. ˚

45. Как работает поиск по картинке

46. Дескрипторы

47. Словари визуальных слов

48. Поиск по визуальным словам

49. Архитектура поиска

50. Что такое компьютерное зрение
QuickTime™ and a
GIF decompressor
are needed to see this picture.

51. Как развивается компьютерное зрение.
Наука и индустрия

52. Будущее
200$
more info »
2500$
200$
Womens blouse, button back
blouse, floral fabric, womens
tops, womens tops blouses,
womens summer top, womens
summer blouse, sleeveless top
1245
450
more info »
850$
more info »
Womens blouse, button
back blouse, floral fabric,
womens tops, womens
tops blouses, womens
summer top, womens
summer blouse,
sleeveless top
3780
786
more info »