AI Journey — двухдневная конференция с ведущими международными и российскими спикерами — экспертами в области искусственного интеллекта и анализа данных, а также представителями компаний — лидеров по развитию и применению технологий ИИ в бизнес-процессах.

1. Данила Байгушев,
Александр Сноркин
Мир глазами
нейросетей

2. Распространение ML
Данные: Google trends, 2019

3. Необходимость интерпретации
ML для credit scoring ML в медицине

4. Сложность интерпретации
vs

6. Ягуар?

7. Ягуар!

8. Style transfer
Данные: A Neural Algorithm of Artistic Style, 2015

9. Выученная текстура
Слон БутылкаЧасы
Данные: ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness, 2018

10. Выученная текстура
Данные: ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness, 2018

11. Внутреннее устройство нейросети
Данные: Carter, et al., "Activation Atlas", Distill, 2019

12. Атласы активации
Данные: Carter, et al., "Activation Atlas", Distill, 2019

13. Атласы активации
Данные: Carter, et al., "Activation Atlas", Distill, 2019

14. Данные: Carter, et al., "Activation Atlas", Distill, 2019
Атласы активации

15. Данные: Carter, et al., "Activation Atlas", Distill, 2019
Большая
Белая Акула
Серый кит
Атласы активации

16. Данные: Carter, et al., "Activation Atlas", Distill, 2019
Серый кит
Атласы активации

17. Данные: Carter, et al., "Activation Atlas", Distill, 2019
Серый кит Большая белая акула
Атласы активации

18. Mail.ru Поиск

19. Данные: Deep Cross-Modal Projection Learning for Image-Text Matching, 2018
Нейросети в поиске картинок

20. Нейросети в поиске картинок
Данные: Mail.ru poisk, 2019

21. Нейросети в поиске картинок
Данные: Mail.ru poisk, 2019
собачка 0.171
собака 0.170
овчарка 0.152
щенок 0.140
бинокль 0.118
питомник 0.116
копье 0.113
лошадка 0.111
щека 0.105
порода 0.103
самолет 0.095
авиация 0.093
авиакомпания 0.087
вертолет 0.078
истребитель 0.074
аэродром 0.071
аэропорт 0.069
ракета 0.069
воздух 0.062
обстрел 0.062

22. Близкие слова
Данные: Mail.ru poisk, 2019
цветок 1.00
растение 0.70
уход 0.66
роза 0.61
расти 0.59
бабочка 0.57
листок 0.56
прекрасно 0.56
кошка 1.00
кот 0.74
котенок 0.71
котелок 0.62
котел 0.57
живот 0.56
британский 0.55
порода 0.54
собака 1.00
собачий 0.80
щенок 0.50
лошадь 0.41
рот 0.33
порода 0.33
волк 0.33
щека 0.33

23. Атласы активации
Данные: Carter, et al., "Activation Atlas", Distill, 2019

24. Атласы активации
Данные: Mail.ru poisk, 2019
«Наивный подход»

25. Атласы активации
Возможные проблемы:
1. Недообучение
2. Распределение данных
3. «Отбеливание»
Данные: Mail.ru poisk, 2019

26. Атласы активации
Данные: Mail.ru poisk, 2019
Недообучение
20 эпох

27. Атласы активации
Данные: Mail.ru poisk, 2019
Недообучение
100 эпох

28. Атласы активации: недообучение
100
20
Недообучение!
Данные: Mail.ru poisk, 2019

29. Атласы активации
Данные: Mail.ru poisk, 2019
Распределение данных

30. Атласы активации
Данные: Mail.ru poisk, 2019
Распределение данных

31. Атласы активации
Данные: Mail.ru poisk, 2019
Распределение данных
ndcg@1 +1.2%

32. Атласы активации
Данные: Mail.ru poisk, 2019
«Отбеливание»

33. Атласы активации
Данные: Mail.ru poisk, 2019
«Отбеливание»

34. Атласы активации
Данные: Mail.ru poisk, 2019
Распределение данных
+
«Отбеливание»

35. Нейросети в поиске
Данные: Mail.ru poisk, 2019
Особенности задачи:
● Большие ограничения по скорости,
поэтому не так много операций, и вектора
для тайтлов предпросчитываются
● Много опечаток, поэтому слова
представляются в виде триграмм
● Запросы сформулированы на не совсем
естественном языке, поэтому мы можем, в
первом приближении, не учитывать
порядок слов

36. Близкие запросы и тайтлы
Данные: Mail.ru poisk, 2019
Запрос: вычислите синус 7п 3
0.97 ВЫЧИСЛИТЬ И НАЙТИ СИНУС ОНЛАЙН
0.89 ВЫЧИСЛИТЕ SIN 7 П 3 2 СОS 5 П 4 3 TG 13 П 6
0.88 ОТВЕТЫ MAIL RU ВЫЧИСЛИТЬ SIN 7П 3
0.88 ТАБЛИЦА СИНУСОВ
0.87 ТАБЛИЦА СИНУСОВ 2MB RU
0.87 ВЫЧИСЛИТЕ SIN 7П 6 5CTG 3П 2 TG 3П 4 TG 2П 3
0.86 ВЫЧИСЛИТЬ SIN 7П 3 СОS 5П 4 TG 13А 6 CTG 13 5П ШКОЛЬНЫЕ ЗНАНИЯ COM
0.85 ВЫЧИСЛИТЬ SIN 7П 3 СОS 5П 4 TG 13А 6 CTG 13 5П ЧЕМ ЗАНЯТЬСЯ
0.85 СИНУС УГЛА SIN A ФОРМУЛЫ И РАСЧЕТЫ ОНЛАЙН FXYZ RU
0.85 ВЫЧИСЛИТЕ SIN 7П 3 2 СОS 5П 4 3 TG 13П 6 ШКОЛЬНИКУ COM

37. Пример проблемы
Данные: Mail.ru poisk, 2019
Запрос: 1050ти купить
0.27
КУПИТЬ ВИДЕОКАРТЫ В
ИНТЕРНЕТ МАГАЗИНЕ 05 RU
Запрос: 400 в корне
0.08
КАЛЬКУЛЯТОР СТЕПЕНЕЙ
ВОЗВЕСТИ В СТЕПЕНЬ
ОНЛАЙН

38. Пример проблемы
Данные: Mail.ru poisk, 2019
Запрос: 1050ти купить
0.79
КУПИТЬ ВИДЕОКАРТЫ В
ИНТЕРНЕТ МАГАЗИНЕ 05 RU
Запрос: 400 в корне
0.70
КАЛЬКУЛЯТОР СТЕПЕНЕЙ
ВОЗВЕСТИ В СТЕПЕНЬ
ОНЛАЙН
Запрос: 1050ти купить
0.27
КУПИТЬ ВИДЕОКАРТЫ В
ИНТЕРНЕТ МАГАЗИНЕ 05 RU
Запрос: 400 в корне
0.08
КАЛЬКУЛЯТОР СТЕПЕНЕЙ
ВОЗВЕСТИ В СТЕПЕНЬ
ОНЛАЙН

39. Архитектура
Данные: Mail.ru poisk, 2019

40. Триграммы
Данные: Mail.ru poisk, 2019

41. Триграммы
Данные: Mail.ru poisk, 2019
БИО 1.00
БІО 0.60
BIO 0.47
ОЯД 0.41
КМЦ 0.40
ЭКО 0.39
СПБ 1.00
SPB 0.68
ЮАО 0.63
CG# 0.61
ОАО 0.60
СКК 0.59
ВВЦ 0.59
...
МСК 0.43

42. Триграммы
Данные: Mail.ru poisk, 2019

43. Триграммы
Данные: Mail.ru poisk, 2019

44. Триграммы
Данные: Mail.ru poisk, 2019

45. Слова
Данные: Mail.ru poisk, 2019

46. Слова
Данные: Mail.ru poisk, 2019
купить 1.00
цена 0.76
продажа 0.73
магазин 0.71
стоить 0.69
стоимость 0.68
объявление 0.66
продать 0.66
еда 1.00
пища 0.78
блюдо 0.71
питание 0.69
продукт 0.68
кофе 0.58

47. Сравнение со второй моделью
Данные: Mail.ru poisk, 2019
1.00 дом
0.75 домой
0.59 домашний
0.58 здание
0.57 домик
0.54 дача
0.51 семья
0.48 где
дом 1.00
домик 0.69
здание 0.61
квартира 0.61
усадьба 0.59
гостиница 0.59
гараж 0.53
сарай 0.52
природа 1.00
пейзаж 0.72
озеро 0.66
природный 0.65
лесной 0.62
лес 0.61
расти 0.58
лето 0.57
1.00 природа
0.84 природный
0.41 пляж
0.38 борода
0.38 озеро
0.38 бывать
0.37 лесной
0.36 животный

48. Слова
Данные: Mail.ru poisk, 2019

49. Важность слов в запросе
Данные: Mail.ru poisk, 2019

50. Важность слов в запросе
Данные: Mail.ru poisk, 2019
-0,67 -0,06 0,67 0,17 0,69 -0,54

51. Важность слов в запросе
Данные: Mail.ru poisk, 2019

52. Проблемы текущей модели
Данные: Mail.ru poisk, 2019
Запрос: когда выход фильма мстители 5война бесконечности
Тайтл:
МСТИТЕЛИ ФИНАЛ 2019 ФИЛЬМ СМОТРЕТЬ ОНЛАЙН БЕСПЛАТНО
НА РУССКОМ ЯЗЫКЕ
Оценка: 0.7791402

53. Заключение
● Анализ ошибок
● Новые идеи для улучшений
● Изучение данных с помощью модели