Презентация - Ломонсовские чтения 2014 Выделение групп пользователей в данных мобильного мониторинга

1. Выделение групп
пользователей в данных
мобильного мониторинга
Намиот Д.Е.
МГУ им. М.В. Ломоносова
Ломоносовские чтения 2014

2. Dmitry Namiot
http://servletsuite.blogspot.com
• Пассивный мониторинг мобильных
абонентов позволяет собирать анонимную
информацию о присутствии
• Эти данные, очевидно, связаны с
некоторым местоположением
• Для данной площадки мы можем говорить
о модели посещаемости
• Как можно найти эти модели
посещаемости?
Направление исследований

3. Dmitry Namiot
http://servletsuite.blogspot.com
Содержание
• Пассивный мониторинг для мобильных
пользователей
• Параллели с Web Log
• Пропущенные записи и специфика
мобильной статистики
• Другие работы в этой области
• Группы посетителей

4. Dmitry Namiot
http://servletsuite.blogspot.com
Пассивный мониторинг
• исходный адрес (MAC-
address)
• SSID
• скорости передачи
• дополнительная
информация
• информация от
производителя

5. Dmitry Namiot
http://servletsuite.blogspot.com
Пассивный мониторинг
• Wi-Fi
маршрутизатор
• Определение Wi-Fi
(Bluetooth) устройств
• Внешняя база
данных (MySQL)
• 70% определенных
устройств

6. Dmitry Namiot
http://servletsuite.blogspot.com
Web Log
• Remote IP адрес – MAC адрес
• User-Agent заголовок – выделяется из MAC
• Отсутствует URI
• Отсутствует Referrer
• Новое поле: SSID. PNL – preferred networks
list

7. Dmitry Namiot
http://servletsuite.blogspot.com
Особенности статистики
• Процент определенных устройств: 70%-80%
• Он не может быть предсказан. Зависит от
мобильной ОС, работающих приложений и т.д.
• Разумное предположение: процент определенных
устройств постоянен
• Использовать относительные значения вместо
абсолютных значений. Например, тренд в
посещаемости вместо счетчика посетителей.
• Основное назначение: проверка гипотез о влиянии
внешних событий на посещаемость.
Например, влияние рекламы, маркетинговых акций
и т.д.

8. Dmitry Namiot
http://servletsuite.blogspot.com
Обзор работ

9. Dmitry Namiot
http://servletsuite.blogspot.com
Обзор работ

10. Dmitry Namiot
http://servletsuite.blogspot.com
Группы
• Группа мобильных
абонентов
периодически
собирается в
определенное время
• Не все участники
присутствуют на каждой
встрече
• Не все приходят
одновременно
• Как найти такие группы?

11. Dmitry Namiot
http://servletsuite.blogspot.com
Подходы к кластеризации
Увеличенный интервал Увеличенная частота

12. Dmitry Namiot
http://servletsuite.blogspot.com
Поиск групп
• Ищем кластеры для
каждого дня
• Определяем
последовательность
кластеров с
некоторым
минимальным
процентом общих
членов

13. Dmitry Namiot
http://servletsuite.blogspot.com
Заключение
• Новая модель для извлечения данных из логов
мобильного мониторинга
• Новый класс отчетов, ориентированный на
бизнес-приложения
• Тестирование на реальных данных: 8 групп из
11
• Области применения: приложения для Smart
Cities, торговля и сфера обслуживания