bayesian networks and their applications

1. Байесовские сети и их приложения. Смирнова Н.В. ИПУ РАН , 2011

4. Определение БС - 1 БС – графическая вероятностная модель A, B булевские (принимают значения из {true, false} (могут быть непрерывными , дискретными) A B

5. Используемые обозначения - 1 - вектор , Априорная вероятность всех возможных значений сл. величины :

6. Используемые обозначения - 2 - вектор , полное совместное распределение случайных величин

7. Основные вероятностные вопросы к БС A B «добрый» «толстый» С «любит покушать» «От причин к следствиям» «От следствий к причинам» «Имеют место одновременно»

8. Таблицы условных вероятностей (параметры БС)-2 A B Таблицы условных или безусловных вероятностей в БС можно представить более компактно

9. Таблицы условных вероятностей (параметры БС)-1 A B Каждому узлу БС приписывается таблица условных или безусловных вероятностей

10. Таблицы условных вероятностей (параметры БС)-3 A B БС с «компактными» таблицами условной и безусловной вероятности

11. Основные формулы байесовского подхода (1) (2) (3) (4) (5) (6) (опр. усл. вер.) (из 1) (из 1) (из 2 , 3) (теорема Байеса , из 4) (ф-ла полн. вер. , из 5)

12. Вероятностные вопросы к БС-1 A B «добрый» «толстый» С «любит покушать»

13. Вероятностные вопросы к БС-2 Поскольку вероятность любого высказывания A равна сумме вероятностей атомарных событий , где A=true, то A B C имеем : Возможные события : Как найти величину типа

14. Вероятностные вопросы к БС-3 Parents(X 1 ) С помощью … Поскольку в БС Теорема о декомпозиции :

15. Вероятностные вопросы к БС-4 В силу теоремы о декомпозиции , Например , это означает , что :

16. Вероятностные вопросы к БС-5 A B C Возвращаясь к нашему примеру , имеем :

17. Вероятностные вопросы к БС-6 Итак , мы вычислили , что A B «добрый» «толстый» С «любит покушать»

18. Вероятностные вопросы к БС-7 A B «добрый» «толстый» С «любит покушать»

19. Вероятностные вопросы к БС-8 Согласно опр. усл. вер. , A B C (полн. вер.) Надо вычислить 6 величин вида Причем некоторые повторяются. Нельзя ли сэкономить ?

20. Вероятностные вопросы к БС-9 Можно. Существует прием «нормализация» Было нужно вычислить 6 величин , теперь 4 : 2 2 Экономия вычислений очевидна.

21. Вероятностные вопросы к БС-10 A B C Возвращаясь к нашему примеру , имеем :

22. Вероятностные вопросы к БС-11 Итак , мы вычислили , что A B «добрый» «толстый» С «любит покушать»

23. Вероятностные вопросы к БС-12 A B «добрый» «толстый» С «любит покушать»

24. Вероятностные вопросы к БС-13 Согласно опр. усл. вер. , A B C Этот пример сводится к предыдущему (вычисляется аналогично)

25. Вероятностные вопросы к БС-14 Односвязная сеть (сложность линейная) A B C В примере максимум понадобилось вычислить 4 величины Основные типы вопросов

26. Вероятностные вопросы к БС-15 Многосвязная сеть (в общем случае вывод NP- труден) Здесь нужно вычислить уже 32 величины!

27. Наивный байесовский классификатор Предполагается , что независимы , т.е. С Fn F 1 … (вероятности принадлежности наблюдения к одному из классов C при условии того , что зависимые пер-ые принимают заданные значения

28. Наивный байесовский классификатор. Фильтрация спама offer is secret click secret link secret sports link SPAM play sports today went play sports secret sports event sports is today sport costs money HAM Message w n w 1 … secret is secret w 1 w 2 w 3 Dictionary {offer, is, secret,…,money} 12 слов

29. Наивный байесовский классификатор. Обучение-1 Обучение происходит с использованием следующей формулы ( “Laplacian smoothing”): - сглаживающий параметр. Задаем сами - количество примеров для обучения - количество примеров , в которых - количество возможных значений

30. Наивный байесовский классификатор. Обучение-2 offer is secret click secret link secret sports link SPAM play sports today went play sports secret sports event sports is today sport costs money HAM Message w n w 1 … Пусть , тогда

31. Наивный байесовский классификатор. Обучение-3 offer is secret click secret link secret sports link SPAM play sports today went play sports secret sports event sports is today sport costs money HAM Message w n w 1 … Пусть , тогда

32. Наивный байесовский классификатор. Использование-1 Пусть получено сообщение M= « today is secret » M= « today is secret » w 1 w 2 w 3 w 3 w 1 … spam w 2 аналогично вычисляется

33. Наивный байесовский классификатор. Использование-2 где M= « today is secret » w 3 w 1 … spam w 2 Пусть Тогда

34. СММ и БС СММ определяется как БС следующего вида : … Последовательность скрытых состояний , изменяющихся с течением времени Каждое состояние зависит только от предыдущего Для каждого состояния известно измерение (наблюдение) в соотв. момент времени Параметры : «модель перехода» «модель наблюдения»

35. Спасибо за внимание!