Конференция Dev Party (http://devparty.ru). Вологда, 25.03.2017

1. Путь питониста,
или
Как мы перезапускали открытые
данные в России
25 марта 2017 года, Вологда
Пятая конференция разработчиков ПО «DevParty»
Елена Никитина
Аналитический центр при Правительстве РФ

2. Открытые данные:
что это, зачем они и где их взять?

3. Data Mining…
(Data Parsing, Data Scraping…)
Open data:
свобода доступа, свобода
использования, машиночитаемость
(исходник картинки с Локо-Банк)(картинка с http://cu-status.com.ua)
VS
• Не нужно лишней работы - данные уже кем-то подготовлены за вас
• Всегда в одном месте (обычно домен/opendata)
• Их кто-то хранит за вас (вместе с предыдущими версиями)
• Сами обновляются
• Совсем идеальный случай – данные связаны между собой (LOD)
• Просто берете и используете, бесплатно, без соглашений и ограничений…
• … качаете 10 Гб без ограничения скорости. Не то что на файлообменниках 3

4. Torgi.gov.ru – государственный сайт для проведения торгов

5. Проект Земельные торги России – удобный и простой доступ к торгам

6. Проект Земельные торги России – инициатива, которая что-то меняет

7. Проект Российские школы

8. Проект Российские школы

9. Проект Российские школы

10. Проект Российские школы – мотивирует открывать данные

11. 11
Кто выкладывает Где выкладывает
Федеральные, региональные,
муниципальные ОГВ
сайт/opendata. Например, минобрнауки.рф/opendata
Подведомственные
организации федеральных
ОГВ
сайт/opendata. Например, obrnadzor.gov.ru/opendata
Все те же самые На федеральном портале data.gov.ru
Все те же самые На отдельных порталах
Например, opendata.mon.gov.ru, opendata.gov35.ru
Все те же самые и кто угодно
через API
http://api.duma.gov.ru
Кто угодно на ftp ftp://free:free@ftp.zakupki.gov.ru,
ftp://gmuext:YctTa34AdOPyld2@ftp.bus.gov.ru
Кто угодно где угодно На своем портале: hubofdata.ru, kaggle.com
Где взять открытые данные?

12. Kaggle / ЗАДАЧИ + РЕШЕНИЯ + ДАННЫЕ. ОТКРЫТЫЕ ДАННЫЕ
‘Your Home for Data Science’
https://www.kaggle.com/Открытые данные в России 12

13. Как мы перезапускали
открытые данные в России

14. 2015 год: начало
14
• Федеральный портал открытых данных: менее 3 000 наборов данных плохого
качества ни о чем (большая часть которых не обновлялась с 2013 г).
• Программисты не знают, что такое открытые данные. И даже не спрашивают,
что это такое.
• Госорганы боятся программистов…
• …и тоже не знают, что такое открытые данные.
• Госорганы не хотят связываться с открытием новых данных.
2017 год: начало
• Федеральный портал открытых данных: почти 13 000 наборов данных, среди
них появились интересные обновляющиеся данные.
• Программисты начинают спрашивать, где взять открытые данные. И уже
перестали спрашивать, что это такое.
• Госорганы вживую встречаются с программистами на хакатонах…
• …и потихоньку начинают разбираться в своих собственных открытых данных.
• Госорганы начинают открывать данные по своей инициативе.

15. Какие мероприятия мы сделали за 2 года
15
• 4 хакатона Data.gov.ru Hackathon 2015-2016 гг. Последние – за 100 человек
участников. Бюджет – еда. Призы начали давать партнеры, начиная со
второго хакатона.
• Первый Всероссийский конкурс «Открытые данные Российской Федерации»
сентябрь-ноябрь 2015 г. Подано около 100 заявок. Бюджет: 0 рублей.
Госфинансирование: 0 рублей.
• Первый Общероссийский саммит по открытым данным декабрь 2015 г.
Бюджет 4,5 млн от привлеченных партнеров. Около 600 участников.
Госфинансирование: 0 рублей.
• Open Data Bootcamp – 2-месячный интенсив по обучению созданию стартапов
на открытых данных октябрь-ноябрь 2016 г. Подано 32 заявки, количество
участников: 15. Один из проектов, HouseScan, успешно развивается и
использует открытые данные. Бюджет: 0 рублей. Госфинансирование: 0
рублей. Участие: бесплатное.
• Семинары и вебинары для госорганов. Рекорд – больше 700 (!) человек на
вебинаре по открытым данным для региональных органов власти в 2016 г.
Выступления на митапах и конференциях и пр.

16. Федеральный портал data.gov.ru. Просто чтобы вы знали, что он есть
16

17. Открытые данные:
как Си-шник превратился в питониста
благодаря интересному проекту

18. Проект Декларатор – единственное в России место, где уцелели все данные о
доходах чиновников за много лет
18

19. Проект Декларатор – единственное в России место, где уцелели все данные о
доходах чиновников за много лет
19

20. Проект Декларатор: проблема в исходных данных
20
DOC, XLS, PDF…

21. Проект Декларатор: все еще на C#
21

22. Как поговорить с Moscow Python о менторах на хакатон…
и внезапно выступить на митапе
22

23. МК по парсингу данных… на Python (Нетология)
23

24. 24
МК по парсингу данных… на Python (Нетология) – пруф 
https://vimeo.com/200793648

25. 25
МК по парсингу данных… на Python (Нетология) – пруф 

26. БЛАГОДАРЮ ЗА ВНИМАНИЕ
Елена Никитина
Открытые данные в России
fb.com/OpenDataInRussia
e.nikitina@ac.gov.ru
fb.com/Shorstko