AI&BigData Lab 2016. Александр Баев: Transfer learning - зачем, как и где.

•

1 recomendación•3,400 vistas

4.6.16 AI&BigData Lab Upcoming events: goo.gl/I2gJ4H Поговорим об одной из базовых практических техник обучения нейронных сетей - предобучение, finetuning, transfer learning. В каких случаях применять, какие модели использовать, где их брать и как адаптировать.

Tecnología

ProblemsML problems
Computer Vision
Natural Language Processing
Signal processing
Predicting
Decision making
MODEL
INPUTS
INFERENCE
DS

Conventional approaches
Domain
specific
features
INPUTS
Model fitted
to specific
features set
INFERENCE
Assumes domain specific
research, conducted by
appropriate expert
(feature engineering)
Looks like hacks for
practical solutions

Neural Networks Solution
INPUTS
INFERENCE
Simple pre- and postprocessing:
scaling, shifting, etc.

Is Neural Networks is simple solution?
SVM
- Kernel type
- Smoothness
RANDOM FOREST
- Number of trees
- Trees’ depth
NEURAL NETWORKS

Is Neural Networks simple solution?
• A few dozens of thousands of samples – is not bad dataset
• A few hundreds of thousands of samples – is good dataset
• Overfitting is problem even for datasets with several millions samples

Transfer learning
Learning
system
Learning
system
Knowledge
Source task
Target task
Storing knowledge gained while
solving one problem and applying it
to a different but related problem

Transfer learning for Neural Networks
1) Train on Source Task
2) Remove last layers
3) Add new last layers
4) Train net for Target Task

Known topology
AlexNet
GoogleNet
VGG-16
ResNet-50

Weights transfer
Source task:
For example, train VGG-16 for ImageNet classification
(1.2*10^6 samples, 1000 classes)
Target task:
Remove last layer with 1000 outputs
Put your own last layer for N classes
=> same topology, weights initialized by weights from
source task’s net

When such flow can be used
Low amount of data Source and Target
tasks are similar

Transfer learning types
• New classifier (for example, SVM)
• Layer by Layer pretrain (for example, early autoencoders)
• Finetuning (with lower LR)

Examples. “Plankton” and AlexNet
“Plankton”
National Data Science Bowl
kaggle.com
Classes: 121 with hierarchy
Samples: ~30 000
AlexNet: 8 layers
inputs: 227x227

Examples. “Pankton” and Cifar10
“Plankton”
National Data Science Bowl
kaggle.com
Classes: 121 with hierarchy
Samples: ~30 000
AlexNet: 4 layers
inputs: 32x32

Example. “Drivers” and GoogleNet
“Drivers”
State Farm Distracted
Driver Detection
kaggle.com
Classes: 121 with hierarchy
Samples: ~30 000
AlexNet: 4 layers
inputs: 32x32

Model Zoo
CAFFE : ~ 30 models for different problems
https://github.com/BVLC/caffe/wiki/Model-Zoo
MatConvNet: ~10 models for different problems
http://www.vlfeat.org/matconvnet/pretrained/
TensorFlow:
https://github.com/tensorflow/models
Torch:
https://github.com/facebook/fb.resnet.torch
https://github.com/szagoruyko/loadcaffe

Más contenido relacionado

La actualidad más candente

Neural Network as a function

Taisuke Oe

Scene Classification is used in Convolutional Neural Networks (CNNs). We seek to redefine computer vision as an AI problem, understand the importance of scene classification as well as challenges, and the difference between traditional machine learning and deep learning. Additionally, we discuss CNNs, using caffe for implementing CNNs and importact reosources to imorove. CNNs Jayani Withanawasam

Scene classification using Convolutional Neural Networks - Jayani Withanawasam

WithTheBest

Understanding Convolutional Neural Networks

Jeremy Nixon

Introduction to CNN

Shuai Zhang

CNN Tutorial

Sungjoon Choi

Introduction to Convolutional Neural Networks

Hannes Hapke

Human Machine interface are constantly gaining improvements because of increasing development of computer tools. Handwritten Character Recognition do have various significant applications like form scanning, verification, validation, or checks reading. Because of the importance of these applications passionate research in the field of Off-Line handwritten character recognition is going on. The challenge in recognising the handwritings lies in the nature of humans, having unique styles in terms of font, contours, etc. This paper presents a novice approach to identify the offline characters; we call it as character divider approach which can be used after pre-processing stage. We devise an innovative approach for feature extraction known as vector contour. We also discuss the pros and cons including limitations, of our approach

Offline Character Recognition Using Monte Carlo Method and Neural Network

ijaia

CNN

Ukjae Jeong

LeNet to ResNet

Somnath Banerjee

Recently, Convolutional Neural Networks have been successfully applied to image segmentation tasks. Here we present some of the most recent techniques that increased the accuracy in such tasks. First we describe the Inception architecture and its evolution, which allowed to increase width and depth of the network without increasing the computational burden. We then show how to adapt classification networks into fully convolutional networks, able to perform pixel-wise classification for segmentation tasks. We finally introduce the hypercolumn technique to further improve state-of-the-art on various fine-grained localization tasks.

Modern Convolutional Neural Network techniques for image segmentation

Gioele Ciaparrone

Deep learning

Rouyun Pan

Cnn method

AmirSajedi1

Learning Convolutional Neural Networks for Graphs

Mathias Niepert

ujava.org Deep Learning with Convolutional Neural Network

신동 강

Lecture 29 Convolutional Neural Networks - Computer Vision Spring2015

Jia-Bin Huang

#4 Convolutional Neural Networks for Natural Language Processing

Berlin Language Technology

Image classification with Deep Neural Networks

Yogendra Tamang

Deep Learning Tutorial

Ligeng Zhu

Deep learning lecture - part 1 (basics, CNN)

SungminYou

Efficient Neural Network Architecture for Image Classfication

Yogendra Tamang

La actualidad más candente (20)

Neural Network as a function

Scene classification using Convolutional Neural Networks - Jayani Withanawasam

Understanding Convolutional Neural Networks

Introduction to CNN

CNN Tutorial

Introduction to Convolutional Neural Networks

Offline Character Recognition Using Monte Carlo Method and Neural Network

CNN

LeNet to ResNet

Modern Convolutional Neural Network techniques for image segmentation

Deep learning

Cnn method

Learning Convolutional Neural Networks for Graphs

ujava.org Deep Learning with Convolutional Neural Network

Lecture 29 Convolutional Neural Networks - Computer Vision Spring2015

#4 Convolutional Neural Networks for Natural Language Processing

Image classification with Deep Neural Networks

Deep Learning Tutorial

Deep learning lecture - part 1 (basics, CNN)

Efficient Neural Network Architecture for Image Classfication

Similar a AI&BigData Lab 2016. Александр Баев: Transfer learning - зачем, как и где.

Deep Learning and Watson Studio

Sasha Lazarevic

Learn to Build an App to Find Similar Images using Deep Learning- Piotr Teterwak

PyData

IBM Deep Learning Overview

David Solomon

Kernel analysis of deep networks

Behrang Mehrparvar

Deep Learning Enabled Question Answering System to Automate Corporate Helpdesk

Saurabh Saxena

Deep-learning-for-computer-vision-applications-using-matlab.pdf

AubainYro1

deeplearning

huda2018

Smaller and Easier: Machine Learning on Embedded Things

NUS-ISS

Distributed deep learning_over_spark_20_nov_2014_ver_2.8

Vijay Srinivas Agneeswaran, Ph.D

Introduction to deep learning

Amr Rashed

Georgia Tech cse6242 - Intro to Deep Learning and DL4J

Josh Patterson

Machine model to classify dogs and cat

Akash Parui

Deep learning is making news across the country as one of the most promising techniques in machine learning research. However, these methods are complex to implement, finicky to tune, and state-of-the-art accuracy is only achieved by a few experts in the field. In this session, we give a beginner-friendly explanation of deep learning using neural networks—what it is, what it does, and how; and introduce the concept of deep features, which allows you to obtain great performance with reduced running times and data set sizes. We then show how these methods can easily be deployed on GPU instances (G2) on Amazon EC2.

(CMP305) Deep Learning on AWS Made EasyCmp305

Amazon Web Services

Neural Networks with Focus on Language Modeling

Adel Rahimi

A Platform for Accelerating Machine Learning Applications

NVIDIA Taiwan

Introduction to deep learning

Vishwas Lele

Machine Learning

butest

http://imatge-upc.github.io/telecombcn-2016-dlcv/ Deep learning technologies are at the core of the current revolution in artificial intelligence for multimedia data analysis. The convergence of big annotated data and affordable GPU hardware has allowed the training of neural networks for data analysis tasks which had been addressed until now with hand-crafted features. Architectures such as convolutional neural networks, recurrent neural networks and Q-nets for reinforcement learning have shaped a brand new scenario in signal processing. This course will cover the basic principles and applications of deep learning to computer vision problems, such as image classification, object detection or text captioning.

Deep Learning for Computer Vision: Transfer Learning and Domain Adaptation (U...

Universitat Politècnica de Catalunya

Deep Learning for Machine Translation

Matīss ‎‎‎‎‎‎‎

Deep learning - Conceptual understanding and applications

Buhwan Jeong

Similar a AI&BigData Lab 2016. Александр Баев: Transfer learning - зачем, как и где. (20)

Deep Learning and Watson Studio

Learn to Build an App to Find Similar Images using Deep Learning- Piotr Teterwak

IBM Deep Learning Overview

Kernel analysis of deep networks

Deep Learning Enabled Question Answering System to Automate Corporate Helpdesk

Deep-learning-for-computer-vision-applications-using-matlab.pdf

deeplearning

Smaller and Easier: Machine Learning on Embedded Things

Distributed deep learning_over_spark_20_nov_2014_ver_2.8

Introduction to deep learning

Georgia Tech cse6242 - Intro to Deep Learning and DL4J

Machine model to classify dogs and cat

(CMP305) Deep Learning on AWS Made EasyCmp305

Neural Networks with Focus on Language Modeling

A Platform for Accelerating Machine Learning Applications

Introduction to deep learning

Machine Learning

Deep Learning for Computer Vision: Transfer Learning and Domain Adaptation (U...

Deep Learning for Machine Translation

Deep learning - Conceptual understanding and applications

Más de GeeksLab Odessa

DataScience Lab, 13 мая 2017 Коррекция геометрических искажений оптических спутниковых снимков Алексей Кравченко (Senior Data Scientist at Zoral Labs) Мы рассмотрим разнообразие существующих спутниковых данных и способов их применения в сельском и лесном хозяйстве, картографировании земной поверхности. Далее сфокусируемся на задаче геометрической коррекции снимков как первом шаге процесса обработки спутниковых данных, включая геопривязку снимков, регистрацию изображений, субпиксельную идентификацию контрольных точек, совмещение каналов. Также расскажем о некоторых интересных и неожиданных подходах к определению ориентации и jitter спутников и построению маски облачности. Все материалы: http://datascience.in.ua/report2017

DataScience Lab2017_Коррекция геометрических искажений оптических спутниковых...

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Kappa Architecture: How to implement a real-time streaming data analytics engine Juantomás García (Data Solutions Manager at OpenSistemas, Madrid, Spain) We will have an introduction of what is the kappa architecture vs lambda architecture. We will see how kappa architecture is a good solution to implement solutions in (almost) real time when we need to analyze data in streaming. We will show in a case of real use: how architecture is designed, how pipelines are organized and how data scientists use it. We will review the most used technologies to implement it from apache Kafka + spark using Scala to new tools like apache beam / google dataflow. Все материалы: http://datascience.in.ua/report2017

DataScience Lab 2017_Kappa Architecture: How to implement a real-time streami...

GeeksLab Odessa

DataScience Lab 2017_Блиц-доклад_Турский Виктор

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Обзор методов детекции лиц на изображение Юрий Пащенко ( Research Engineer, Ring Labs) В данном докладе мы предлагаем обзор наиболее новых и популярных методов обнаружения лиц, таких как Viola-Jones, Faster-RCNN, MTCCN и прочих. Мы обсудим основные критерии оценки качества алгоритма а также базы, включая FDDB, WIDER, IJB-A. Все материалы: http://datascience.in.ua/report2017

DataScience Lab 2017_Обзор методов детекции лиц на изображение

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Сходство пациентов: вычистка дубликатов и предсказание пропущенных диагнозов Виктор Сарапин (CEO at V.I.Tech) Как эффективно определять дубликаты на десятках миллионов пациентов, и как определять пропущенные диагнозы и лечебные действия. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_Сходство пациентов: вычистка дубликатов и предсказание про...

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Recent deep learning approaches for speech generation Дмитрий Белевцов (Techlead at IBDI) В последние пол года появилось несколько важных моделей на базе глубоких нейронных сетей, способных успешно синтезировать человеческую речь на уровне отдельных сэмплов. Это позволило обойти многие недостатки классических спектральных подходов. В этом докладе я сделаю небольшой обзор архитектур наиболее популярных сетей, таких как Wavenet и SampleRNN. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_Блиц-доклад

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Распределенные вычисления: использование BOINC в Data Science Виталий Кошура (Software Developer at Lohika) BOINC - это открытое программное обеспечение для распределенных вычислений. Данный доклад освещает использование приложения BOINC в различных областях науки, которые связаны с обработкой огромных массивов данных, на примере текущих активных исследовательских проектов. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_Блиц-доклад

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Магистерская программа "Data Science" в УКУ Орест Купин(Master's Student at UCU) В этом докладе я расскажу вам о магистерской программе со специализацией в анализе данных в Украинском Католическом Университете. Я расскажу про структуру программы, основные курсы, а также опишу свой опыт как студента УКУ и поговорю об вызовах с которыми мы столкнулись в этом году. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_Блиц-доклад

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Cервинг моделей, построенных на больших данных с помощью Apache Spark Степан Пушкарев (GM (Kazan) at Provectus / CTO at Hydrosphere.io) После подготовки данных и обучения моделей на больших данных с использованием Apache Spark встает вопрос о том, как использовать обученные модели в реальных приложениях. Помимо модели важно не забывать про весь пайплайн пре-процессинга данных, который должен попасть в продакшн в том виде, в котором его спроектировал и реализовал дата саентист. Такие решения, как PMML/PFA, основанные на экспорте/импорте модели и алгоритма имеют очевидные недостатки и ограничения. В данном докладе мы предложим альтернативное решение, которое упрощает процесс использования моделей и пайплайнов в реальных боевых приложениях. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_Cервинг моделей, построенных на больших данных с помощью A...

GeeksLab Odessa

DataScience Lab, 13 мая 2017 BioVec: Word2Vec в задачах анализа геномных данных и биоинформатики Дмитрий Новицкий (Старший научный сотрудник в ИПММС НАНУ) Этот доклад посвящен bioVec: применению технологии word2vec в задачах биоинфоматики. Сначала мы напомним как работает Word2vec и аналогичные ему методы Word Embedding. Затем расскажем об особенностях Word2vec в применении к геномным последовательностям-- основному виду данных в биоинформатике. Как обучать bioVec, и применять эту технологию к задачам классификации белков, предсказания их функции и др. В заключении мы продемонстрируем примеры кода для обучения и использования bioVec. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_BioVec: Word2Vec в задачах анализа геномных данных и биоин...

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Data Sciences и Big Data в Телекоме Александр Саенко (Software Engineer at SoftServe/CISCO) Александр расскажет о некоторых интересных примерах использования Big Data и Data Science в Телекоме: оптимизация сотовой сети, улучшение клиентского опыта, модели прогнозирования местоположения мобильных устройств, предотвращения оттока абонентов, обнаружение фрода и других. Рассмотрит основные современные подходы к их решению на основе алгоритмов машинного обучения. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_Data Sciences и Big Data в Телекоме_Александр Саенко

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Высокопроизводительные вычислительные возможности для систем анализа данных Михаил Федосеев ( Архитектор инфраструктурных решений, LanTec) В докладе мы поговорим о hardware стороне систем анализа данных для случаев построения приватных облаков или локальных высокопроизводительных вычислительных кластеров. Рассмотрим какие технологии и комплексные решения от компании Hewlett Packard Enterprise позволяют ускорить процесс анализа данных. Это не только зарекомендовавшие в своей области лучшие в своем сегменте сервера линейки HPE Apollo, а так же высокоскоростные сетевые коммутаторы HPE, но и дополнительные вспомогательные элементы решения, такие как мощные графические карты NVIDIA и хост-процессоры Xeon Phi. Так же будет рассмотрен стек HPE Core HPC Software Stack, который позволяет администраторам контролировать использование ресурсов системы. Все материалы доступны по ссылке: http://datascience.in.ua/report2017

DataScienceLab2017_Высокопроизводительные вычислительные возможности для сист...

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Мониторинг модных трендов с помощью глубокого обучения и TensorFlow, Ольга Романюк (Data Scientist at Eleks) В течении последних 8 месяцев мы в Eleks работали над системой отслеживания модных трендов, основанной на глубинной остаточной нейронной сети с тождественным отображением. При тренировке сети мы использовали онлайн увеличение объема данных, а также распараллеливание данных по двум картам GPU. Мы создали эту систему с нуля при помощи TensorFlow. В презентации я расскажу о практической стороне проекта, нюансах реализации и подводных камнях, с которыми мы столкнулись во время работы. Все материалы: http://datascience.in.ua/report2017

DataScience Lab 2017_Мониторинг модных трендов с помощью глубокого обучения и...

GeeksLab Odessa

DataScience Lab, 13 мая 2017 Кто здесь? Автоматическая разметка спикеров на телефонных разговорах Юрий Гуц (Machine Learning Engineer, DataRobot) Автоматическая аннотация спикеров — интересная задача в обработке мультимедиа-данных. Нам нужно ответить на вопрос "Кто говорит когда?", не зная ничего о количестве и личности спикеров, присутствующих на записи. В этом докладе мы рассмотрим работающие методы для аннотации спикеров на телефонных разговорах. Все материалы: http://datascience.in.ua/report2017

DataScience Lab 2017_Кто здесь? Автоматическая разметка спикеров на телефонны...

GeeksLab Odessa

From bag of texts to bag of clusters Терпиль Евгений / Павел Худан (Data Scientists / NLP Engineer at YouScan) Мы рассмотрим современные подходы к кластеризации текстов и их визуализации. Начиная от классического K-means на TF-IDF и заканчивая Deep Learning репрезентациями текстов. В качестве практического примера, мы проанализируем набор сообщений из соц. сетей и попробуем найти основные темы обсуждения. Все материалы: http://datascience.in.ua/report2017

DataScience Lab 2017_From bag of texts to bag of clusters_Терпиль Евгений / П...

GeeksLab Odessa

Графические вероятностные модели для принятия решений в проектном управлении Ольга Татаринцева (Data Scientist at Eleks) Как часто вам приходится принимать решения, используя знания в определенной предметной области? На сколько хороши такие решения? А теперь представьте, что вы собрали знания лучших экспертов в предметной области. Похоже, что ваши решения, основанные на этих знаниях, будут куда более взвешенными, не так ли? Мы будем говорить о системе ProjectHealth, которая была построена на основе опыта лучших экспертов в проектном управлении в компании Eleks. Для реализации поставленной задачи была использована графовая вероятностная модель, а именно байесовская сеть, имплементированная на Python. За время работы над проектом мы прошли шаги от извлечения требований, поиска данных и построения модели с нуля до реализации BI дашборда с возможностью углубиться в детали, доходя до сырых данных. Сейчас ProjectHealth экономит большое количество времени для топ менеджмента и ресурсов компании, так как мониторит состояние бизнеса в малейших деталях ежедневно и делает это как настоящий эксперт. Все материалы: http://datascience.in.ua/report2017

DataScience Lab 2017_Графические вероятностные модели для принятия решений в ...

GeeksLab Odessa

DataScienceLab, 13 мая 2017 Оптимизация гиперпараметров машинного обучения при помощи Байесовской оптимизации Максим Бевза (Research Engineer at Grammarly) Все алгоритмы машинного обучения нуждаются в настройке (тьюнинге). Часто мы используем Grid Search или Randomized Search или нашу интуицию для подбора гиперпараметров. Байесовская оптимизация поможет нам направить Randomized Search в те места, которые наиболее перспективны, так, чтобы тот же (или лучший) результат мы получили за меньшее количество итераций. Все материалы: http://datascience.in.ua/report2017

DataScienceLab2017_Оптимизация гиперпараметров машинного обучения при помощи ...

GeeksLab Odessa

DataScienceLab, 13 мая 2017 Как знать всё о покупателях (или почти всё)? Дарина Перемот (ML Engineer at SynergyOne) Раскроем собственный ответ на вопрос "Чего же хочет покупатель?". Поделимся результатами исследований транзакций и расскажем, есть ли у вас домашний питомец. А так же, продемонстрируем, как машинное обучение уже сейчас помогает узнавать вас ближе. Все материалы: http://datascience.in.ua/report2017

DataScienceLab2017_Как знать всё о покупателях (или почти всё)?_Дарина Перемот

GeeksLab Odessa

JS Lab 2017, 25 марта Mapbox GL: как работают современные интерактивные карты Владимир Агафонкин (Lead JavaScript Engineer at MapBox) Mapbox GL JS — открытая JS-библиотека для создания современных интерактивных карт на основе WebGL. В разработке более трех лет, она сочетает в себе множество удивительных технологий, сложных алгоритмов и идей для достижения плавной отрисовки тысяч векторных объектов с миллионами точек в реальном времени. В этом докладе вы узнаете, как работает библиотека внутри, и с какими сложностями сталкиваются разработчики современных WebGL-приложений. В докладе: отрисовка шрифтов, триангуляция линий и полигонов, пространственные индексы, определение коллизий, расстановка надписей, кластеризация точек, обрезка фигур, упрощение линий, упаковка спрайтов, компактные бинарные форматы, параллельная обработка данных в браузере, тестирование отрисовки и другие сложности. Все материалы: http://jslab.in.ua/2017

JS Lab 2017_Mapbox GL: как работают современные интерактивные карты_Владимир ...

GeeksLab Odessa

JS Lab2017, 25 марта, Одесса Под микроскопом: блеск и нищета микросервисов на node.js Илья Климов (CEO at Javascript.Ninja) "- Что это? - Микросервис! - И что он делает? - Микропадает". Про микросервисы сейчас не рассуждает только ленивый. Все рассказывают про то, как микросервисы спасают от сложности разработки, снижают время развертывание и повышают общую надежность систем. Этот доклад - про подводные камни, которые ждут оседлавших волну этого хайпа с Node.JS. Мы поговорим про ошибки, которые стоили мне и моей компании бессонных ночей, потерянной прибыли и, временами, веры в могущество микросервисной архитектуры. Все материалы: http://jslab.in.ua/ Организаторы: http://geekslab.org.ua/

JS Lab2017_Под микроскопом: блеск и нищета микросервисов на node.js

GeeksLab Odessa

Más de GeeksLab Odessa (20)