SlideShare una empresa de Scribd logo

[컨퍼런스] 모두콘 2018 리뷰

•
•
D
Donghyeon Kim

* 모두의연구소에서 2018년 12월에 진행한 Moducon 2018을 리뷰합니다. * 재밌게 들었던 발표 두 가지를 정리합니다 1. Research of Clova AI toward 'AI for Everyone' - 하정우 님 (Clova AI Research Director) 2. 나만 알고싶은 논문 - 민규식 님 (한양대학교) * 광주과학기술원 인공지능스터디 A-GIST 모임에서 발표했습니다. * 발표영상 (한국어, 유튜브): https://youtu.be/FRvlwaqrGHM

Tecnología
1 de 40
Descargar para leer sin conexión
MODUCON 2018 Review 2019. 02. 26. 김동현 dhkim518@gist.ac.kr
모두의 연구소 2 http://www.modulabs.co.kr/ https://www.facebook.com/lab4all/ https://github.com/modulabs
MODUCON 2018 3 • 모두의연구소 첫 컨퍼런스 (2018. 12. 15.) • AI 연구성과 발표, Deep Learning College(DLC) 1기 졸업작품, 랩짱 및 연사들의 Tutorial Session • 몇몇 발표의 경우, 발표 자료/ 발표 영상 제공 http://moducon.kr/2018/
오늘 리뷰할 발표 4 ※ 본 발표 자료는 MODUCON 2018 에 공개된 자료를 바탕으로 만들었습니다
5
검색 및 메신저 시장에서의 NAVER 와 LINE 6
• Clova: Cloud-based Virtual Assistant Clova: AI Assistant Platform of NAVER & LINE 7 Vision Speech Recognition/ Synthesis Recommen- dation Natural Language Understanding Machine Learning Deep Learning Model Research
• OCR: Optical Character Recognition 광학문자인식 (1) Detection: 이미지에서 text 검출하기 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition?fbclid=IwAR2844IsN0PG_G0Wwt_PkOBQTVhjCv3xbptEDlPiyzp6u7pFOD9m9qDTS-8 1. OCR 8 Remarks - CVPR2019 - Curved text 검출 가능
• OCR: Optical Character Recognition 광학문자인식 (2) Recognition: 검출한 text 인식하기 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition?fbclid=IwAR2844IsN0PG_G0Wwt_PkOBQTVhjCv3xbptEDlPiyzp6u7pFOD9m9qDTS-8 1. OCR 9 Remarks - OCR 데이터 셋의 종류는 다양한데, 각각의 데이터 수는 적다 - 위 테이블의 빈칸 채우기를 모두 다 진행, 기존 기법을 모두 다 구현했다 - 정확하고 빠르고 가볍게 (모바일 환경에서도 사용 가능한 모델 개발)
• Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 10
• Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 11
• Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 12 • 팬들은 그룹 자체도 좋아하지만 개별 멤버도 좋아한다 • AutoCAM: 전체 샷 영상으로부터 개별 멤버를 센터로 하는 직캠 만들기 • 필요한 기술이 많다 Tracking + Personal Re-identification + Pose Estimation + Face Recognition • 기존 기법의 조합으로 약 30 %  Clova 기술로 90 % 이상 정확도 달성 • Challenging Issues 옷도 비슷하고, 사람도 비슷하고, 안무 동선도 겹치고…
• Applications of tracking and re-id in in-the-wild video • AutoCut (www.vlive.tv/search/all?query=autocut) 2. Video AI 13
• Applications of tracking and re-id in in-the-wild video • AutoCut (www.vlive.tv/search/all?query=autocut) 2. Video AI 14 • 팬들은 그룹 자체도 좋아하지만 개별 멤버도 좋아한다 • 예능,버라이어티쇼에서 1시간 방송 분량 중 내 최애는 10분 남짓 나온다 • AutoCut: 전체 방송 영상으로부터 개별 멤버가 나오는 부분만 잘라내기
• Wavelet Pooling for Perfect Reconstruction • Max pooling은 perfect reconstruction을 할 수 없는 구조다 • Wavelet pooling은 기존의 정보를 살려내기 좋다 3. Super-Real Style Transfer 15 Yoo et al. 2018
• Wavelet Pooling for Perfect Reconstruction • Max pooling은 perfect reconstruction을 할 수 없는 구조다 • Wavelet pooling은 기존의 정보를 살려내기 좋다 3. Super-Real Style Transfer 16 Clova AI: 가장 오른쪽
• Super-real Style Transfer for Video • Photo-realistic • 화면 영상이 들쭉날쭉하면 안된다: Flickering이 심하면 영상을 보기 어렵다 3. Super-Real Style Transfer 17
18 ※ 본 자료는 최성준 박사의 edwith 강의 자료도 함께 참고하여 만들었습니다. https://www.edwith.org/bayesiandeeplearning/lecture/25292/
• 여러가지 사건/사고 Motivation 19 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
• Uncertainty: 모르는 건 모른다고 말하는 모델이 필요하다 Motivation 20 MNIST(0~9)로 학습한 딥러닝 모델
• Uncertainty: 모르는 건 모른다고 말하는 모델이 필요하다 Motivation 21 MNIST(0~9)로 학습한 딥러닝 모델 Input으로 C 를 준다면? 갑분씨..
Paper 22 2016.12.05. arXiv 2017 NIPS
논문의 특징 23 민규식 님, MODUCON 2018 발표자료
Non-Bayesian 기법 24 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
Non-Bayesian 기법 25 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
• Bayesian Neural Network (BNN) • 기존의 Uncertainty 평가는 주로 BNN 을 이용해서 수행했다 • 일반적인 Neural Network에 비해 Training 과정에 많은 변화가 필요하다 • 일반적인 Neural Network에 비해 많은 계산량이 필요하다 • 본 논문에서 제안하는 기법 • Non-Bayesian 기법 • Ensemble 을 이용하여 추정 성능을 향상시켰다 • Neural Network 구조나 하이퍼 파라미터의 변경이 거의 없어 구현이 쉽다 • 예측의 Uncertainty 추정 성능이 좋다 • Remark • 일반적으로 평소에 사용하는 모델이더라도 간단하게 조금만 변경하면 Uncertainty 추정을 위한 구조로 적용할 수 있다 Non-Bayesian 기법 26 민규식 님, MODUCON 2018 발표자료
• Ensemble Learning Method • 다수의 학습 알고리즘을 함께 사용하는 방법 • 본 논문에서는 불확실성을 측정하기 위한 도구로 사용한다 Ensemble Model 27 민규식 님, MODUCON 2018 발표자료
• Ensemble Learning Method • 다수의 학습 알고리즘을 함께 사용하는 방법 • 본 논문에서는 불확실성을 측정하기 위한 도구로 사용한다 Ensemble Model 28 Remark Input X에 대하여 Output Y 자체를 찾는 것이 아니라, Y의 파라미터를 찾는다: 평균과 분산 민규식 님, MODUCON 2018 발표자료
• Classification • Brier Score (BS): 사실상 일반적으로 사용하는 Loss function 과 같다 • 실제 Label 의 one-hot 벡터와 network의 output 사이의 squared error 의 평균 • Regression • 일반적인 regression 문제에서 NN은 single value output 을 도출 • 이를 학습하기 위해 보통 Mean Squared Error (MSE)를 주로 사용 • 하지만 MSE는 uncertainty를 포함하지 않는다 • Negative Log-likelihood (NLL) Ensemble Model 29 민규식 님, MODUCON 2018 발표자료
(Optional 한 내용으로, 꼭 추가할 필요는 없는 부분) • Remark. Data augmentation을 위한 부분 • Explaining and Harnessing Adversarial Examples 논문 기법 사용 • I.J. Goodfellow, J. Shlens, and C. Szegedy in ICLR, 2015 • Fast Gradient Sign Method를 이용하여 adversarial examples 생성 • Adversarial perturbation은 network의 loss 가 증가하는 방향으로 training data에 perturbation을 더한다 • Classifier의 Robustness 증가 Adversarial Training 30 긴팔원숭이판다곰 민규식 님, MODUCON 2018 발표자료
2. 각 네트워크의 Parameters Initialization 3. M개의 네트워크에 대해 반복 4. 전체 데이터셋에서 각 네트워크를 학습시키기 위한 Mini batch dataset 취득 5. Adversarial Example 생성 (Optional) 6. Loss를 최소화 하도록 각 네트워크의 파라미터 학습 학습 과정 31 민규식 님, MODUCON 2018 발표자료
• MNIST & Not-MNIST Result: Classification 32 민규식 님, MODUCON 2018 발표자료
• MC-Dropout 과 결과 비교 • Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning • R: Random signed vector  Adversarial example의 효과 확인을 위해 사용 • AT: Adversarial Training Result: Classification 33 MNIST로 학습 MNIST로 테스트 MNIST로 학습 Not-MNIST로 테스트 *엔트로피 0: 불확실성이 없다 *Ensemble을 쓰면 엔트로피 값이 커진다 *MC dropout 보다 Ensemble 효과가 좋다 민규식 님, MODUCON 2018 발표자료
• Known: Dogs (ImageNet), Unknown: Non-dogs (ImageNet) Result: Classification 34 Dogs로 학습 Dogs로 테스트 Dogs로 학습 Non-Dogs로 테스트 Dogs로 학습 Dogs로 테스트 Dogs로 학습 Non-Dogs로 테스트 Entropy Values *Dogs-Dogs  엔트로피 0: 불확실성이 없다 *Dogs-Ndogs  Ensemble 개수가 늘어나면서 엔트로피가 점점 커진다 Max. Predicted Probability *Dogs-Dogs  예측 확률이 거의 1이다 *Dogs-Ndogs  Ensemble 개수가 늘어나면서 예측 확률이 점점 낮아진다 민규식 님, MODUCON 2018 발표자료
Result: Regression 35 Empirical Variance (5) using MSE Density Network (1) using NLL Adversarial Training Deep Ensemble (5) Density Network Trick Positive 값으로 만들어주기 위해 Exp() 등으로 처리 Empirical Variance (5) Deep Ensemble (5) Ground truth curve Observed noisy training data Predicted mean along with standard deviation 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
• https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble Further Info. (민규식님 Github) 36 민규식 님, Github 자료, https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble
• https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble Further Info. (민규식님 Github) 37 민규식 님, Github 자료, https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble
• 느낀 점: 반성하게 된다 • 재미있는 연구를 많이 진행하고 있다 • 대학원생이 아니어도 누구나 연구를 진행하고 있다  열정 가득한 사람들이 모인 곳 • 게다가 잘 한다! Performance가 좋다! • 행사에서 아쉬웠던 점 (너무나 좋았던 행사지만 약간의 욕심을 더 낸다면) • 행사 시작 전에 발표 자료/ 발표 영상 공개를 미리 알았더라면.. • 무거운 토크와 가벼운 토크의 혼재: 각 잡고 들으려니 가볍고, 가볍게 들으려니 무거운.. • 연구학술대회와 기술개발커뮤니티 중간 어딘가의 포지셔닝 • 2019 MODUCON 도 기대합니다:) MODUCON 2018 리뷰 38
Thank you 39
• MC-Dropout 과 결과 비교 • Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning • R: Random signed vector  Adversarial example의 효과 확인을 위해 사용 • AT: Adversarial Training • AT를 사용하고 Ensemble 네트워크 개수가 늘어날수록  Classification 정확도도 높지만, Loss (score) 값인 NLL과 BS 값도 낮다 Appendix. Result: Classification 40

Recomendados

Modeling uncertainty in deep learning
Modeling uncertainty in deep learning Modeling uncertainty in deep learning
Modeling uncertainty in deep learning
Sungjoon Choi
 
Uncertainty Estimation in Deep Learning
Uncertainty Estimation in Deep LearningUncertainty Estimation in Deep Learning
Uncertainty Estimation in Deep Learning
Christian Perone
 
Uncertainty in Deep Learning
Uncertainty in Deep LearningUncertainty in Deep Learning
Uncertainty in Deep Learning
Roberto Pereira Silveira
 
Dropout as a Bayesian Approximation
Dropout as a Bayesian ApproximationDropout as a Bayesian Approximation
Dropout as a Bayesian Approximation
Sangwoo Mo
 
Uncertainty Quantification in AI
Uncertainty Quantification in AIUncertainty Quantification in AI
Uncertainty Quantification in AI
Florian Wilhelm
 
Fairness-aware Classifier with Prejudice Remover Regularizer
Fairness-aware Classifier with Prejudice Remover RegularizerFairness-aware Classifier with Prejudice Remover Regularizer
Fairness-aware Classifier with Prejudice Remover Regularizer
Toshihiro Kamishima
 
Monte carlo dropout and variational bound
Monte carlo dropout and variational boundMonte carlo dropout and variational bound
Monte carlo dropout and variational bound
天乐 杨
 
Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...
Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...
Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...
Bang Xiang Yong
 

Recomendados

Modeling uncertainty in deep learning
Modeling uncertainty in deep learning Modeling uncertainty in deep learning
Modeling uncertainty in deep learning
Sungjoon Choi
 
Uncertainty Estimation in Deep Learning
Uncertainty Estimation in Deep LearningUncertainty Estimation in Deep Learning
Uncertainty Estimation in Deep Learning
Christian Perone
 
Uncertainty in Deep Learning
Uncertainty in Deep LearningUncertainty in Deep Learning
Uncertainty in Deep Learning
Roberto Pereira Silveira
 
Dropout as a Bayesian Approximation
Dropout as a Bayesian ApproximationDropout as a Bayesian Approximation
Dropout as a Bayesian Approximation
Sangwoo Mo
 
Uncertainty Quantification in AI
Uncertainty Quantification in AIUncertainty Quantification in AI
Uncertainty Quantification in AI
Florian Wilhelm
 
Fairness-aware Classifier with Prejudice Remover Regularizer
Fairness-aware Classifier with Prejudice Remover RegularizerFairness-aware Classifier with Prejudice Remover Regularizer
Fairness-aware Classifier with Prejudice Remover Regularizer
Toshihiro Kamishima
 
Monte carlo dropout and variational bound
Monte carlo dropout and variational boundMonte carlo dropout and variational bound
Monte carlo dropout and variational bound
天乐 杨
 
Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...
Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...
Uncertainty Quantification with Unsupervised Deep learning and Multi Agent Sy...
Bang Xiang Yong
 
Bayesian Deep Learning
Bayesian Deep LearningBayesian Deep Learning
Bayesian Deep Learning
RayKim51
 
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
MLAI2
 
Surrogate models for uncertainty quantification and reliability analysis
Surrogate models for uncertainty quantification and reliability analysisSurrogate models for uncertainty quantification and reliability analysis
Surrogate models for uncertainty quantification and reliability analysis
Bruno Sudret
 
Ppt compressed sensing a tutorial
Ppt compressed sensing a tutorialPpt compressed sensing a tutorial
Ppt compressed sensing a tutorial
Terence Gao
 
Evolutionary Computing - Genetic Algorithms - An Introduction
Evolutionary Computing - Genetic Algorithms - An IntroductionEvolutionary Computing - Genetic Algorithms - An Introduction
Evolutionary Computing - Genetic Algorithms - An Introduction
martinp
 
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
On the Validity of Bayesian Neural Networks for Uncertainty EstimationOn the Validity of Bayesian Neural Networks for Uncertainty Estimation
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
Jane Dane
 
Presentation1
Presentation1Presentation1
Presentation1
Manvendra Yadav
 
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Universitat Politècnica de Catalunya
 
Intro to Deep Learning for Computer Vision
Intro to Deep Learning for Computer VisionIntro to Deep Learning for Computer Vision
Intro to Deep Learning for Computer Vision
Christoph Körner
 
Hands-on Deep Learning in Python
Hands-on Deep Learning in PythonHands-on Deep Learning in Python
Hands-on Deep Learning in Python
Imry Kissos
 
Deep Dive into Hyperparameter Tuning
Deep Dive into Hyperparameter TuningDeep Dive into Hyperparameter Tuning
Deep Dive into Hyperparameter Tuning
Shubhmay Potdar
 
Masked Autoencoders Are Scalable Vision Learners.pptx
Masked Autoencoders Are Scalable Vision Learners.pptxMasked Autoencoders Are Scalable Vision Learners.pptx
Masked Autoencoders Are Scalable Vision Learners.pptx
Sangmin Woo
 
Variational continual learning
Variational continual learningVariational continual learning
Variational continual learning
Nguyen Giang
 
Learning loss for active learning
Learning loss for active learningLearning loss for active learning
Learning loss for active learning
NAVER Engineering
 
Hyperparameter Optimization with Hyperband Algorithm
Hyperparameter Optimization with Hyperband AlgorithmHyperparameter Optimization with Hyperband Algorithm
Hyperparameter Optimization with Hyperband Algorithm
Deep Learning Italia
 
Bayesian Model-Agnostic Meta-Learning
Bayesian Model-Agnostic Meta-LearningBayesian Model-Agnostic Meta-Learning
Bayesian Model-Agnostic Meta-Learning
Sangwoo Mo
 
Deep Learning: Introduction & Chapter 5 Machine Learning Basics
Deep Learning: Introduction & Chapter 5 Machine Learning BasicsDeep Learning: Introduction & Chapter 5 Machine Learning Basics
Deep Learning: Introduction & Chapter 5 Machine Learning Basics
Jason Tsai
 
AnoGAN을 이용한 철강 소재 결함 검출 AI
AnoGAN을 이용한 철강 소재 결함 검출 AIAnoGAN을 이용한 철강 소재 결함 검출 AI
AnoGAN을 이용한 철강 소재 결함 검출 AI
HYEJINLIM10
 
Hyperparameter Tuning
Hyperparameter TuningHyperparameter Tuning
Hyperparameter Tuning
Jon Lederman
 
풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)
풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)
풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)
Bong-Ho Lee
 
딥러닝 세계에 입문하기 위반 분투
딥러닝 세계에 입문하기 위반 분투딥러닝 세계에 입문하기 위반 분투
딥러닝 세계에 입문하기 위반 분투
Ubuntu Korea Community
 
Image mining defect detection midterm final
Image mining defect detection midterm finalImage mining defect detection midterm final
Image mining defect detection midterm final
ssuserc8629a
 

Más contenido relacionado

La actualidad más candente

Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
MLAI2
 
Surrogate models for uncertainty quantification and reliability analysis
Surrogate models for uncertainty quantification and reliability analysisSurrogate models for uncertainty quantification and reliability analysis
Surrogate models for uncertainty quantification and reliability analysis
Bruno Sudret
 
Ppt compressed sensing a tutorial
Ppt compressed sensing a tutorialPpt compressed sensing a tutorial
Ppt compressed sensing a tutorial
Terence Gao
 
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Universitat Politècnica de Catalunya
 
Learning loss for active learning
Learning loss for active learningLearning loss for active learning
Learning loss for active learning
NAVER Engineering
 

La actualidad más candente (20)

Bayesian Deep Learning
Bayesian Deep LearningBayesian Deep Learning
Bayesian Deep Learning
 
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distrib...
 
Surrogate models for uncertainty quantification and reliability analysis
Surrogate models for uncertainty quantification and reliability analysisSurrogate models for uncertainty quantification and reliability analysis
Surrogate models for uncertainty quantification and reliability analysis
 
Ppt compressed sensing a tutorial
Ppt compressed sensing a tutorialPpt compressed sensing a tutorial
Ppt compressed sensing a tutorial
 
Evolutionary Computing - Genetic Algorithms - An Introduction
Evolutionary Computing - Genetic Algorithms - An IntroductionEvolutionary Computing - Genetic Algorithms - An Introduction
Evolutionary Computing - Genetic Algorithms - An Introduction
 
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
On the Validity of Bayesian Neural Networks for Uncertainty EstimationOn the Validity of Bayesian Neural Networks for Uncertainty Estimation
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
 
Presentation1
Presentation1Presentation1
Presentation1
 
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
Generative Adversarial Networks GAN - Xavier Giro - UPC TelecomBCN Barcelona ...
 
Intro to Deep Learning for Computer Vision
Intro to Deep Learning for Computer VisionIntro to Deep Learning for Computer Vision
Intro to Deep Learning for Computer Vision
 
Hands-on Deep Learning in Python
Hands-on Deep Learning in PythonHands-on Deep Learning in Python
Hands-on Deep Learning in Python
 
Deep Dive into Hyperparameter Tuning
Deep Dive into Hyperparameter TuningDeep Dive into Hyperparameter Tuning
Deep Dive into Hyperparameter Tuning
 
Masked Autoencoders Are Scalable Vision Learners.pptx
Masked Autoencoders Are Scalable Vision Learners.pptxMasked Autoencoders Are Scalable Vision Learners.pptx
Masked Autoencoders Are Scalable Vision Learners.pptx
 
Variational continual learning
Variational continual learningVariational continual learning
Variational continual learning
 
Learning loss for active learning
Learning loss for active learningLearning loss for active learning
Learning loss for active learning
 
Hyperparameter Optimization with Hyperband Algorithm
Hyperparameter Optimization with Hyperband AlgorithmHyperparameter Optimization with Hyperband Algorithm
Hyperparameter Optimization with Hyperband Algorithm
 
Bayesian Model-Agnostic Meta-Learning
Bayesian Model-Agnostic Meta-LearningBayesian Model-Agnostic Meta-Learning
Bayesian Model-Agnostic Meta-Learning
 
Deep Learning: Introduction & Chapter 5 Machine Learning Basics
Deep Learning: Introduction & Chapter 5 Machine Learning BasicsDeep Learning: Introduction & Chapter 5 Machine Learning Basics
Deep Learning: Introduction & Chapter 5 Machine Learning Basics
 
AnoGAN을 이용한 철강 소재 결함 검출 AI
AnoGAN을 이용한 철강 소재 결함 검출 AIAnoGAN을 이용한 철강 소재 결함 검출 AI
AnoGAN을 이용한 철강 소재 결함 검출 AI
 
Hyperparameter Tuning
Hyperparameter TuningHyperparameter Tuning
Hyperparameter Tuning
 
풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)
풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)
풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!)
 

Similar a [컨퍼런스] 모두콘 2018 리뷰

Image mining defect detection midterm final
Image mining defect detection midterm finalImage mining defect detection midterm final
Image mining defect detection midterm final
ssuserc8629a
 
[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation
[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation
[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation
taeseon ryu
 
2021-11-16 모두콘 딥러닝 경량화 발표
2021-11-16 모두콘 딥러닝 경량화 발표2021-11-16 모두콘 딥러닝 경량화 발표
2021-11-16 모두콘 딥러닝 경량화 발표
JongkukLim
 

Similar a [컨퍼런스] 모두콘 2018 리뷰 (20)

딥러닝 세계에 입문하기 위반 분투
딥러닝 세계에 입문하기 위반 분투딥러닝 세계에 입문하기 위반 분투
딥러닝 세계에 입문하기 위반 분투
 
Image mining defect detection midterm final
Image mining defect detection midterm finalImage mining defect detection midterm final
Image mining defect detection midterm final
 
"Dataset and metrics for predicting local visible differences" Paper Review
"Dataset and metrics for predicting local visible differences" Paper Review"Dataset and metrics for predicting local visible differences" Paper Review
"Dataset and metrics for predicting local visible differences" Paper Review
 
권기훈_포트폴리오
권기훈_포트폴리오권기훈_포트폴리오
권기훈_포트폴리오
 
Chapter 11 Practical Methodology
Chapter 11 Practical MethodologyChapter 11 Practical Methodology
Chapter 11 Practical Methodology
 
EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다
 
인공지능 방법론 - Deep Learning 쉽게 이해하기
인공지능 방법론 - Deep Learning 쉽게 이해하기인공지능 방법론 - Deep Learning 쉽게 이해하기
인공지능 방법론 - Deep Learning 쉽게 이해하기
 
2018 06-11-active-question-answering
2018 06-11-active-question-answering2018 06-11-active-question-answering
2018 06-11-active-question-answering
 
1 linear regression
1 linear regression1 linear regression
1 linear regression
 
01 linear regression
01 linear regression01 linear regression
01 linear regression
 
Loss function discovery for object detection via convergence simulation drive...
Loss function discovery for object detection via convergence simulation drive...Loss function discovery for object detection via convergence simulation drive...
Loss function discovery for object detection via convergence simulation drive...
 
[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation
[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation
[2023] Cut and Learn for Unsupervised Object Detection and Instance Segmentation
 
Workshop 210417 dhlee
Workshop 210417 dhleeWorkshop 210417 dhlee
Workshop 210417 dhlee
 
Nationality recognition
Nationality recognitionNationality recognition
Nationality recognition
 
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
 
머신러닝의 개념과 실습
머신러닝의 개념과 실습머신러닝의 개념과 실습
머신러닝의 개념과 실습
 
PYCON KR 2017 - 구름이 하늘의 일이라면 (윤상웅)
PYCON KR 2017 - 구름이 하늘의 일이라면 (윤상웅)PYCON KR 2017 - 구름이 하늘의 일이라면 (윤상웅)
PYCON KR 2017 - 구름이 하늘의 일이라면 (윤상웅)
 
TML studio & Beep 알고리즘 스터디, 오리엔테이션
TML studio & Beep 알고리즘 스터디, 오리엔테이션TML studio & Beep 알고리즘 스터디, 오리엔테이션
TML studio & Beep 알고리즘 스터디, 오리엔테이션
 
02 01 아이디어_발상법-김용경[최종]
02 01 아이디어_발상법-김용경[최종]02 01 아이디어_발상법-김용경[최종]
02 01 아이디어_발상법-김용경[최종]
 
2021-11-16 모두콘 딥러닝 경량화 발표
2021-11-16 모두콘 딥러닝 경량화 발표2021-11-16 모두콘 딥러닝 경량화 발표
2021-11-16 모두콘 딥러닝 경량화 발표
 

Más de Donghyeon Kim

Más de Donghyeon Kim (6)

[기초개념] Graph Convolutional Network (GCN)
[기초개념] Graph Convolutional Network (GCN)[기초개념] Graph Convolutional Network (GCN)
[기초개념] Graph Convolutional Network (GCN)
 
[기초개념] Recurrent Neural Network (RNN) 소개
[기초개념] Recurrent Neural Network (RNN) 소개[기초개념] Recurrent Neural Network (RNN) 소개
[기초개념] Recurrent Neural Network (RNN) 소개
 
[논문리뷰] Data Augmentation for 1D 시계열 데이터
[논문리뷰] Data Augmentation for 1D 시계열 데이터[논문리뷰] Data Augmentation for 1D 시계열 데이터
[논문리뷰] Data Augmentation for 1D 시계열 데이터
 
[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기
[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기
[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기
 
[Research] Detection of MCI using EEG Relative Power + DNN
[Research] Detection of MCI using EEG Relative Power + DNN[Research] Detection of MCI using EEG Relative Power + DNN
[Research] Detection of MCI using EEG Relative Power + DNN
 
[논문리뷰] 딥러닝 적용한 EEG 연구 소개
[논문리뷰] 딥러닝 적용한 EEG 연구 소개[논문리뷰] 딥러닝 적용한 EEG 연구 소개
[논문리뷰] 딥러닝 적용한 EEG 연구 소개
 

Último

Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)
Wonjun Hwang
 

Último (7)

도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'
도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'
도심 하늘에서 시속 200km로 비행할 수 있는 미래 항공 모빌리티 'S-A2'
 
A future that integrates LLMs and LAMs (Symposium)
A future that integrates LLMs and LAMs (Symposium)A future that integrates LLMs and LAMs (Symposium)
A future that integrates LLMs and LAMs (Symposium)
 
MOODv2 : Masked Image Modeling for Out-of-Distribution Detection
MOODv2 : Masked Image Modeling for Out-of-Distribution DetectionMOODv2 : Masked Image Modeling for Out-of-Distribution Detection
MOODv2 : Masked Image Modeling for Out-of-Distribution Detection
 
캐드앤그래픽스 2024년 5월호 목차
캐드앤그래픽스 2024년 5월호 목차캐드앤그래픽스 2024년 5월호 목차
캐드앤그래픽스 2024년 5월호 목차
 
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
Continual Active Learning for Efficient Adaptation of Machine LearningModels ...
 
Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)Grid Layout (Kitworks Team Study 장현정 발표자료)
Grid Layout (Kitworks Team Study 장현정 발표자료)
 
[Terra] Terra Money: Stability and Adoption
[Terra] Terra Money: Stability and Adoption[Terra] Terra Money: Stability and Adoption
[Terra] Terra Money: Stability and Adoption
 

[컨퍼런스] 모두콘 2018 리뷰

  • 1. MODUCON 2018 Review 2019. 02. 26. 김동현 dhkim518@gist.ac.kr
  • 3. MODUCON 2018 3 • 모두의연구소 첫 컨퍼런스 (2018. 12. 15.) • AI 연구성과 발표, Deep Learning College(DLC) 1기 졸업작품, 랩짱 및 연사들의 Tutorial Session • 몇몇 발표의 경우, 발표 자료/ 발표 영상 제공 http://moducon.kr/2018/
  • 4. 오늘 리뷰할 발표 4 ※ 본 발표 자료는 MODUCON 2018 에 공개된 자료를 바탕으로 만들었습니다
  • 5. 5
  • 6. 검색 및 메신저 시장에서의 NAVER 와 LINE 6
  • 7. • Clova: Cloud-based Virtual Assistant Clova: AI Assistant Platform of NAVER & LINE 7 Vision Speech Recognition/ Synthesis Recommen- dation Natural Language Understanding Machine Learning Deep Learning Model Research
  • 8. • OCR: Optical Character Recognition 광학문자인식 (1) Detection: 이미지에서 text 검출하기 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition?fbclid=IwAR2844IsN0PG_G0Wwt_PkOBQTVhjCv3xbptEDlPiyzp6u7pFOD9m9qDTS-8 1. OCR 8 Remarks - CVPR2019 - Curved text 검출 가능
  • 9. • OCR: Optical Character Recognition 광학문자인식 (2) Recognition: 검출한 text 인식하기 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition?fbclid=IwAR2844IsN0PG_G0Wwt_PkOBQTVhjCv3xbptEDlPiyzp6u7pFOD9m9qDTS-8 1. OCR 9 Remarks - OCR 데이터 셋의 종류는 다양한데, 각각의 데이터 수는 적다 - 위 테이블의 빈칸 채우기를 모두 다 진행, 기존 기법을 모두 다 구현했다 - 정확하고 빠르고 가볍게 (모바일 환경에서도 사용 가능한 모델 개발)
  • 10. • Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 10
  • 11. • Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 11
  • 12. • Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 12 • 팬들은 그룹 자체도 좋아하지만 개별 멤버도 좋아한다 • AutoCAM: 전체 샷 영상으로부터 개별 멤버를 센터로 하는 직캠 만들기 • 필요한 기술이 많다 Tracking + Personal Re-identification + Pose Estimation + Face Recognition • 기존 기법의 조합으로 약 30 %  Clova 기술로 90 % 이상 정확도 달성 • Challenging Issues 옷도 비슷하고, 사람도 비슷하고, 안무 동선도 겹치고…
  • 13. • Applications of tracking and re-id in in-the-wild video • AutoCut (www.vlive.tv/search/all?query=autocut) 2. Video AI 13
  • 14. • Applications of tracking and re-id in in-the-wild video • AutoCut (www.vlive.tv/search/all?query=autocut) 2. Video AI 14 • 팬들은 그룹 자체도 좋아하지만 개별 멤버도 좋아한다 • 예능,버라이어티쇼에서 1시간 방송 분량 중 내 최애는 10분 남짓 나온다 • AutoCut: 전체 방송 영상으로부터 개별 멤버가 나오는 부분만 잘라내기
  • 15. • Wavelet Pooling for Perfect Reconstruction • Max pooling은 perfect reconstruction을 할 수 없는 구조다 • Wavelet pooling은 기존의 정보를 살려내기 좋다 3. Super-Real Style Transfer 15 Yoo et al. 2018
  • 16. • Wavelet Pooling for Perfect Reconstruction • Max pooling은 perfect reconstruction을 할 수 없는 구조다 • Wavelet pooling은 기존의 정보를 살려내기 좋다 3. Super-Real Style Transfer 16 Clova AI: 가장 오른쪽
  • 17. • Super-real Style Transfer for Video • Photo-realistic • 화면 영상이 들쭉날쭉하면 안된다: Flickering이 심하면 영상을 보기 어렵다 3. Super-Real Style Transfer 17
  • 18. 18 ※ 본 자료는 최성준 박사의 edwith 강의 자료도 함께 참고하여 만들었습니다. https://www.edwith.org/bayesiandeeplearning/lecture/25292/
  • 19. • 여러가지 사건/사고 Motivation 19 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
  • 20. • Uncertainty: 모르는 건 모른다고 말하는 모델이 필요하다 Motivation 20 MNIST(0~9)로 학습한 딥러닝 모델
  • 21. • Uncertainty: 모르는 건 모른다고 말하는 모델이 필요하다 Motivation 21 MNIST(0~9)로 학습한 딥러닝 모델 Input으로 C 를 준다면? 갑분씨..
  • 23. 논문의 특징 23 민규식 님, MODUCON 2018 발표자료
  • 24. Non-Bayesian 기법 24 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
  • 25. Non-Bayesian 기법 25 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
  • 26. • Bayesian Neural Network (BNN) • 기존의 Uncertainty 평가는 주로 BNN 을 이용해서 수행했다 • 일반적인 Neural Network에 비해 Training 과정에 많은 변화가 필요하다 • 일반적인 Neural Network에 비해 많은 계산량이 필요하다 • 본 논문에서 제안하는 기법 • Non-Bayesian 기법 • Ensemble 을 이용하여 추정 성능을 향상시켰다 • Neural Network 구조나 하이퍼 파라미터의 변경이 거의 없어 구현이 쉽다 • 예측의 Uncertainty 추정 성능이 좋다 • Remark • 일반적으로 평소에 사용하는 모델이더라도 간단하게 조금만 변경하면 Uncertainty 추정을 위한 구조로 적용할 수 있다 Non-Bayesian 기법 26 민규식 님, MODUCON 2018 발표자료
  • 27. • Ensemble Learning Method • 다수의 학습 알고리즘을 함께 사용하는 방법 • 본 논문에서는 불확실성을 측정하기 위한 도구로 사용한다 Ensemble Model 27 민규식 님, MODUCON 2018 발표자료
  • 28. • Ensemble Learning Method • 다수의 학습 알고리즘을 함께 사용하는 방법 • 본 논문에서는 불확실성을 측정하기 위한 도구로 사용한다 Ensemble Model 28 Remark Input X에 대하여 Output Y 자체를 찾는 것이 아니라, Y의 파라미터를 찾는다: 평균과 분산 민규식 님, MODUCON 2018 발표자료
  • 29. • Classification • Brier Score (BS): 사실상 일반적으로 사용하는 Loss function 과 같다 • 실제 Label 의 one-hot 벡터와 network의 output 사이의 squared error 의 평균 • Regression • 일반적인 regression 문제에서 NN은 single value output 을 도출 • 이를 학습하기 위해 보통 Mean Squared Error (MSE)를 주로 사용 • 하지만 MSE는 uncertainty를 포함하지 않는다 • Negative Log-likelihood (NLL) Ensemble Model 29 민규식 님, MODUCON 2018 발표자료
  • 30. (Optional 한 내용으로, 꼭 추가할 필요는 없는 부분) • Remark. Data augmentation을 위한 부분 • Explaining and Harnessing Adversarial Examples 논문 기법 사용 • I.J. Goodfellow, J. Shlens, and C. Szegedy in ICLR, 2015 • Fast Gradient Sign Method를 이용하여 adversarial examples 생성 • Adversarial perturbation은 network의 loss 가 증가하는 방향으로 training data에 perturbation을 더한다 • Classifier의 Robustness 증가 Adversarial Training 30 긴팔원숭이판다곰 민규식 님, MODUCON 2018 발표자료
  • 31. 2. 각 네트워크의 Parameters Initialization 3. M개의 네트워크에 대해 반복 4. 전체 데이터셋에서 각 네트워크를 학습시키기 위한 Mini batch dataset 취득 5. Adversarial Example 생성 (Optional) 6. Loss를 최소화 하도록 각 네트워크의 파라미터 학습 학습 과정 31 민규식 님, MODUCON 2018 발표자료
  • 32. • MNIST & Not-MNIST Result: Classification 32 민규식 님, MODUCON 2018 발표자료
  • 33. • MC-Dropout 과 결과 비교 • Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning • R: Random signed vector  Adversarial example의 효과 확인을 위해 사용 • AT: Adversarial Training Result: Classification 33 MNIST로 학습 MNIST로 테스트 MNIST로 학습 Not-MNIST로 테스트 *엔트로피 0: 불확실성이 없다 *Ensemble을 쓰면 엔트로피 값이 커진다 *MC dropout 보다 Ensemble 효과가 좋다 민규식 님, MODUCON 2018 발표자료
  • 34. • Known: Dogs (ImageNet), Unknown: Non-dogs (ImageNet) Result: Classification 34 Dogs로 학습 Dogs로 테스트 Dogs로 학습 Non-Dogs로 테스트 Dogs로 학습 Dogs로 테스트 Dogs로 학습 Non-Dogs로 테스트 Entropy Values *Dogs-Dogs  엔트로피 0: 불확실성이 없다 *Dogs-Ndogs  Ensemble 개수가 늘어나면서 엔트로피가 점점 커진다 Max. Predicted Probability *Dogs-Dogs  예측 확률이 거의 1이다 *Dogs-Ndogs  Ensemble 개수가 늘어나면서 예측 확률이 점점 낮아진다 민규식 님, MODUCON 2018 발표자료
  • 35. Result: Regression 35 Empirical Variance (5) using MSE Density Network (1) using NLL Adversarial Training Deep Ensemble (5) Density Network Trick Positive 값으로 만들어주기 위해 Exp() 등으로 처리 Empirical Variance (5) Deep Ensemble (5) Ground truth curve Observed noisy training data Predicted mean along with standard deviation 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
  • 36. • https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble Further Info. (민규식님 Github) 36 민규식 님, Github 자료, https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble
  • 37. • https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble Further Info. (민규식님 Github) 37 민규식 님, Github 자료, https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble
  • 38. • 느낀 점: 반성하게 된다 • 재미있는 연구를 많이 진행하고 있다 • 대학원생이 아니어도 누구나 연구를 진행하고 있다  열정 가득한 사람들이 모인 곳 • 게다가 잘 한다! Performance가 좋다! • 행사에서 아쉬웠던 점 (너무나 좋았던 행사지만 약간의 욕심을 더 낸다면) • 행사 시작 전에 발표 자료/ 발표 영상 공개를 미리 알았더라면.. • 무거운 토크와 가벼운 토크의 혼재: 각 잡고 들으려니 가볍고, 가볍게 들으려니 무거운.. • 연구학술대회와 기술개발커뮤니티 중간 어딘가의 포지셔닝 • 2019 MODUCON 도 기대합니다:) MODUCON 2018 리뷰 38
  • 40. • MC-Dropout 과 결과 비교 • Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning • R: Random signed vector  Adversarial example의 효과 확인을 위해 사용 • AT: Adversarial Training • AT를 사용하고 Ensemble 네트워크 개수가 늘어날수록  Classification 정확도도 높지만, Loss (score) 값인 NLL과 BS 값도 낮다 Appendix. Result: Classification 40