Más contenido relacionado
La actualidad más candente (20)
Similar a Semi-Supervised Neural Architecture Search (20)
Semi-Supervised Neural Architecture Search
- 1. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
DLゼミ
Semi-Supervised Neural
Architecture Search
北海道大学 大学院情報科学研究院
情報理工学部門 複合情報工学分野 調和系工学研究室
修士1年 赤坂駿斗
- 2. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
2
論文情報
• 著者
Renqian Luo, Xu Tan, Rui Wang, Tao Qin, Enhong Chen,
Tie-Yan Liu
- University of Science and Technology of China
- Microsoft Research Asia
• 発表
Advances in Neural Information Processing Systems 33
(NeurIPS 2020)
• リンク
https://papers.nips.cc/paper/2020/hash/77305c2f862ad1d353f
55bf38e5a5183-Abstract.html
- 3. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
3
概要
• ニューラルアーキテクチャ検索(NAS)は、優れた
コントローラを使用して、より優れたアーキテクチャを生成
したり、特定のアーキテクチャの精度を予測する.
- コントローラーの学習には, 高品質なアーキテクチャ及び精度が必要
- 精度を正確に評価するにはコストがかかる
• 本論文では, 半教師付きNASアプローチであるSemiNASを
提案する.
• 画像分類タスクおよび音声合成タスクでの実験により,
計算コストを削減して, 従来のNASと同等の精度を実現.
従来のNASと同等の計算コストでより高い精度を実現.
- 4. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
4
NAS
Neural Architecture Search with Reinforcement Learning
で2016年5月に提唱された
CNN・RNNの探索を行う
1. Controller RNNが設定したChild NetworkのハイパーパラメータでChild
Networkを学習する
2. 学習後のChild Networkで検証データに対するAccuracyを算出する
3. このAccuracyをController RNNの報酬とする
4. 報酬をもとに方策勾配法(Policy Gradient)によってController RNNを
更新する
- 5. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
5
背景
最初のNAS論文と関連研究により, 計算コストに問題が
あり, 計算コストと精度はトレードオフな関係であるこ
とがわかっている.
本論文では,
C = N × T
を計算コストとし提案手法のSemiNASによって,
Nを削減する.
C: 計算コスト
N: 候補アーキテクチャ数
(コントローラと精度のペア数)
T: 各候補アーキテクチャの計算時間
- 6. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
6
提案手法
• SemiNAS
ラベルありアーキテクチャとラベル無しアー
キテクチャの両方から学習する.
→半教師付き学習を適用
- 7. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
7
提案手法(半教師付き学習)
• SemiNASでは, 精度の数値がないアーキテク
チャを使って学習するため, 半教師付き学習を
訓練する.
?
- 8. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
8
提案手法(半教師付き学習)
• 半教師付き学習の3ステップ
- エンコーダ fe,予測器 fp,デコーダ fd を,N 個の
アーキテクチャと精度のペアで学習する.
各アーキテクチャを学習し,評価する.
- M個のラベルなしのアーキテクチャを生成し,
学習したエンコーダ fe と予測器 fp を用いて,
そのアーキテクチャの精度を予測する.
- N個のアーキテクチャ-精度ペアとM個の自己ラベル付き
ペアの両方を使って、より良い精度予測器を訓練する。
- 9. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
9
提案手法(SemiNAS)
1-4行目: 入力・設定
5行目: ラベルありの学習
6-8行目: ラベル無しの学習
9-10行目: 新しいアーキテクチャの生成(NAOの適用)
12行目: アウトプット
NAO: 2018年8月に発表されたニューラルアーキテクチャの
自動設計手法. 本論文のベースライン
- 10. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
10
画像分類への応用
• NASBench-101
- NASの実験用ベンチマーク
- SemiNASは同じ数のアーキテクチャで優れた精度を示し, より
少ないリソースでベースラインと同等の精度を示した.
- 11. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
11
画像分類への応用
• ImageNet
- 大規模なカラー写真の画像データベース
- SemiNASは他のNAS作品より優れたTop-1 エラー率を達成した.
Top-1 エラー率: 回答候補の不正解率
- 2021年 6月現在ではBossNet-T1+が17.8%でtop
- 12. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
12
Text to Speechへの応用
• Text to Speech
- テキストから自然な音声を合成することを目的としたタスク
- 他のタスクと比べて, 人間の評価を必要とする
• 評価指標
エンコーダとデコーダの間のアテンションアライメントの品質
が合成音声の品質に影響を与えることからDFRを用いる.
DFR: エンコーダとデコーダ間のアテンションマップの対角線
フォーカス率
• タスク設定
1) 低リソース設定
音声とテキストのデータが少ない
2) ロバストネス設定
テキストが規則的ではない
- 13. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
13
Text to Speechへの応用
1. 低リソース設定
(データ数:1500, N: 100, M: 4000, T: 3)
Intelligibility Rate:
単語レベルの音声の明瞭度を評価するための一般的な指標[1]
• 結果
IRとDFRについてSemiNASが優れた結果を示した. 本論文提案
指標であるDFRがIRの結果と一致しており, 提案指標が優れた
精度に導くことを示している.
[1] Yi Ren, Xu Tan, Tao Qin, Sheng Zhao, Zhou Zhao, and Tie-Yan Liu. Almost unsupervised text
to speech and automatic speech recognition. arXiv preprint arXiv:1905.06791, 2019.
- 14. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
14
Text to Speechへの応用
2. ロバストネス設定
(データ数:100, N: 100, M: 4000, T: 3)
Repeat: 単語の繰り返し
Skip: 単語の損失
Error: 文章単位のエラー率(RepeatやSkipを含む文)
• 結果
TTSモデルが苦手とするテキストが不規則な100文を選
択. SemiNASは他の手法に比べ, DFRを上げErrorを抑え
た.
- 15. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
15
まとめ
• ニューラルアーキテクチャ検索(NAS)は、優れた
コントローラを使用して、より優れたアーキテクチャを生成
したり、特定のアーキテクチャの精度を予測する.
- コントローラーの学習には, 高品質なアーキテクチャ及び精度が必要
- 精度を正確に評価するにはコストがかかる
• 本論文では, 半教師付きNASアプローチであるSemiNASを
提案する.
• 画像分類タスクおよび音声合成タスクでの実験により,
計算コストを削減して, 従来のNASと同等の精度を実現.
従来のNASと同等の計算コストでより高い精度を実現.