Enviar búsqueda
Cargar
Transformerを用いたAutoEncoderの設計と実験
•
1 recomendación
•
4,966 vistas
M
myxymyxomatosis
Seguir
VRChat ML集会 2023-01-11
Leer menos
Leer más
Ingeniería
Denunciar
Compartir
Denunciar
Compartir
1 de 18
Descargar ahora
Descargar para leer sin conexión
Recomendados
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
Recomendados
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
Generative Models(メタサーベイ )
Generative Models(メタサーベイ )
cvpaper. challenge
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
モデル高速化百選
モデル高速化百選
Yusuke Uchida
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
Fumihiko Takahashi
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
深層学習の数理
深層学習の数理
Taiji Suzuki
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
Google Cloud Platform - Japan
Async deepdive before de:code
Async deepdive before de:code
Kouji Matsui
Más contenido relacionado
La actualidad más candente
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
Generative Models(メタサーベイ )
Generative Models(メタサーベイ )
cvpaper. challenge
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
モデル高速化百選
モデル高速化百選
Yusuke Uchida
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
Fumihiko Takahashi
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
深層学習の数理
深層学習の数理
Taiji Suzuki
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
La actualidad más candente
(20)
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Generative Models(メタサーベイ )
Generative Models(メタサーベイ )
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Triplet Loss 徹底解説
Triplet Loss 徹底解説
ドメイン適応の原理と応用
ドメイン適応の原理と応用
モデル高速化百選
モデル高速化百選
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
全力解説!Transformer
全力解説!Transformer
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
backbone としての timm 入門
backbone としての timm 入門
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
深層学習の数理
深層学習の数理
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Similar a Transformerを用いたAutoEncoderの設計と実験
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
Google Cloud Platform - Japan
Async deepdive before de:code
Async deepdive before de:code
Kouji Matsui
Visual Studioで始めるTypeScript開発入門
Visual Studioで始めるTypeScript開発入門
Narami Kiyokura
音声認識技術の最新状況とあるべき未来
音声認識技術の最新状況とあるべき未来
Akira Hatsune
東京工業大学「ロボット技術・ロボットミドルウェア」
東京工業大学「ロボット技術・ロボットミドルウェア」
NoriakiAndo
pgCafeMitaka20090723
pgCafeMitaka20090723
Noriyuki Nonomura
Fabric + Amazon EC2で快適サポート生活 #PyFes
Fabric + Amazon EC2で快適サポート生活 #PyFes
Sho Shimauchi
100mpusとopc brick ev3 ご紹介
100mpusとopc brick ev3 ご紹介
Akira Hatsune
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
infinite_loop
Edge から Cloud, Beginner から Professional までサポートする Azure AI プラットフォーム
Edge から Cloud, Beginner から Professional までサポートする Azure AI プラットフォーム
IoTビジネス共創ラボ
TypeScript and Visual Studio Code
TypeScript and Visual Studio Code
Akira Inoue
はじめよう TypeScript - 入門から実践まで - 素の JavaScript とはさようなら!
はじめよう TypeScript - 入門から実践まで - 素の JavaScript とはさようなら!
Jun-ichi Sakamoto
Japan Robot Week 2014けいはんなロボットフォーラム
Japan Robot Week 2014けいはんなロボットフォーラム
Komei Sugiura
明治大学理工学部 特別講義 AI on Azure
明治大学理工学部 特別講義 AI on Azure
Daiyu Hatakeyama
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
Takeshi Ishita
An overview of query optimization in relational systems 論文紹介
An overview of query optimization in relational systems 論文紹介
Kumazaki Hiroki
メディアコンテンツ向け記事検索DBとして使うElasticsearch
メディアコンテンツ向け記事検索DBとして使うElasticsearch
Yasuhiro Murata
おとなのテキストマイニング
おとなのテキストマイニング
Munenori Sugimura
Good Parts of PHP and the UNIX Philosophy
Good Parts of PHP and the UNIX Philosophy
Yuya Takeyama
PhpStormで始める快適なWebアプリケーション開発 #phpcon2013
PhpStormで始める快適なWebアプリケーション開発 #phpcon2013
晃 遠山
Similar a Transformerを用いたAutoEncoderの設計と実験
(20)
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
Async deepdive before de:code
Async deepdive before de:code
Visual Studioで始めるTypeScript開発入門
Visual Studioで始めるTypeScript開発入門
音声認識技術の最新状況とあるべき未来
音声認識技術の最新状況とあるべき未来
東京工業大学「ロボット技術・ロボットミドルウェア」
東京工業大学「ロボット技術・ロボットミドルウェア」
pgCafeMitaka20090723
pgCafeMitaka20090723
Fabric + Amazon EC2で快適サポート生活 #PyFes
Fabric + Amazon EC2で快適サポート生活 #PyFes
100mpusとopc brick ev3 ご紹介
100mpusとopc brick ev3 ご紹介
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
Edge から Cloud, Beginner から Professional までサポートする Azure AI プラットフォーム
Edge から Cloud, Beginner から Professional までサポートする Azure AI プラットフォーム
TypeScript and Visual Studio Code
TypeScript and Visual Studio Code
はじめよう TypeScript - 入門から実践まで - 素の JavaScript とはさようなら!
はじめよう TypeScript - 入門から実践まで - 素の JavaScript とはさようなら!
Japan Robot Week 2014けいはんなロボットフォーラム
Japan Robot Week 2014けいはんなロボットフォーラム
明治大学理工学部 特別講義 AI on Azure
明治大学理工学部 特別講義 AI on Azure
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
マルウェア分類に用いられる特徴量 Kaggle - Malware Classification Challenge勉強会
An overview of query optimization in relational systems 論文紹介
An overview of query optimization in relational systems 論文紹介
メディアコンテンツ向け記事検索DBとして使うElasticsearch
メディアコンテンツ向け記事検索DBとして使うElasticsearch
おとなのテキストマイニング
おとなのテキストマイニング
Good Parts of PHP and the UNIX Philosophy
Good Parts of PHP and the UNIX Philosophy
PhpStormで始める快適なWebアプリケーション開発 #phpcon2013
PhpStormで始める快適なWebアプリケーション開発 #phpcon2013
Transformerを用いたAutoEncoderの設計と実験
1.
Transformerを用いた AutoEncoderの設計と実験 発表者:myxy ML集会
2.
誰? ● myxy(みきしぃ) ● 本業はプログラマ ●
機械学習は完全に趣味で勉強してる アバター作ったりもする アバターワールドの検索・表示システムとか作った
3.
Transformerを用いた AutoEncoderの設計と実験 発表者:myxy ML集会
4.
Transformer "Attention is All
You Need"より引用 ● 自然言語処理で活躍 ● 言語・音声等系列データの処理 ● パラメータが増えるほど強いらしい
5.
Transformerを用いた AutoEncoderの設計と実験 発表者:myxy ML集会
6.
AutoEncoder ● 入力次元より低い次元に圧縮してから 元のデータを復元する ● 入力と出力の誤差を最小化 ●
データに対して低次元の 特徴量が得られる 英語版wikipedia "AutoEncoder"より引用 (CC-BY-SA)https://en.wikipedia.org/wiki/Autoencoder#/ media/File:Autoencoder_structure.png
7.
動機 通常のAutoEncoderは入出力次元数が固定されており 長さが変化する系列データの処理はできない Transformerを使って 系列データのAutoEncoderを作りたい
8.
既存研究 "Masked Autoencoders Are
Scalable Vision Learners"より引用 AutoEncoderと銘打っているが やってることはマスクしたパッチの補間
9.
出力次元数を下げる ● 系列長は減らない ● あまり次元を下げると 位置情報が保持できなくなる 次元数を減らすのではなく 系列長を減らせるだろうか? ナイーブな方法 Transformer
Encoder 系列長n × 次元数256 ・・・ ・・・ 系列長n × 次元数128
10.
V K Q Transformerに使われる Query-Key-Value型のAttentionでは Queryに入力した系列と 同じ長さの系列が出力される 系列長n ・・・ 系列長n ・・・
11.
V K Q Transformerに使われる Query-Key-Value型のAttentionでは Queryに入力した系列と 同じ長さの系列が出力される 系列長n ・・・ 系列長n ・・・ Key-Valueの方に入力すれば 系列長を圧縮できるのでは?
12.
位置エンコーディング (潜在ベクトル用) ・・・ 潜在ベクトル系列 ・・・ Encoder (Transformer Decoder) 提案手法 Decoder (Transformer Decoder) 入力ベクトル系列 ・・・ 位置エンコーディング (入力ベクトル用) ・・・ + 位置エンコーディング (入力ベクトル用) ・・・ 出力ベクトル系列 ・・・ Key-Value Key-Value Query Query 同じ位置エンコーディ ングを使用 x
N x N 空間的な位置というより 潜在ベクトルを識別するIDに近い
13.
実験 ● CIFAR-10の画像データ(32x32)を 4x4のパッチに分割(64個x48次元) ● Encoder,
Decoderはそれぞれ6層の TransformerDecoder ● 位置エンコーディングは正規分布で初期化して 学習可能な位置埋め込みとした ● 詳しくはコード見て https://gist.github.com/myxyy/0e06c430652b35cd a4d56aaf21eb7fa9
14.
潜在ベクトルが16個の16次元ベクトルの場合 ● 左から入力画像、潜在ベクトル、出力画像 画像の位置埋め込み、潜在ベクトルの位置埋め込み ● 500epoch時点のvalidationのMSELossは0.00805
15.
● 500epoch時点のvalidationのMSELossは0.00646 ● 16x16よりちょっと鮮明になった 潜在ベクトルが32個の16次元ベクトルの場合
16.
● 500epoch時点のvalidationのMSELossは0.00480 ● 32x16よりも性能が良い 潜在ベクトルが16個の32次元ベクトルの場合
17.
考察 ● なんで32x16より16x32の方が性能いいの? ○ Transformerの系列は並び替えで変化しない ○
16x16は256次元ベクトルより16!倍弱い ○ 系列長を倍にしても情報量が倍にならない ○ ベクトルの次元数を増やす方が効率が良い
18.
今後の課題 ● 文字列等の本来やりたかった可変長系列の処理 ○ 画像をパッチ分割することで様々な解像度の 画像を処理可能? ●
潜在ベクトルから位置情報を分離したい ○ VAEのような正則化が必要?
Descargar ahora