AI界隈の最新動向2020

1. AI界隈の最新動向2020
～合同勉強会version～
４８(@bleu48)
岡山自作AIの会

2. 今年の岡山自作AIの会
２月
オカヤマ コンピュータサイエンス ラボ＠クラスメソッド岡山オフィス
共催の体で一枠講演
８月
PyCon JP 2020 Keynote
そして今日の今です
コロナ禍とはいえコミュニティ活動出来てませんね。

3. 個人的には
５月 世界コンピュータ将棋選手権 中止
代わりに世界コンピュータ将棋オンライン大会と銘打ってオンライン開
催
結果 準優勝
将棋イベント参加４年目で未だ３位以下無し（笑）
今月21,22日 第一回 世界将棋AI 「電竜戦」 主催
現在 申し込み受付中
予行演習 既に４回開催済（サーバのテスト、対局のリアルタイム中
継）
大会スポンサーやチームスポンサー募集中
http://denryu-sen.jp/

4. 重要なことは言い終わりましたので本題に入りますが
本発表の注意点
発表者の主観が入ります。
専門外の人にとっても有用な感じの俯瞰的情報と
それなりに深くて最新の話をざっくりしていきます。

5. 時代は尚「深層学習」
２０２０年も深層学習（ディープラーニング）が主題
マイナーチェンジが多数（ある意味壁に当たっている状態）
比べて応用は劇的な拡大（他分野からは便利ツールに見える）
論文＋オープンソースは再生産が劇速
バギングやブースティングも流行りの技術
基本的に弱い学習機を沢山集めて有用なものにしていく技術
多層ではなく木構造で構築
深層学習より若干軽量か（例えばKaggle案件）

6. そもそも機械学習とは（学習と推論）
学習：大量のデータ・大量の計算コスト → モデル
推論：学習済モデル＋手持ちのデータ → 結果推論
学習にはデータ量・計算量ともに必要。
GPUのメモリなどにも注意。
推論は学習済モデルがあれば比較的簡単。
ネット上に多くあります。

7. 転移学習・ファインチューニング
学習済モデルを改造して自分の良いようにする
例：汎用画像認識モデル → ２択仕分けモデル
深層学習モデルの最終層だけ改造するのが主流
選択肢を減らす → 出力層を減らす
場合によっては追加学習
もちろん０から構築するよりずっと低コスト

8. ハードウェア
０．CPU
１．GPU
２．TPU
３．AIチップ

9. CPU
SIMD命令（SSE，AVXなど）
ベクトル・ニューラル・ネットワーク命令（Vector Neural Network Instructions）
AVX-512-DL（4次元ベクトルの内積を1命令で行う）
RyzenでもZen2でAVX2が高速化された

10. GPU
NVIDIA一強変わらず
RTX30台が登場
RTX3090でCUDAコア1万超えメモリ24GB
PCIe4.0対応がRyzenのみ（影響の大小は未詳）
AMDのGPUは頑張っているらしい
XBOXやPS5搭載など出荷数は多そう
開発環境が今だ柔軟でない（CUDA比）

11. TPU
Googleに囲われる覚悟
GPU比でメモリが多い
第3世代が2018年登場以降実機が出ていない（第4世代はベンチマークのみ）
マネタイズに苦心しているか？（個人的見解）

12. AIチップ
昨年大流行
今年も雨後の竹の子状態
有望株はスマホ内蔵か？（個人的見解）
IoTチップもキラーアプリ次第か
Intel Xeも参戦？

13. ソフトウェア
１．PyTorch
２．TensorFlow
３．その他

14. PyTorch
最新は1.6 → 1.7 （10月27日）
RTX30台はNightly対応 → 正式対応（最適化は未熟だとの表現アリ）
出身はFacebookだがStanford含め多くの大学も協力し
今やものすごい大量の傘下プロジェクトを抱える大所帯
日本発で注目を集めたChainerチームやCaffeチームも移行
とりあえず一押し

15. PyTorch（個人的注目点）
PyTorchのPython離れ
Python Firstで始まったプロジェクトだがGILが邪魔
現状もはや独立したJIT化しているPyTorch
TorchScriptなる中間言語が幅を利かせる可能性も（個人的見解）
LibTorch（PyTorchのC++から呼べるライブラリ部）だけを使ってる人も多数

16. TensorFlow
Googleに囲われる覚悟
define-by-runに追従（１→２）
フォークされたものを再統合する気力が無さそう（個人的見解）
Web特化してユーザ拡大を狙っている風（個人的見解）

17. その他ソフトウェア
AIチップとセットになっている処理系
Pythonじゃ遅い分野の専用設計

18. 深層学習コンパイラ
Apache TVMなど
深層学習モデルを（主に推論を）最適化する仕組み
出力先はCPU、GPU、IoTチップなど様々
USBアクセラレータやRasPi上のVideoCoreなども

19. 個人的ダークホースMS
Windows MLやDirectMLやML.NETなど
基本的にラッパー
汎用性は高まるがパフォーマンスが良い話は聞かない（個人的感想）
onnx（共通化フォーマット）には劇的な貢献
DirectML＋XBOXでAMD GPUのインフラが強化されるのを期待（個人的感想）

20. 要約
本命はNVIDIA＋PyTorch
入門するならPyTorch公式チュートリアルでいいと思う
対抗でGoogle
Webだけで完結できそう
大穴でAMD＋MS
化けてくれると面白いか

21. 本ファイルはGoogleドライブの新機能で
pptxファイルとして作成しました
基本的にGoogleのWebアプリである「スライド」のUI
保存形式がpptx
ブラウザのみで編集可能（アップロード・ダウンロードも）
同様に
スプレッドシート → xlsx
ドキュメント → docx
本デザインテンプレートはパワーポイントから流用