2022年2月28日月曜日午後7時～午後8時 日本ディープラーニング協会主催第4回AI半導体について知る 「AI半導体の概況」 信州大学社会基盤研究所特任教授　林憲一 https://jdla.connpass.com/event/238214/

1. AI半導体の概況
2022年2月28日月曜日
信州大学 社会基盤研究所
特任教授 林 憲一

2. AI半導体の概況
現在機械学習やディープラーニングなどの「AI演算」を行う半導体としては汎用のCPUやGPUが主に使われています。一
方AI市場の拡大に呼応して、世界各地のスタートアップ企業などが汎用プロセッサより高性能や高効率を謳ったAI演算専
用の「AI半導体」を発表しています。この背景にはAI演算に特徴的なSparsityとDataflowがあると考えます。
コンピューターの歴史を振り返ると、演算器の著しい性能向上に対して、メモリーの性能が上がらず、乖離が年々広がると
いう大きな課題があります。これに対してはメモリーの階層構造を採ることでデータの遅延を隠蔽し、演算器の性能を維持
することが出来ました。しかし、この方式はキャッシュのヒット率が高いことが条件となります。HPCやグラフィックスの処理では
DENSEなGEMM、つまり密行列の掛け算が主な計算であり、これらの演算ではキャッシュのヒット率が高く、プロセッサの理
論ピークに近い性能を出すことが出来ます。しかし、AI演算では疎行列が多く現れ、キャッシュのヒット率を高く保つことはで
きず、プロセッサの演算性能が活かせません。
また現代コンピューターは演算そのものよりもデータの移動に電力を消費します。汎用演算器では演算毎にデータをメモリ
から読み書きする必要があるため、大きなメモリバンド幅が必要になり、また電力消費も大きくなります。一方ニューラルネッ
トワークは本質的にDataflowであり、演算カーネルからカーネルへデータが流れればメモリへのデータの読み書きは不要です。
AIが一過性のブームではなく、今後もずっと続くものである、との確信が広がるにつれ、計算機アーキテクチャを根本から見
直す必要に迫られています。これが現在多くのAI半導体が提案されている理由であり、各社が様々なアプローチで
SparsityとDataflowに立ち向かっています。

3. 現代コンピューター最大の課題: メモリー
• 演算性能とメモリー性能の乖離
– メモリーの階層構造によりデータの遅延を隠蔽
– キャッシュヒット率に依存
– DENSEなGEMMには最適な構造

4. 現代コンピューター最大の課題: メモリー
• 現代半導体においては、演算に必要な電力消
費より、データの移動に必要な電力消費の方が
遥かに大きい
右図の例では
– 64-bitの倍精度の演算に必要なエネルギーは20pJ
– この半導体の中をデータが1mm移動するのに必要な
エネルギーは26pJ、10mm移動すると256pJ
– 外部DRAMへのアクセスは16nJ
• いかにデータを近くに配置し、データの移動距離
を短くして演算出来るかが重要
Figure: Computation cost is significantly lower than
communication cost in 28nm NVIDIA chips
(Source: Bill Dally)

5. スパース性とグラフニューラルネットワーク
Cerebras Systemsの講演資料より
全部繋がっていれば非零の重みがあるので密行列
繋がりが減ると疎行列
GRAPHCOREは”Compute in Memory”アーキテクチャで
キャッシュを使わない実メモリ方式にすることでキャッシュヒット
率の問題を回避
CerebrasとSambaNovaはデータフロー方式で疎行列のゼ
ロの演算を回避

6. データフロー計算機
• 非ノイマン型計算機
– 記憶装置との間でデータを一つずつやりとりしながら，命令を順々に実行
していくノイマン型コンピューターとは違って，データがそろうごとに演算が行
われる仕組みのコンピューター。
• データフロー計算機の歴史は古いが、商用的に成功したことは
ない
– データフローのアプリがなかった
⇔ ニューラルネットワークは全てデータフロー
– データフローのロジックを半導体に実装出来なかった
⇔ Cerebras WSE、再構成可能な半導体
データフロー計算機がAI半導体として初めて成功するか!?