Más contenido relacionado
La actualidad más candente (20)
Más de Deep Learning JP (20)
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
- 2. 書誌情報
Neuroscience-Inspired Artificial Intelligence
• Demis Hassabis, Dharshan Kumaran, Christopher Summerfield,
and Matthew Botvinick
• 全員DeepMind
• Neuron, 95 (2017) 245-258
• 引用数: 66 (2018/7/13現在)
• 神経科学と人工知能研究の関連についてのレビュー論文
• 過去の系譜をたどり,どの方向で相互作用が起き得るかを議論
• 綺麗にまとまりすぎていて小枠感が出てしまいました…すみません…
2
- 5. 背景
• 神経科学と人工知能研究は密接な関係を築いてきた
• ex) Hebb則
• But 最近はあまり交流が一般的ではなくなってきている
• しかし,人間の知能のレベルのAIを構築するのは気の遠くなるような
タスク
• (設計としての)探索空間が大きすぎるし,解がスパース
• ここで,人間の知能を参考にすることの重要性が強調される
5
- 6. 背景 - 生物的な知能を詳しく調べる利点 -
1. 人工知能研究にとってのインスピレーション
• 生物的な計算論がわかれば,人工知能研究に利用しようとする流れ
2. 既存の人工知能技術に対するバリデーション
• 人工知能研究におけるモデル/アルゴリズムが神経科学的に発見さ
れると,一般的な知能システムの構成要素である強いサポートにな
る
6
- 7. 背景 - 生物的な知能を詳しく調べる利点 -
もちろん
• 実用的な観点では,生物学的妥当性に固執する必要はない
• 工学的な観点では,動くことが正義
• → 生物学的妥当性は,要件ではなくガイドであるべき
• 脳が採用している,アルゴリズム・アーキテクチャ・関数(近似)・
表現(学習)が参考になるはず
• David Marrの「3つのレベル」の上位2つに対応
7
- 8. 背景 - David Marr の「3つのレベル」 -
計算理論のレベル
• 計算の目標はなにか.なぜそれが適切なのか.その実行可能な方略の論理はなにか.
• Ex) 「キャッシュレジスタは加法演算と同型」
表現とアルゴリズムのレベル
• この計算理論はどのようにして実現することができるのか.特に入力と出力の表現はなにか.変換
のためのアルゴリズムはなにか.
• Ex) 「キャッシュレジスタの入出力は10進法,内部では2進法を用いて加算を行う.」
ハードウェアへの実装のレベル
• 表現とアルゴリズムがどのようにして物理的に表現されるか?
• Ex) 「キャッシュレジスタは,2進法の数値を0V/5Vの電圧で表現し,適当なそして加算器を
構成する」
https://staff.aist.go.jp/s.kajita/rengo1995.pdf8
- 9. 背景 - David Marr の「3つのレベル」 -
計算理論のレベル
• 計算の目標はなにか.なぜそれが適切なのか.その実行可能な方略の論理はなにか.
• Ex) 「キャッシュレジスタは加法演算と同型」
表現とアルゴリズムのレベル
• この計算理論はどのようにして実現することができるのか.特に入力と出力の表現はなにか.変換
のためのアルゴリズムはなにか.
• Ex) 「キャッシュレジスタの入出力は10進法,内部では2進法を用いて加算を行う.」
ハードウェアへの実装のレベル
• 表現とアルゴリズムがどのようにして物理的に表現されるか?
• Ex) 「キャッシュレジスタは,2進法の数値を0V/5Vの電圧で表現し,適当なそして加算器を
構成する」
https://staff.aist.go.jp/s.kajita/rengo1995.pdf9
この論文の主張
Blue Brain Projectとかでやってる
- 10. 過去の事例 (1)
深層学習 (Deep Learning)
• 人工知能技術の起源が直接神経科学にあったケース
• 1943: McCulloch-Pittsモデル
• 1958: パーセプトロン
• 1985: PDP(Parallel Distributed Processing)における誤差逆伝播
• 当時のAI研究の主流が記号推論であったことに注意
• 1980: NNの階層的な構造(Fukushima)
• 2012: Dropout…ニューロンの発火がPoisson分布に従うことに動機づけられる
10
- 11. 過去の事例 (2)
強化学習 (Reinforcement Learning)
• TD学習
• 動物の条件付け(conditioning)と強い関係
• 数学的な定式化がされることで,神経科学的な発見の説明にも用いられるように
• 関連技術と組み合わさり,実用上における発展が見られた
• ロボットの制御,ゲームAI
11
- 12. 最近の事例 (1)
注意 (attention)
• 霊長類は場所や物体の間で戦略的に視線を動かしている
• 従来のCNNでは入力画像のどの部分も同等に扱っていた
→ 注意機構(attention mechanism)の導入
• 複数の物体認識の精度・効率の向上
• キャプション生成への利用
• DRAW
• メモリに対するattention
• ニューラル言語モデルへの利用
12
- 15. 最近の事例 (4)
継続学習 (continual learning)
• 時間的に変化するタスクに対応する能力が必要
• 前のタスクの実行方法を忘れずに新しいタスクをマスターする
• シナプスの可塑性には複数のレベルが存在するという理論的モデル
• ANNでは破滅的忘却に対する対策が必要
• (私見: MAMLのpriorの学習はこれに近い)
15
- 20. どこへ向かうか? (5)
Virtual Brain Analytics
• 神経科学における分析手法を人工知能技術におけるモデルに利用する
ことで新たな知見が生まれる可能性
• ブラックボックス化しているANNのモデルにおいて,何が起きている
のかの対応づけを調べることが大事になってくるだろう
• この時の手法として神経科学で培った手法が使える
• 信号の次元圧縮をして脳活動を可視化する
• 受容野のマッピング
20