第３回全脳アーキテクチャ勉強会(山川)発表資料

人工知能(AI)観点から想定する
海馬回路の機能仮説
富士通研究所
山川宏
201４年４月２２日
全脳アーキテクチャ勉強会(第３回)
全脳アーキテクチャ勉強会（第３回)

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS
本日の内容
1. WBAの研究戦略：アーキ仮説の生成と洗練
2. AIからの全脳アーキテクチャ仮説(α版)
3. 目的ベース・エージェントとしての海馬
4. まとめ
1

WBAの研究戦略：
アーキ仮説の生成と洗練

WBAの戦略
計算理論
計算手段
(アルゴリズ
ムと表現)
神経回路
(生物学的に
妥当な実装)
脳器官(ミクロ) 脳全体(マクロ)
脳科学実験(マクロ)結果
行動/心理実験の結果
脳科学実験(ミクロ)結果
3
• 汎用人工知能の創造を目指す
• 機械学習を部品として組み合わせ
• 統合において矛盾を生じない部品
大域
的モ
デル
AI
Neuro
comp
uting

人間レベル
汎用人工知能
WBA研究における仮説の生成と検証
4
仮説検証２
神経科学知見から見て，
大局的には否定されない．
専門家の集積が大事
仮説生成
神経科学・認知科学・
AIの知見をヒントに
研究者が考え，洗練．
仮説検証１
計算機により具体的
に実装できる．
積み重なりつつある神経科学的の知見
ビッグデータ時代
だからこそ逆に
頭脳勝負に勝機
本日の講演では，
仮説を話したい．
脳はガイド：手が届き
さえすれば，必ずしも
生物学的な真実との
一致性は追求しない．

AIからの
全脳アーキテクチャ仮説(α版)

目的
人工知能分野における基本的な
知能アーキテクチャを，
脳の主要な器官にフィットするよう
に再構成する．
※最初から計算手段を想定できるのが強み
6

知能エージェントに対する一般的な問題設定
知能エージェントとしての移動ロボット
ゴー
ル
エージェントの行動により
状態遷移が起こるモデル
と考える．
報酬
目的
報酬
目的
7
状態
状態
地図に限らず，多くの問題が状態遷移とし
て表現できるが．
その中に，方向や距離は表現されない．

AIからの全脳アーキテクチャ仮説 (α版)
8 全脳アーキテクチャ勉強会（第３回)
認識器
(モデル)
実行器
報酬
効用評価
モデル
状態遷移
モデル
知覚行動
知能エージェント
意図
目的
状態
効用
状態
状態
海馬基底核
新皮質
報酬生成
外部環境
扁桃核
状態/知覚
行動
意図
効用/報酬
情報の種類
目的

知能エージェントとは何か
認識器
(モデル)
実行器
効用評価
モデル
状態遷移
モデル
知覚行動
意図
状態
効用
状態
状態
外部環境
状態/知覚
行動
効用/報酬
情報の種類
目的
報酬目的
 知能エージェント＝アーキテクチャー＋プログラム
 アーキテクチャー：外部環境と相互作用する枠組み
 プログラム：知覚から行動を生成する
プログラム
外界を認
識する
行動を
決定
する

AIの教科書での知能エージェントの構造
 条件反射
 条件－行動ルール
 モデルベース
 現在状態以外について予測
する内部モデルをもつ
 目的ベース
 与えられた目的を実現するよ
うに行動を決定
 効用ベース
 与えられた報酬／罰等から
行動を決定
 学習
 自分自身を変化させる
２．４節エージェントの構造
エージェント＝
アーキテクチャ＋プログラム

行動の決め方は3種類
行動の決め方
【実現したい状態が近い】
条件反射 (これは基本)
条件－行動ルール
【実現したい状態が遠い】
目的ベース
与えられた目的を実現す
るように行動を決定
効用ベース
与えられた報酬／罰等か
ら行動を決定
モデルベース
現在状態以外について予
測する内部モデルをもつ
モデルの種類
• 環境自体のモデル
• 状態遷移のモデル
• 効用のモデル
学習
自分自身を変化させる

条件反射：条件ー行動ルールで動作
行動の決め方
 条件反射
 状態に応じて行動を決定
 目的ベース
 与えられた目的を実現
するように行動を決定
 効用ベース
 与えられた報酬／罰
等から行動を決定
実行器
条件－行動
ルール
状態(s1) 行動(a3)
実行器の動作

単純条件反射エージェント
認識器
実行器
知覚行動
状態
外部環境
状態/知覚
行動
情報の種類
 現在の知覚をもとに行動
 条件ー行為規則により動く
 過去の知覚履歴は無視する
 目的や報酬は与えない
条件－行為規則

モデルベースの条件反射エージェント
 現在の知覚をもとに行動
 条件ー行為規則により動く
 現在見ることができない世界を推定する認識器(環境のモデル)
 目的や報酬は与えない
14
認識器
(モデル)
実行器
知覚行動
状態
外部環境
状態/知覚
行動
情報の種類
環境のモデル

目的ベース：状態遷移モデルで意図を生成
行動の決め方
 条件反射
 目的ベース
 効用ベース
 与えられた報酬／罰等
から行動を決定
状態遷移
モデル
状態(S1)
目的(SG)
意図(I3)
実行器
条件－行動
ルール
行動(a3)
意図＝予測しうる望ましい状態
状態遷移モデルの動作
I3
※状態+意図を条件として動作
必要な技術
 状態遷移モデルの獲得
 プランニング(計画)
目的

目的ベース(＋モデル)エージェント
認識器
(モデル)
実行器
状態遷移
モデル
知覚行動
意図
状態
状態
外部環境
目的
 技術的には探索やプランニングを行う
 目的を達成するための(行動)意図を生成する
意図＝予測しうる望ましい状態(またはその系列)
 伝統的なAI(認知アーキテクチャ研究)：
 SOAR, BDIアーキテクチャなど
海馬の場所細胞
は自分が環境座
標中のどこにいる
かを推定し続ける
状態/知覚
行動
意図
情報の種類
目的
16

効用ベース：条件－行動ルールの選択(学習)
行動の決め方
 条件反射
 目的ベース
 効用ベース
 与えられた報酬／罰
等から行動を決定
効用評価
モデル
状態(S1)
報酬(RG)
効用(U3)
実行器
条件－行動
ルール
行動(a3)
効用＝行動の善し悪しを評価
※効用の高いルールを選択(学習)
U3
必要な技術
 状態－行動ルールを評価する
 遠方の評価を伝播する仕組み
効用評価モデルの動作
報酬

効用ベース(＋モデル)エージェント
認識器
(モデル)
実行器
効用評価
モデル
知覚行動
効用
状態
状態
基底核
外部環境
状態/知覚
行動
効用/報酬
情報の種類
報酬
 効用関数(utility function)を使う
 行動の仕方、実現された状態の善し悪しを評価
 効用の高い条件ー行為規則を強化する(e.g. Q学習)
 複数の目的を組み込める

(統合された) 知能エージェントの一般形
認識器
(モデル)
実行器
効用評価
モデル
状態遷移
モデル
知覚行動
意図
状態
効用
状態
状態
外部環境
状態/知覚
行動
意図
効用/報酬
情報の種類
目的
報酬目的
目的ベース＋効用ベース＋モデル
※同時に，目的と報酬を与えるとその間に矛盾が生じうる

実現したい状態が遠い場合の二つの手法
目的ベース効用ベース
実行時計算 × ○
メモリ使用量 △ ○
複数ゴール △ ○
ゴール変更 ○ ×
経路最適性 ○ △
学習効率 ○ ×
プラランニング／ナビ
ゲーション(海馬に関与)
強化学習(基底核
を中心とした機能)
20
※ 夫々に，メリット／デメリットがある．

(統合された) 知能エージェントの一般形
認識器
(モデル)
実行器
効用評価
モデル
状態遷移
モデル
知覚行動
意図
状態
効用
状態
状態
外部環境
状態/知覚
行動
意図
効用/報酬
情報の種類
目的
報酬目的
しかし
生体では，明示的な目的や報酬は外部から与えられない
目的ベース＋効用ベース＋モデル

生物的な知能エージェント
①知覚から報酬を生成する仕組み(ex. 美味しい，気持ち良い)
②効用から目的を生み出すことができる
認識器
(モデル)
実行器
報酬
効用評価
モデル
状態遷移
モデル
知覚行動
意図
目的
状態
効用
状態
状態
報酬生成
外部環境
状態/知覚
行動
意図
効用/報酬
情報の種類
目的①
②

局在した効用から目的を生み出すことができる
目的を設定することが報酬の最大化に寄与する
目的化
目的化
目的にならない
(到達できないので)
現在状態
報酬が高い状態
23
状態遷移モデル中で効用が局在した実現可能な状態

生物的な知能エージェントの一般形
認識器
(モデル)
実行器
報酬
効用評価
モデル
状態遷移
モデル
知覚行動
意図
目的
状態
効用
状態
状態
報酬生成
外部環境
状態/知覚
行動
意図
効用/報酬
情報の種類
目的
 状態遷移モデルを利用した効用ベース
 モデルベース強化学習
状態遷移をシミュ
レーションするこ
とで，効用の割り
当てを加速する．

目的ベース・エージェント
としての海馬

脳との対応付けはどうなるのか？
26
海馬
基底核
新皮質
扁桃核

AIからの全脳アーキテクチャ仮説 (α版)
認識器
(モデル)
実行器
報酬
効用評価
モデル
状態遷移
モデル
知覚行動
意図
目的
状態
効用
状態
状態
海馬基底核
新皮質
報酬生成
外部環境
扁桃核
状態/知覚
行動
意図
効用/報酬
情報の種類
目的
生物的な知能エージェントの一般形 (WBAの出発点案)

【仮説】海馬は脳の目的ベース機能を支える
28
(O‘Keefe & Nadel, 1978)
認識器
(モデル)
実行器
状態遷移
モデル
意図
目的状態
海馬

【仮説】海馬CA3が状態遷移モデルの本体
29
CA3が状態遷移モデルとし
て有力である理由
 状態間を関係付けうるリカ
レントループ
 一回の提示で記憶しうる
 長期増強(LTP))
 位相歳差による繰り返し刺激
状態遷移モデル
(佐藤直行，第三回全脳アーキ
テクチャ勉強会資料, 2014)

コラム：脳内の表現について思うこと
 知能エージェントの表現は二種類に分けられる
本稿であげた，6種類の表現は，以下の二種類に分類される
 一般化状態：状態，行動，目的，意図
行動は常に現在の状態として観測でき，ある状態対しては常に行動を伴い意
図や目的としても捉えられるので，これらは一般的な状態とまとめられる．
 評価系：報酬，効用
これらは，上記の一般化状態を評価する
 脳内の表現はコピー出来ないので指し示すしかなさそう
 一般化状態の表現(例えば”ある場所”)を，別の脳部位にコピーするこ
とは難しく，同一性を保ちながら学習することは更に困難を極める．
 表現の関連付けはインデックス仮説のように指し示す他にはなさそう．
 「グラフ型変数」というような呼び名はあるのか？
 脳内の活動は，高次元スパース表現と言われていて．状態間の類似性や
遷移関係を表すグラフ表現が基本になっていそうである．
 こうした場合，グラフ上のある一状態を示す変数という概念を説明した
いが，たとえば「グラフ型変数」というような呼び名が見当たらない．

嗅内野
海馬
【仮説】海馬は意図を生成する
 海馬が意図(予測しうる望ましい状態)を生成すると考える理由
 理由１：意図を生成するために状態遷移モデルがCA3に存在する
 理由２：意図の表現(場所等に対応)を，新皮質に別途設けるのは考えづらい
 理由３：迷路中の齧歯類は，停止時に”遠方”や”逆向き”の移動に対応する活
動を示すことがある．これは，計画に関わる意図と考えられる．
意図のような行動
に関わる出力の存
在は，神経科学知
見からは指示され
ていの支持は弱い．
AI研究者などが，
未知の実験事実を
予測する理論研究
のチャンスがある．
(Anatoli Gorchetchnikova, Michael E. Hasselmob, “A model of hippocampal circuitry mediating
goal-driven navigation in a familiar environment”, Neurocomputing, 2002 より改変)
Anterior thalamic
nucleus (ATN) and
cingulate motor area
(CMA)
意図
目的状態
海馬台 CA1
Ⅱ層
CA3
Ⅲ層
Prefrontal cortex Postrhinal cortex Parietal cortex
31

タスク空間
タスク空間
再利用性の高いタスク空間への変換
32
自己中心座標(シーン）環境中心座標(地図）

地図と部分軌跡に対して事後信念を推定
多時刻オンラインSLAM
事後確率 p(xt, m | z1:t, u1:t) の推定
m : 地図， xt, 姿勢， z1:t : 計測， u1:t ：制御
m : 地図
xt, 姿勢 (Place Cell)
z1:t : 計測 u1:t ：制御
Johns Hopkins University <http://krieger.jhu.edu/mbi/knierimlab/research/>
タスク空間(地図)を扱う海馬とSLAM
海馬
タスク空間
タスク空間
タスク空間
Grid
Cell
タスク空間
(「確率ロボティクス
(ROBOT books),
2007」より）

タスク空間
タスク空間
【仮説】再利用性の高いタスク空間への変換
海馬＋内嗅野(EC)ループが作り出す時間を含む内部状態が再
利用性の高いタスク空間を作り出す
内嗅野
34
歯状回
(佐藤直行，第三回全脳アーキ
テクチャ勉強会資料, 2014)

対応付け(自己位置推定)に重要な時系列情報
自己位置推定の技術を見ると，移動履歴とし
ての時系列を用いることが，本質的に重要で
あることがわかる．
参考書籍「確率ロボティクス (ROBOT books)」もしくは
(http://d.hatena.ne.jp/meison_amsl/20130104/1357274943)ペー
ジにも解説があります．

局所時系列を用いた等価性構造抽出技術
C
A
B
D
E
FZ
X
Y
Time
1 2 3 4 5 6 7
Time
1 2 3 4 5 6 7
部分空間部分空間
結合された
フレーム
Time: t
Variableset:x
D
F
E
G
A
H
Input sequence
1 2 3 4 5 6 7
B
C
元の
フレーム不変性が，帰納推論の能力を高める
等価性構造
Time: t
Variableset:x
D
F
E
G
A
H
Input sequence
1 2 3 4 5 6 7
B
C
36
(局所時系列と用いた)タスク空間変換の獲得機能を一般化
等価性構造抽出：変数集合の対応付け探索

等価性構造抽出の関連研究
Group Invariant Representation：
 S. Mallat, “Group invariant scattering,” Communications on
Pure and Applied Mathematics, vol. 65, no. 10, pp. 1331–
1398, Oct. 2012.
 C. Zhang, G. Evangelopoulos, S. Voinea, L. Rosasco, T.
Poggio, A Deep Representation for Invariance And Music
Classification, CBMM Memo No. 002, 2014.
 山川宏, 局所多次元時系列の関係表現としての性質の実験的検
討, JSAI2013, 3H4-OS-05c-2in, 2013.

等価性構造の抽出が重要な機能を支える
類推
?
地図への対応付け
メンタルローテーション
構造マッピング理論
【SLAM】
=
等価変換理論(創造性の理論)
不変性の抽出(物体認識)
等価性構造の抽出
※フレーム問題に必要な情報選択機能にも，
等価性構造抽出法を利用できそうである．
38
(「日本創造力開発センター」等価変換理論展開の定義より)

豊富な表現を作り出す局所時系列
変数選択は指数関
数のオーダで増加．
SN(d) = NCd
Time: t
Variableset:x
D
F
E
G
A
H
Input sequence
1 2 3 4 5 6 7
B
C
Time: t
Variableset:x
D
F
E
G
A
H
Binary sequence
1 2 3 4 5 6 7
B
C
局所時系列
次元数 d=3
長さ=5
局所時系列の多様さ
は2階の指数関数
オーダで増加．
(山川, 反転分布に対称性を仮定した関係縮
約, JSAI 2012, 3N1-OS-21-1, 2012)
時系列により生ずる多様性が等価性構造抽出を支える

Eye
視覚野
海馬の時系列処理が高次特徴量を作る
尾状核
最善手の選択
V1
V2
V3
MTG
/V6
楔前部
局面の認識
将棋における直観
将棋盤
楔前部
プーリング
畳み込み
プーリング
畳み込み
プーリング
畳み込み
プーリング
畳み込み
新皮質における高次特徴量
• 直観的な意思決定を支える
• 専門家にとっても説明が難しい．
• 現状ではDeep Learningでも学習困難
海馬
学習を
支える
初期視覚における不変性
顔認識の高次特徴の不変性

【仮説】海馬がユークリッド空間を作り出す
状態遷移モデルに「距離」
と「方向」を導入して，
ユークリッド空間を構成
→ 空間推論が可能に
41
近道を
探すには
EC
現在地
ホーム
内嗅野(EC)等に存在
する２種の神経細胞
• グリッド細胞
距離を表現する格
子状の表現
• ヘッドディレクション細胞
方向を表現する

海馬機能のまとめ (本日の話題の範囲で)
 状態遷移モデル：
 時間発展する状態を記述するモデルと，その効率的な構築機能
 海馬CA3がモデルを表現する．
 長期増強(LTP)＋繰り返し刺激で，一過性イベントを記憶
 意図生成：
 状態遷移モデルを探索して，意図(望ましい予測)を生成する機能
 海馬CA3とその周辺器官(CA1, DG)との連携で実現か？
 タスク空間への変換
 局所時系列を利用し，再利用性の高いタスク空間に，対応付ける
 内嗅野＋海馬のリカレントループが，時系列内部状態を作り出す
 自己位置推定においては，「タスク空間＝地図」
 一般的には，等価性構造の抽出(類推，不変性などに関わる）
 空間推論：
 距離(グリッド細胞)と方向(Head Direction細胞)によりユークリッド空間を構成
42

まとめ

まとめ：全脳および海馬のAI観点からの仮説紹介
 WBAアプローチを活かすには，仮説構築･検証・洗練が重要
 AI観点でのWBA仮説(α版) を紹介
 新皮質＝認識器＋実行器，
 海馬＝目的ベース，
 基底核＋扁桃核＝効用ベース
 海馬についての仮説
 海馬CA3のリカレントループが，状態遷移モデルに対応
 CA3とその周辺器官の連携で，意図(望ましい予測)を生成する
 内嗅野を含むループが，タスク空間を作り出す
 内嗅野のグリッド細胞がユークリッド空間を構成する(空間推論に必要)
最後に：皆で仮説の提案・検証・洗練を加速し，WBAを創造しよう

第３回全脳アーキテクチャ勉強会(山川)発表資料

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Similar a 第３回全脳アーキテクチャ勉強会(山川)発表資料

Similar a 第３回全脳アーキテクチャ勉強会(山川)発表資料 (6)

Último

Último (12)

第３回全脳アーキテクチャ勉強会(山川)発表資料