東京工業大学ロボット技術研究会2014年度前期研究報告会で発表したスライドです。

1. HTML5による
ニューラルネットの可視化
ざくろ

2. ニューラルネットワーク
Neural Network

3. Brain
http://commons.wikimedia.org/wiki/File:Blausen_0111_BrainLobes.png

4. Neuron Cell
http://commons.wikimedia.org/wiki/File:Blausen_0111_BrainLobes.png

5. ニューラルネットワークとは？
「学習」をするシステムである。
コンピュータの「学習」とは？
機械学習
教師あり学習(今回はこちら)
教師なし学習
強化学習
…

6. 教師あり学習
教師：データの集まり。生徒に「教師データ（入力と
出力のペア）」を与える
生徒：コンピュータ。与えられた教師データをもとに学
習（＝フィッティング）を行う
入力に対して教えられたとおりに出力することが目標

7. 教師データ(例)

8. 汎化能力
学習時に与えられた(教えられた)データではない未知の
データに関しても予測して解答できる

9. りんご

10. ニューラルネットワーク

11. ニューロン
ニューラルネットを構成する素子→いわゆる「神経細胞」
多入力1出力
入力にはそれぞれ「重み」係数が掛けられる
それらを足し合わせた後、閾値関数を通して出力される

12. 直感的な説明
入力×重みの和が小さければOFF(0)を出力
入力×重みの和が大きければON(1)を出力

13. n個の入力
出力
閾値関数
xi (i = 1..n)
y
φ : ℤ → [0, 1]
y = φ
( )∑
i=0
n
wi xi
の例 → シグモイド関数φ
φ(x) =
1
1 + exp(−x)

14. ニューラルネットワーク
前述のニューロンを沢山つなげる（ネットワークの構
成）
つなげ方にも種類がある
階層型ネットワーク
相互接続型ネットワーク
階層型ネットワークの代表例：パーセプトロン

15. パーセプトロン
階層型ネットワークを取る
「入力層」「中間層」「出力層」がある
「中間層」がないものを単層パーセプトロンと呼ぶ
データの流れは一方向
出力のパターンは[0,1]
入力に対して出力が一意に定まる

16. パーセプトロン
例：2入力2出力の多層パーセプトロン

17. パーセプトロン
なぜ中間層が必要か？
中間層がないと線形分離しかできない
中間層があれば任意のデータが有限時間で分類できる

18. パーセプトロンの学習
もちろんデータを流しただけでは何も学習しない
「重み」を調整することで出力を変える → †学習†
理想の出力(教師データ)と実際の出力との誤差を小さく
したい
↓
誤差逆伝播法(バックプロパゲーション)

19. 誤差逆伝播法
1. 出力層の出力と教師データを比較して誤差を計算
2. 誤差に応じて重みを調整する
3. 1個前の層に、重みと誤差に比例して「怒る」
「誤差の責任はお前(=１個前の層)のせいだ！」
下請け、孫請けに責任を押し付ける……
4. 「誤差修正→1個前の層を怒る」の繰り返し

20. 誤差逆伝播法
ニューロン 間での重み修正の式
( は の１個前の層にある)
i, j
i j
学習後の重み , 学習前の重み
の出力 とすると
(ただし は学習係数)
ここで
( は教師データの 番目)
w
′
ij
wij
i, j ,oi oj
= − ρw
′
ij
wij ϵj oi
ρ
=
{
ϵj
( − ) (1 − )oj bj oj oj
( ) (1 − )∑k
ϵk wjk oj oj
(出力層)
(中間層)
bj j
『フリーソフトで作る音声認識システム』より

21. ニューラルネットワークのまとめ

22. ニューラルネットワークのまとめ
というか、多層パーセプトロンのまとめ
「ニューロン」がつながって出来ている
「教師あり学習」ができる
バックプロパゲーションで学習をする

23. 百聞は一見にしかず

24. デモ

25. このデモについて
HTML5とJavaScriptで作成
描画部分はSVG (with Raphaël)
Google Chromeで動作確認済
スマホでも動いた
IEはしらない
にあります45deg.github.io/neural-network

26. どうしてHTML5 + JavaScript ?
Web上に気軽に公開＆デモが出来る
環境構築＆開発が楽
ライブラリが多い
マルチプラットフォーム
IEは知らない

27. bibliography
フリーソフトで作る音声認識システム
パターン認識・機械学習の初歩から対話システムまで
荒木雅弘著,森北出版,248p
機械学習・パターン認識の理論の初歩から説明。学
部1,2年でも読める。PRMLをいきなり読むよりこっち
を読もう。
難しい、理論大好きな人は読んでください→

28. 完