1. Summary and supplement of
“A survey on deep learning for big data ”
summarized by てんちょう
著者
Qingchen Zhanga,b, Laurence T. Yang⁎,a,b, Zhikui Chenc, Peng
Lic
url :https://www.sciencedirect.com/science/article/pii/S1566253517305328?via%3Dihub

2. コンテンツ
I. A survey on deep learning for big data(ビックデータのためのディープラーニング)
II. Introduction（前書き）
III. Typical deep learning models（典型的な深層学習モデル）
I. Stacked auto-encoder(SAE)
II. Deep belief network(DBN)
III. Convolutional neural network(CNN)
IV. Recurrent neural network(RNN)
IV. Deep learning models for big data feature learning（大規模なデータによる未来予想）
I. Deep learning models for huge amounts of data（膨大な量のデータに対する深い学習モデ
ル）
II. Deep learning models for heterogeneous data（異種データの深い学習モデル）
III. Deep learning models for real-time data（リアルタイムデータの深い学習モデル）
IV. Deep learning models for low-quality data（低品質データの深い学習モデル）
V. Summary and perspectives

3. どんなペーパー？
• ディープラーニングに関するサーベイ論文
• 深層学習にある課題を指摘している。
• Deep Learningの今後の活躍について書かれている。

4. その前によく出てくる単語の意味
• フィーチャとは現実世界にある消火栓や道路、建物などをベクター
データ化した個々の地物をフィーチャという。なのでデータフィーチャ
がさすのはこれらが集まったビックテータかもしれない。

5. Deep Learningの手法紹介
• 1,Stacked auto-encoder(SAE)
• 2,Deep belief network(DBN)
• 3,Convolutional neural network(CNN)
• 4,Recurrent neural network(RNN)

6. １、Stacked auto-encoder(SAE)
エンコード ディコード
名前の通りAuto-Encoderを積み上げたもの
→ Auto-Encoderとはなんぞ
情報量を小さくして学習しやすくしたよ
エンコードは入力を低次元に表現できることができ、ディコード
は低次元から復元する能力を持つ。
→ここで言う低次元とはたくさんある次元（丸の数のことだと思う）
を減っていることだと思う。

7. １、Stacked auto-encoder(SAE)

8. 技術や手法のキモはどこ？

9. 結果1

10. これからのDeep Learningについて
• これから膨大なデータ量の大規模な深層学習モデル、異種データのマル
チモーダル深層学習モデル、深層学習計算モデル、リアルタイムデータ
の信頼性の高い深層学習は大きな成果を上げてきたがまだやることがあ
る。一つ目はビックデータの増加に対して、莫大なデータを処理するため
の新しい学習フレームとインフラストラクチャを開発することが大事。さら
に、精度を落とさずに大規模な深層学習モデルを考案さらに圧縮する方
法は、データフィーチャ学習のもう一つの研究方向です。二つ目は異種
データのためのDNNモデルすなわちマルチモーダルDNNモデルを改善す
るための学習された特徴の効率的な融合方法を探索することが大事。現
在のDNNモデルはマルチモーダルDNNより、優れたパフォーマンスだがこ
れからより多くのパラメータを含み高度な計算量をこなさなければいけなく
なるのでこれを解決しないといけない。

11. これからのDeep Learningについて
• また、パラメータ更新または構造更新に基づくいくつかの増分学習
アルゴリズムが、新しい到着オブジェクトを適応させるために提案さ
れていて、これらのアルゴリズムのほとんどは隠れ層にレイヤー（そ
う）が１つしかない伝統的な学習モデルにとって効果的であるがDNN
のモデルに適用できるかわからない。（理由としては隠れ層に１つ以
上追加したときに毎回いくつのニューロンを追加する必要があるの
か。またその時にネットワークの高い次元数？冗長性をもたらすた
め）したがって、ネットワーク構造を最適化する方法は、将来の作業
で必要なことになります。最後に今までは信頼できるDNNモデルを
提案してきたがノイズが多かったりく完全なデータのDNNモデルが提
案されて来なかったので低品質データに対するDNNモデルを緊急に
検討される必要がある。

12. 要するにこの３つが大事
• 莫大なデータを処理するための新しい学習フレームとインフラストラ
クチャを開発すること
• マルチモーダルDNNモデルを改善するための学習された特徴の効
率的な融合方法を探索
• 低品質データに対するDNNモデル

13. メモ

14. わからなかった単語
• アーキテクチャ（コンピュータやソフトウェア、システム、あるいはそれ
らの構成要素などにおける、基本設計や共通仕様、設計思想などを
指すことが多い。）
• センサネットワーク（複数のセンサを空間に散在させ、それらが協調
して環境や物理的状況を採取することを可能にする無線ネットワー
クのこと。Iotで使用させるコア技術の一つ。）
• インフラストラクチャ（インフラストラクチャモードとは、無線LAN(Wi-Fi)
の動作モードの一つで、ネットワークを制御するアクセスポイントと呼
ばれる機器を介して各端末を接続する方式。）

15. わからなかった単語
• バイモーダル（ITを２分化して両軸で取り組んでい
く考え。まだまだ説明があるため
https://furien.jp/columns/229/こちらを参考に）
• ウォーターフォールモデル（開発を複数の行程に
分割し、1つずつ終わらしてから、次の行程に進
む手法）
• アジャイル開発（大きな単位でシステムを区切る
ことなく、小単位で実装とテストを繰り返して開発
を進む手法）

16. わからなかった単語
• ウエイトディケイ（正則化）
• オーバーフィッティング（過学習）
• スパース（疎→スカスカ）
• スパース性制約→スパース推定（データそのものは大規模だけれど
も意味のある情報はごく一部であるときに使われる）。
たとえば，画像データでは，隣同士のピクセルの色は，同じような色
であることがほとんどです．このとき，同じような色を持つ部分をうま
くまとめると，データの情報を大幅に圧縮できます．