データサイエンティスト養成読本

1. 第2部特集2
Pythonによる
機械学習入門
第３回メドレー読書会
樋本 和大
2015/12/14 Kazuhiro Himoto 0
+α

2. 自己紹介
2015/12/14 Kazuhiro Himoto 1
樋本和大 ひもと かずひろ
化学系 (理論/コンピュータ) のポスドクからデータサイエンス業界に転身
科学グラフィクス描いたりしてます
bash
awk
Python
fortran90
SQL
Hive
MongoDB
アカデミア 転身後に頑張り中
PNASの
論文に提供し
ました
教科書
の表紙になりまし
た

3. アジェンダ
2015/12/14 Kazuhiro Himoto 2
第2部特集2
Pythonによる機械学習入門
第１章 イントロダクション
第２章 NumPy、SciPy、matplotlibの基礎
第３章 scikit-learn入門

4. イントロダクション
2015/12/14 Kazuhiro Himoto 3

5. なぜPythonで機械学習なのか
2015/12/14 Kazuhiro Himoto 4

6. 目標
2015/12/14 Kazuhiro Himoto 5
scikit-learnの理解
 scikit-learn
Pythonの機械学習ライブラリ
URL: http://scikit-learn.org/stable/
その他重要ライブラリ
NumPy
数学
SciPy
科学技術計算
matplotlib
可視化
pandas
データフレーム

7. Pythonのバージョンは2系と3系がある
2015/12/14 Kazuhiro Himoto 6
Python 3 への移行が進みつつある様子
+α
■ 実務上の個人的な感想
Python 2 で不便はない
■ これからPythonを学ぶ場合
コミュニティが Python 3 に移
行しているのだから、Python 3
から入るのがよいのでは

8. Pythonのインストール
2015/12/14 Kazuhiro Himoto 7
教科書参照
pp. 114-117
標準Python + pip

9. パッケージ管理ツール「pip」
2015/12/14 Kazuhiro Himoto 8
scikit-learnやnumpyなどのパッケージをインストール・管理するツール。
例) scikit-learnをインストールしたい場合

10. (参考)Anaconda
2015/12/14 Kazuhiro Himoto 9
データサイエンス分野でポピュラー
メモ
MeCab (形態素解析ツール) に対応していない。
設定をいじれば対応可能のようだが、相当面倒らしい。
樋本
実務でMeCabの使用場面が多く、anacondaは使っていません。
+α

11. NumPy、SciPy、matplotlibの基礎
2015/12/14 Kazuhiro Himoto 10

12. (参考) Jupyter notebook
2015/12/14 Kazuhiro Himoto 11
Jupyter notebookを使って進めていきます。
※教科書外
http://jupyter.org/index.html
+α

13. NumPy
2015/12/14 Kazuhiro Himoto 12
なむぱい、なむぴい
数学関連のライブラリ
URL: http://www.numpy.org/
ベクトルの演算
行列の演算
etc.
数学関連の演算操作を高速に行える
(内部はC/C++、Fortranで実装)

14. NumPyのサンプル
2015/12/14 Kazuhiro Himoto 13
⇒Jupyter notebookへ
■インストール (pip)
$ pip install numpy

15. SciPy
2015/12/14 Kazuhiro Himoto 14
さいぱい、さいぴい
科学技術計算ライブラリ
URL: http://www.scipy.org/
フーリエ変換
信号処理
微分方程式ソルバ
特殊関数
etc.
NumPyがベースとなっている。

16. SciPyのサンプル
2015/12/14 Kazuhiro Himoto 15
⇒Jupyter notebookへ
■インストール (pip)
$ pip install scipy

17. matplotlib
2015/12/14 Kazuhiro Himoto 16
まっとぷろっとりぶ
グラフや図を描画するライブラリ
URL: http://matplotlib.org/
http://matplotlib.org/gallery.html

18. matplotlib のサンプル
2015/12/14 Kazuhiro Himoto 17
⇒Jupyter notebookへ
■インストール (pip)
$ pip install matplotlib

19. (参考) Pandas
2015/12/14 Kazuhiro Himoto 18
ぱんだす
データフレームを扱えるライブラリ。
 データの前処理
 SQLのようなテーブルの結合、集計操作
 各種分析
ディクショナリ
{
‘ID’ : [‘A’, ‘B’ , ‘C’ ],
‘AGE’: [‘15’, ‘21’, ‘65’]
}
データフレーム
ID AGE
A 15
B 21
C 65
使用頻度
高
すべてのプロジェクトで
使っています
$ pip install pandas
■インストール (pip)
+α

20. scikit-learn入門
2015/12/14 Kazuhiro Himoto 19

21. scikit-learn
2015/12/14 Kazuhiro Himoto 20
さいきっと・らーん
機械学習ライブラリ
■インストール (pip)
URL: http://scikit-learn.org
$ pip install scikit-learn

22. scikit-learnによる機械学習
2015/12/14 Kazuhiro Himoto 21
 線形回帰
 ロジスティック回帰
 サポートベクターマシン (SVM)
 KMeansクラスタリング

23. scikit-learnによる機械学習
2015/12/14 Kazuhiro Himoto 22
 線形回帰
 ロジスティック回帰
 サポートベクターマシン (SVM)
 KMeansクラスタリング

24. 線形回帰
2015/12/14 Kazuhiro Himoto 23

25. 線形回帰
2015/12/14 Kazuhiro Himoto 24
データを直線(平面、超平面)でフィットさせる手法。
y = a*x + b ⇒ 係数a と 切片b を求める。
(y = aTx + b)
アルゴリズム：最小二乗法
sklearn.linear_model.LinearRegression()

26. 人工生成したデータを対象に線形回帰
2015/12/14 Kazuhiro Himoto 25

27. 実際のデータを対象に線形回帰
2015/12/14 Kazuhiro Himoto 26
糖尿病の被験者データ 442件
説明変数
 年齢
 性別
 体重
 ...
目的変数
 １年の病気の進行具合 (を数値化したもの)
データセットの内容は下記で確認できます
http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_diabetes.html
10変数
正規化されている
と思われる

28. プログラム
2015/12/14 Kazuhiro Himoto 27

29. 結果 (学習)
2015/12/14 Kazuhiro Himoto 28

30. 結果 (評価)
2015/12/14 Kazuhiro Himoto 29
― 予測値
― 実測値
+α

31. 宿題
2015/12/14 Kazuhiro Himoto 30
 線形回帰
 ロジスティック回帰
 サポートベクターマシン (SVM)
 KMeansクラスタリング