[DSO] Machine Learning Seminar Vol.8 SKUE

1. [DSO] Machine Learning Seminar Vol.8[DSO] Machine Learning Seminar Vol.8
2020-09-29
SKUE

3. 機械学習の適⽤2 - Webアプリケーション機械学習の適⽤2 - Webアプリケーション
この章で⾏うこと
訓練済みの機械学習モデルの保存
SQLiteの活⽤
Flaskを⽤いたWebアプリケーションの開発
モデルのデプロイ

4. 学習済みのscikit-learnの推定器をシリアライズする学習済みのscikit-learnの推定器をシリアライズする
モデルの学習には時間がかかるため、pickleモジュールを⽤いてモデルの永続
化をする。
pickleで保存してしまえば、予測したいときにモデルをリロードするだけで済
む。

5. 1.モデルやデータの保存1.モデルやデータの保存
第8章で扱ったアウトオブコア学習の結果（stopワード(stop)、分類器(clf)）をpickleで
保存しておく。

6. TipsTips
%% le
%% leをjypyter notebookのセルで使えばjupyter notebookで.pyファイルを⽣成
できる。
!mkdir
Linuxコマンドのmkdirを⽤いてディレクトリを⽣成できる。

7. 2.予測に必要な関数の作成2.予測に必要な関数の作成
テキストのベクトル化の関数を予測を⾏うディレクトリに設けておく。

9. 3.実⾏3.実⾏
movieclass erのディレクトリ下でpythonを⽴ち上げて以下のコードを実⾏する。
これが新しいデータ
前処理
学習済みモデルでの予測

10. データストレージとしてSQLiteデータベースを設定すデータストレージとしてSQLiteデータベースを設定するる
SQLiteとは
OSSのSQLデータベース
サーバは⽤意しなくてもいい。
全てが1つのファイルに含まれたデータベースと考えることができる。
sqlite3として、Pythonの標準ライブラリになっている。

11. 1.SQLiteでDBのテーブル作成とレコード追加1.SQLiteでDBのテーブル作成とレコード追加
以下のコードを実⾏して、テーブルを⽣成して、レコードを2件追加する。
SQLiteのデータは.sqliteの拡張⼦で保存される。
ここではreviews.sqliteを都度、消して⼊れ直すという書き⽅をしている。

12.
パスワードとかなしでアクセスできる。
オブジェクトは を実行できる環境を提供してくれる。
新しいデータ
データの の特定テーブルへの挿入
新しいデータ
データの の特定テーブルへの挿入
これを実行しないと実行内容が保存されない。
接続しっぱなしになるので閉じる。

13. 2.保存したデータの読み込み2.保存したデータの読み込み
以下のコードでSQLiteに保存したデータを読み込むことができる。

14. Flaskを使ってWebアプリケーションを開発するFlaskを使ってWebアプリケーションを開発する
Flaskとは
軽量なWebアプリケーションのフレームワーク
インストールする

15. "Hello World!"的な試⾏1：htmlをブラウザで表⽰する"Hello World!"的な試⾏1：htmlをブラウザで表⽰する
その1：ディレクトリを作る
その2：app.pyというwebアプリケーションをつかさどるファイルを作る
その3：webアプリケーションで表⽰したいhtmlファイルを作る
ディレクトリを作っておく
ディレクトリを作っておく

16. webアプリケーションをつかさどるファイルを作る
初期化して、テンプレが同じディレクトリ内で見つかるようにしている。
インデックス関数が実行すべき を指定している。
レンダリング
サーバ上のアプリケーションを実行

17. webアプリケーションで表⽰したいhtmlファイルを作る

18. python app.py
をターミナルで実⾏してローカルサーバーのアドレス（
）が表⽰されるので、それをwebブラウザで開くなどすればい
い。
http://127.0.0.1:5000/
(http://127.0.0.1:5000/)

19. "Hello World!"的な試⾏2：webフォームからデータを集める"Hello World!"的な試⾏2：webフォームからデータを集める
その1：WTFormsライブラリでユーザからデータを収集する
その2：ディレクトリを作る
その3：app.pyというwebアプリケーションをつかさどるファイルを作る
その4：Jinja2というテンプレートエンジンを⽤いてhtml周りの処理をさせる。
Jinja2はテキストベースのテンプレートエンジンで、HTMLやXMLだけ
でなく、どのようなマークアップの⽂書でも⽣成できる。
その5：cssを使ってスタイルを追加する
その6：webアプリケーションで表⽰したいhtmlファイルを作る

20. をインストール
ディレクトリを作っておく
ディレクトリを作っておく
ディレクトリを作っておく

21. app.pyというwebアプリケーションをつかさどるファイルを作る
テキストフィールドの拡張
フォーム画面での挙動
入力後のページでの挙動
メソッドを使ってフォームのデータをサーバに
送信する。
受け取った名前のデータ
受け取った名前のデータを に反映する。

22. Jinja2というテンプレートエンジンを⽤いてhtml周りの処理をさせる。

23. cssを使ってスタイルを追加する。ここではフォントの⼤きさを指定しているだけ。

24. webアプリケーションで表⽰したいhtmlファイルを作るwebアプリケーションで表⽰したいhtmlファイルを作る
これは⼊⼒画⾯。_formhelpers.htmlというjinjaのファイルを呼び出してレンダリング
をしている。
※レンダリングとは、データなどで保持している情報から、コンピュータのプログラ
ムを⽤いて画像などを⽣成すること。

26. これはフォーム⼊⼒後のページ。受け取った名前を画⾯に表⽰するためのコード。

27. python app.py
をターミナルで実⾏してローカルサーバーのアドレス（
）が表⽰されるので、それをwebブラウザで開くなどすればい
い。
http://127.0.0.1:5000/
(http://127.0.0.1:5000/)

29. 映画レビュー分類器をWebアプリケーションとして実映画レビュー分類器をWebアプリケーションとして実装する装する
その1：ディレクトリを作る
その2：update.pyという映画レビューの分類器の更新をつかさどるファイルを
作成する
その3：app.pyというwebアプリケーションをつかさどるファイルを作る
その4：Jinja2を⽤いてhtml周りの処理をさせる
その5：cssを使ってスタイルを追加する
その6：webアプリケーションで表⽰したいhtmlファイルを作る

30. なければこれでディレクトリを作る
ディレクトリを作る
ディレクトリを作る

31. update.pyという映画レビューの分類器の更新をつかさどるファイルを作成する
ローカルディレクトリから をインポート
前処理
学習
のファイルを永続的に更新したい場合は以下のコードのコメントを解除

32. app.pyというwebアプリケーションをつかさどるファイルを作る
関数が⻑いので分割して紹介1
ローカルディレクトリから をインポート
ローカルディレクトリから 関数をインポート

33. 関数が⻑いので分割して紹介2
分類器の準備の部分の記述
現在のディレクトリの情報を取得
モデルを取得
データベースの情報を取得
分類器の関数
前処理
予測
クラスごとの確率の最大値を返す
ラベルと確率を返す
新しいデータでの訓練
にデータをインサートする関数

34. 関数が⻑いので分割して紹介3
部分の記述
レビューは 文字以内
トップページの挙動に関する記述
結果ページの挙動に関する記述
映画のレビューを受け取る
レビューのデータをつっこんで、前処理させて予測
結果を ファイルに反映させる。（レンダリングする）
入力フォーム

35. 関数が⻑いので分割して紹介4
部分の記述
サンキューページの挙動に関する記述
フィードバック結果によって表示を変える
モデルを訓練し直す
訓練データとして追加する
サンキューページを表示する

36. 関数が⻑いので分割して紹介5
部分の記述
モデルを更新してから実行す
る

37. Jinja2というテンプレートエンジンを⽤いてhtml周りの処理をさせる

38. cssを使ってスタイルを追加する、ここでは幅とパディングについてだけ。

39. webアプリケーションで表⽰したいhtmlファイルを作る。
これは⼊⼒画⾯のhtml。

40. これは結果の画⾯のhtml

41. これはサンキューページのhtml

42. python app.py
をターミナルで実⾏してローカルサーバーのアドレス（
）が表⽰されるので、それをwebブラウザで開くなどすればい
い。
http://127.0.0.1:5000/
(http://127.0.0.1:5000/)

45. PythonAnywhereでのサーバ上でのアプリケーション実PythonAnywhereでのサーバ上でのアプリケーション実⾏⾏
PythonAnywhereとは？
PythonベースのWebホスティングサービス。要はサーバを皆さんに貸
しますよというサービス。
Beginnerアカウントであれば無料である程度のことを扱えるという良
⼼的なサービス。

46. PythonAnywhereでの⼿順PythonAnywhereでの⼿順
その1：アカウントを作って、python3.8の環境を⽤意する。
その2：virtualenvで⾃分の環境を作り、sklearn、 ask、wtformsをインストー
ルする。
その3：ディレクトリを作成し、ファイルをアップロードする。
その4：リロードする。
その1：アカウントを作って、python3.8の環境を⽤意する。その1：アカウントを作って、python3.8の環境を⽤意する。
詳細は教科書に載っているので割愛。

47. その2：virtualenvで⾃分の環境を作り、sklearn、 ask、wtformsをイその2：virtualenvで⾃分の環境を作り、sklearn、 ask、wtformsをインストールする。ンストールする。
Bash consoleを開いて、
「mkvirtualenv 任意の名前（アルファベット）--python=/usr/bin/python3.8」
を実⾏する。
そのあとは、sklearn、 ask、wtformsをインストールをpipを使ってインストールして
おく。

48. 管理画⾯の「Web」からVirtualenvの設定で、先ほど作った環境名を指定する。

49. 管理画⾯の「Web」で実⾏するファイルのパスを指定しておく。

50. その3：ディレクトリを作成し、ファイルをアップロードする。その3：ディレクトリを作成し、ファイルをアップロードする。

51. その4：リロードする。その4：リロードする。

52. デプロイされたアプリケーションを触ってみるデプロイされたアプリケーションを触ってみる