JAZUG 7周年総会のセッション資料です。

1. 社内で IoT ＆ AI な
農業系チャットボット開発講座を
やってみて
JAZUG 7周年総会
2017/9/9
平林 拓将

2. 自己紹介
Name
平林 拓将（ひらりん）
Work
旭化成アミダス株式会社（人材派遣）のITエンジニア育成担当
開発＆講師を担当（広く浅くの雑食系）
• C# / Xamarin / Java / Groovy / Grails / Web / DB / Azure
Social
Twitter：@himarin269
Blog：http://himanago.hatenablog.com/
2
Azure歴は約7か月

3. 本セッションの概要
昨年度11月～３月ごろに社内でIoT関係の講座をやったときの
ことをお話しします
講座の中で、初心者でもわかるAzureを活用した農業系IoTシス
テムを作ったので、どんなものをどのように作ったのか紹介し
ます
Azure のいいなと思ったところや、講座・教材システムを作る
うえで苦労した点なども共有できればと思います
3

4. Agenda
やったことの概要
しくみ解説
つくったもののデモ
開発＆講座実施の振り返り
まとめ
4

5. やったことの概要
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
5

6. 講座開催の経緯
社内で定期的に実施している選択講座制度を盛り上げたい
ほぼ毎週違ったテーマの講座を実施（任意参加）
年度の後半は参加者が減っていく傾向があった
“IoT×農業”を実際にやってみるという案が浮上
上司が農業に興味をもっていた
講師はIoTも農業も未経験だったため手探りからのスタート
6

7. つくったもの
7
農作物とLINEを通じて会話ができるチャットボット
こんにちは！
こんにちは！
水いる？
いまはいらない
です！

8. 以下のデモアプリから着想を得ました
畑Bot
畑とLINEで友達になって会話できる!? 自然言語処理とBotが実現する
ニュータイプなIoTアプリ【夏サミ2016レポート】（CodeZine）
• https://codezine.jp/article/detail/9605
現在のAI技術を前提にあらためてBotによるIoTアプリの可能性を考え
てみた（Qiita）
• http://qiita.com/nkjm/items/540ce04a2c7550d882e4
8
※Raspberry Pi / LINE Botを利用していること以外、内部のしくみは異なる

9. 教材システムの構成
9農作物
LUIS
Computer Vision API
湿度データ
写真
IoT Hub Stream Analytics SQL Database
Blob Storage
Functions
Cognitive Services
Bot
（LINE Messaging API）
土壌湿度センサー
カメラモジュール
Raspberry Pi 3
IoTデバイス
LINE Beacon
・様子どう？
・水いる？
・写真見せて！
来てくれたんだね！
ユーザー
LINE

10. 講座の構成
1回完結では収まらないのでシリーズ化！
11月 IoT概要
12月 Raspberry Pi
1月 通信方式
2月 Azure
3月 AI＆Bot
10
IoT Hub、Stream Analytics、SQL Database、Blob Storage
Functions、Cognitive Services（LUIS、Computer Vision API）
Azure 初登録！

11. 講座としての工夫
各回・各受講者の演習結果を組み合わせてひとつのシステムが
少しずつ出来上がっていくように見せた
11

12. 講座としての工夫
実際に農作物を育てた！
11月に空豆・えんどう豆の苗を購入
ビルの中に鉢を置いて栽培
２月・３月の回にみんなで食べた
12
夜な夜な収穫した豆をゆでる
（このあと冷凍保存）

13. しくみ解説～湿度データの蓄積
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
13

14. ユーザー
LINE
Bot
（LINE Messaging API）
しくみ解説～湿度データの蓄積
14農作物
LUIS
Computer Vision API
湿度データ
写真
IoT Hub Stream Analytics SQL Database
Blob Storage
Functions
Cognitive Services
土壌湿度センサー
カメラモジュール
Raspberry Pi 3
IoTデバイス
LINE Beacon

15. Azure IoT Hub
15
多数のIoTデバイス ⇔ クラウド間の双方向通信を実現するサービス

16. Azure IoT Hub
センサーから取得したデータをIoT Hubへ
16
Raspberry Pi 3 IoT Hub
＜手順＞
1. IoT Hubの「ホスト名」と「接続文字列」を取得する
2. IoT Hubに接続するデバイスの「デバイスID」を決める
3. IoT HubにデバイスIDを登録し「デバイスキー」を得る
4. 接続情報を反映させる
参考）[公式ドキュメント] Node を使用してシミュレーション対象デバイスを IoT Hub に接続する
https://docs.microsoft.com/ja-jp/azure/iot-hub/iot-hub-node-node-getstarted

17. Azure Stream Analytics
17
送られてきたデータをリアルタイムに分析し適切な処理に回すサービス

18. Azure Stream Analytics
IoT Hubで受け取ったデータをStream AnalyticsでDBへ
18
＜注意点＞
• Stream Analyticsが入力・出力を仲介する場合、それらの
リージョンをそろえないとデータ転送料金が発生してし
まう
• リージョン間のデータ転送は課金だけでなくパフォーマ
ンスにも悪影響
IoT Hub Stream Analytics SQL Database

19. Azure Stream Analytics
SQLライクなクエリで分析処理を記述
一定間隔ごとに「タイムウィンドウ」で区切って分析できる
複数の入力をJOINすることも可能
19
https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics-window-functions
SELECT CAST(SEND_DATETIME AS datetime) AS SEND_DATETIME,
HUMIDITY_VALUE
INTO [sa-out]
FROM [sa-in]
※今回は単純に受け取った値をそのまま流すようにした

20. Azure SQL Database
20
Azureで使えるおなじみのリレーショナルデータベース

21. DB内データはSSMSで確認
実際にセンサーのデータがクラウドに保存されたときは感動！
21

22. しくみ解説～写真の保存
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
22

23. ユーザー
LINE
Bot
（LINE Messaging API）
しくみ解説～写真の保存
23農作物
LUIS
Computer Vision API
湿度データ
写真
IoT Hub Stream Analytics SQL Database
Blob Storage
Functions
Cognitive Services
土壌湿度センサー
カメラモジュール
Raspberry Pi 3
IoTデバイス
LINE Beacon

24. Azure Blob Storage
24
バイナリデータを格納するためのストレージ

25. Azure Blob Storage
カメラモジュールで撮影した画像データをBlob Storageへ
25
Raspberry Pi 3
＜ポイント＞
Node.jsを使う場合は、「azure-storage」を用いることで
簡単に実現できる
Blob Storage
【Qiita】[Node.js]Raspberry Pi のカメラモジュールで撮影した写真をAzure Blob Storageに送る
http://qiita.com/himarin269/items/558773ae49f3816944a1

27. しくみ解説～Functions＆LUISでLINE Bot
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
27

28. ユーザー
LINE
Bot
（LINE Messaging API）
しくみ解説～Functions＆LUISでLINE Bot
28農作物
LUIS
Computer Vision API
湿度データ
写真
IoT Hub Stream Analytics SQL Database
Blob Storage
Functions
Cognitive Services
土壌湿度センサー
カメラモジュール
Raspberry Pi 3
IoTデバイス
LINE Beacon

29. LINE Bot（Messaging API）
LINEと外部サービスを連携させる「Messaging API」により
チャットボットを実現
29
ユーザーからの
メッセージを受信
外部サービス
に通知
メッセージ
送信依頼
ユーザーへ
メッセージを送信
https://business.line.me/ja/services/bot

30. Azure Functions
30
イベントを連携させる「関数」を作るサーバーレスアーキテクチャ

31. Azure Functions
イベント駆動の関数開発
Timer / 汎用webhook / GitHub webhook / BLOBストレージ /
Queue Storage といったトリガーが用意されている
対応言語
C# / F# / Node.js / Python / PHP / Batch / Bash
31

32. Functions で LINE Bot
単純な応答ならFunctionsで簡単に開発可能！
Messaging APIとの連携は汎用webhookで実現可能
32
Messaging
API

33. 苦労したところ
講座スケジュール
11月 IoT概要
12月 Raspberry Pi
1月 通信方式
2月 Azure
3月 AI＆Bot
33
IoT Hub、Stream Analytics、SQL Database、Blob Storage
Functions、Cognitive Services（LUIS、Computer Vision API）
無料試用版のサブスクリプションが
期限切れ！
2/25
3/25
• 2/25から30日間 → 3/27で切れる
• 2/25から1か月間 → 3/24で切れる
30日間 ではなく 1か月間
だった！？

34. 34
https://azure.microsoft.com/ja-jp/free/
https://azure.microsoft.com/ja-jp/offers/ms-azr-0044p/
どちらが正しいんですか…？

35. 苦労したところ
サブスクリプションの有効期限が切れてしまった受講者の分、
講師アカウントの Functions に関数を作成した
35
当初の想定 応急処置
LINE
Bot
Bot
Bot
Azure
講師サブスクリプション
受講者サブスクリプション
受講者サブスクリプション
関数
関数
関数
・
・
・
・
・
・
LINE
Bot
Bot
Bot
Azure
講師サブスクリプション 関数
関数
関数
・
・
・
・
・
・
講師が人数分関数を
作成し、連携情報を
コピペ

36. 苦労したところ
ブラウザ上での「.csx」コーディングが大変
Visual Studio 2017と統合されていなかった
演習見本のコードを用意したときはJSONをクラスに変換するためだけにVS起動
36
たまに反応しなくなったら
リロードする

37. 現在はVS2017で快適に開発可能！
実装 / デバッグ（ローカル・リモート）/ デプロイができる
37
【Qiita】Visual Studio 2017によるAzure Functionsの開発
http://qiita.com/himarin269/items/b8ec8f3bbb79fea7abc5

38. LUIS（Language Understanding Intelligent Service）
38
自然言語理解のための「認知」の Cognitive Services のひとつ

39. LUIS のしくみ
自然言語の文章の中にある意味のある単語（Entity）を抽出し、
学習データと照らし合わせて意図（Intent）を読み取る
39
水が欲しいですか。
お水いる？
水がいるかどうか
知りたい
＜自然言語＞ ＜Intent＞＜Entity＞
[水]が[欲しい][ですか]。
お[水] [いる] [？]
水
水
欲しい
欲しい
疑問
疑問

40. LUIS の使い方
理解させたいIntentに対応する例文を入力し、文節・単語に
Entityを紐付けし、Train ＆ Test を繰り返す
学習が完了したらWeb APIとして書き出せる
文章を与えるとそれがどのIntentに一番近いか解釈してくれる
40

41. 受講者の反応がかなりよかった
自分のLINEでLUISと話しながら精度を上げる作業は楽しい！
子供やペットを育てているように愛着がわく
成果がすぐ見えるのも◎ 41
いろいろな言い回しで反応を
見ながら、正しい解釈をして
もらえるよう育てていく

42. しくみ解説～現在の様子を伝える
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
42

43. ユーザー
LINE
Bot
（LINE Messaging API）
しくみ解説～現在の様子を伝える
43農作物
LUIS
Computer Vision API
湿度データ
写真
IoT Hub Stream Analytics SQL Database
Blob Storage
Functions
Cognitive Services
土壌湿度センサー
カメラモジュール
Raspberry Pi 3
IoTデバイス
LINE Beacon

44. Computer Vision API
44
画像を分析してデータを抽出する「視覚」の Cognitive Services のひとつ

45. どう活用したか
画像を分析して得られた「タグ」を利用
まずサンプル画像を読ませて解析結果を確認
使えそうなキーワードを拾ってBotに判定させる内容を決定
45

46. 実際に育てた植物の写真を分析
46

47. 分析結果
47
"plant", "flower", "vase", "table",
"green", "sitting", "glass", "small",
"top", "clear", "fruit", "water",
"white", "holding", "tall"
"table", "sitting", "cake", "flower",
"top", "holding", "glass", "large",
"water", "standing", "sign",
"phone", "man", "white"
"small", "food", "plastic", "sitting",
“green”, “top”, "little", "holding",
“white”, “salad”, "broccoli",
“board”, “plate”, "brush"
「flower」「fruit」が含まれていたら
特別なメッセージを返す仕様に決定！

48. しくみ解説～写真の送信
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
48

49. ユーザー
LINE
Bot
（LINE Messaging API）
しくみ解説～写真の送信
49農作物
LUIS
Computer Vision API
湿度データ
写真
IoT Hub Stream Analytics SQL Database
Blob Storage
Functions
Cognitive Services
土壌湿度センサー
カメラモジュール
Raspberry Pi 3
IoTデバイス
LINE Beacon

50. LINE Botにおける画像送信
画像URLを渡すとその画像をBotから送れる
Blob StorageのデータにはURLが割り当てられている
サムネイルはまた別の画像URLを渡す必要がある
LINE側でサムネイルは作ってくれないので自分で用意する
サムネイルURLを指定しないと大きい画像がトーク画面に出てしまう
50

51. Computer Vision API でサムネイル生成
Computer Vision API の サムネイル生成機能を使用
生成したサムネイル画像は別のBlob Storageコンテナーに格納
「スマートトリミング」で関心領域を維持
51
https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/

52. Computer Vision API でサムネイル生成
52
写真みせて
オリジナル
コンテナー
サムネイル
コンテナー
サムネイル生成依頼
（オリジナル画像のURL）
最新のオリジナル
画像のURLを取得
サムネイル
データ
サムネイル
保存
オリジナル・
サムネイルのURL

53. Demo
53

54. しくみ解説～ LINE Beaconとの連携
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
54

55. しくみ解説～LINE Beaconとの連携
友だちになっている LINE Bot と連携している LINE Beacon に
近づいたり離れたりすると「Beaconイベント」が発火される
イベントは「enter」「leave」の2種類
Functionsのコードに数行追記するだけで対応可能
55
来てくれたんだね！
また来てね！
近づくと…
離れると…

56. LINE Beacon
56
※Raspberry Piを使って「LINE Simple Beacon」を製作することもできる
→ https://engineering.linecorp.com/ja/blog/detail/117

57. なぜビーコン？
IoTやシステム化となると自動化ばかりに目が行きがち
IoT Hubからデバイスを操作して遠隔水やり！とか
どんどん機械的になってしまう
農業そのものが楽しくなるような仕掛けを作るべき！
あえて面倒な水やりを残すことで愛着がわくようにする
育てる楽しさを増やすIoTを作りたい
57

58. ユーザー
LINE
Bot
（LINE Messaging API）
しくみ解説～LINE Beaconとの連携
58農作物
LUIS
Computer Vision API
湿度データ
写真
IoT Hub Stream Analytics SQL Database
Blob Storage
Functions
Cognitive Services
土壌湿度センサー
カメラモジュール
Raspberry Pi 3
IoTデバイス
LINE Beacon
Beaconイベントの条件分岐を
書いて固定メッセージを返す
ようにするだけ

59. 苦労したところ
「leave」の動作確認が意外と大変！
LINE Beaconは意外と範囲が広い
ビルを出てしばらく歩いてはじめて「離れた」ことになったり
「講座終了後、ビルから出たらメッセージが来るはずです」
終了後にもちょっとした楽しみができたのは良かった
59

60. 意外な効果
会社に置きっぱなし＆起動しっぱなしの LINE Beacon から
出社 / 退社のタイミングでメッセージが来る
出退勤時間が自動記録されて便利
講師（私）の園芸・農業への興味が増した
LINE Beacon導入後に世話をしていたのはほとんど自分一人
60

61. 開発＆講座実施の振り返り
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
61

62. AzureでIoT
62
Azureの各サービスの組み合わせの可能性を感じた
IoT・AI系のサービスが非常に強力
アイディア次第でいろんなことができそう

63. IoT講座は成功？
結局、参加者数は回を重ねるごとに減少…
クラウドやAIといった概念が難しそうだと感じた？
録画した動画を今年の新人数名に見てもらったら好評だった
実際はそこまで難しいわけではない
単純に後半になればなるほど忙しくなるだけなのかも
最終回は年度末だったため「予定が合わず参加できない」人が続出
63今後、単発でもおもしろい Azure 活用講座を考えていきたい

64. 講座をすると
初心者からいきなり社内の第一人者になれる
誰もやっていないことに手を出してしまえばいい
別部署でBot開発の話があったときに意見を聞かれた
自分が学んだばかりのことを教えるのも悪くない
新鮮な気持ちや初心者がハマりがちなところなどを伝えられる
なにより自分の勉強になる
64

65. 今後の展望？
Custom Vision Service を使ってみたい
より細かな生育状況を判定できるかも
今度は畑を借りて本格的にやりたい！
いろんなセンサーを追加してクラウドをフル活用できたら
65

66. まとめ
社内で IoT ＆ AI な農業系チャットボット開発講座をやってみて
66

67. まとめ
Azureの機能を組み合わせれば IoT も AI も思いのまま
Azureのサービスやその他技術をパズルのように組み合わせればOK
登壇のすゝめ
勉強会や研修の講師など登壇をすると成長できる
Microsoft Azure は楽しい！
非エンジニアから熟練プログラマーまで楽しめた！
67

68. おわりに
JAZUG 7周年おめでとうございます
新参者ですがこれからもどうぞよろしくお願いします
ご清聴ありがとうございました
68