Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

空気を読む家のキッチン(3-1)

32 visualizaciones

Publicado el

ソフトウェアジャパン2019 ITフォーラム AITCセッション

キッチンにおけるデータ収集

Publicado en: Tecnología
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

空気を読む家のキッチン(3-1)

  1. 1. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ソフトウエアジャパン2019 協働プロジェクト『空気を読む家』 キッチンにおけるデータ収集 2019年02月05日 先端IT活用推進コンソーシアム クラウド・テクノロジー活用部会 リーダー 荒本道隆
  2. 2. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. クラウド・テクノロジー活用部会のご紹介 ■背景/活動目的 7年目は、特に音を使った機械学習を中心に、様々な技術について 「実際に触ってみる」を実践した。 8年目も、引き続き部会内勉強会や部会内ハンズオンの開催を継続しつつ、前 期の内容に加え、外部出力するためのロボットなど、さらに幅広いクラウド関連 の各要素技術の活用に挑戦する。 ・測定(センシングなど): Arduino,RaspberryPI を使ったセンシング ・収集(ネットワーク) : 無線LAN, Bluetooth, 電子署名, セキュリティ ・蓄積(KVS, クラウドサービスの利用): RDF, SPARQL, IaaS の利用 ・分析(統計処理、オープンデータの利用、アルゴリズム): R, 遺伝的アルゴリズ ム, ディープラーニング ・出力(ビジュアライゼーション、外部操作): R, D3.js, ロボット, ROS これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使った ことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを 使ったプロトシステムを開発し、運用を行う。 2
  3. 3. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 具体的な活動内容 • 月1回(13:30~17:30)のミーティング • 情報交換(イベント、ニュース、その他) • 東京都立産業技術研究センター IoTテストベッド見学会 • 新しいサービスや面白い技術を触ってみる • ROS(Robot Operating System)2 • 量子コンピュータ • 書籍輪読 • 去年『仕事ではじめる機械学習』 • 今年『ゼロから作る Deep Learning ②』 • 気象庁XML取得APIを運用 http://api.aitc.jp/ – 運用期間を2021年8月まで延長 3
  4. 4. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 気象庁XMLの取得APIのアクセス数 4 REST API SPARQL WebSocket 年/月 リクエスト数 ユニークIP リクエスト数 ユニークIP リクエスト数 ユニークIP 2017/04 428,595 289 64 39 2,173 117 2017/05 452,716 441 100 40 923 155 2017/06 461,664 124 120 53 1,100 179 2017/07 485,524 139 205 54 1,743 164 2017/08 473,130 147 433 70 98,483 187 2017/09 487,245 582 503 62 79,967 191 2017/10 414,585 779 48 27 42,216 166 2017/11 302,232 558 67 30 1,552 148 2017/12 253,900 431 53 27 546 112 2018/01 349,202 265 32 28 758 162 2018/02 341,489 348 225 32 534 134 2018/03 388,140 294 77 22 1,580 148 2018/04 357,686 328 18 17 418 128 2018/05 368,571 460 39 26 369 108 2018/06 343,283 477 49 36 521 116 2018/07 257,046 351 55 35 463 103 2018/08 247,556 379 51 37 1,921 109 2018/09 290,163 319 29 24 504 128 2018/10 797,226 329 24 20 970 115 2018/11 1,742,973 843 59 15 200 106 2018/12 1,262,362 577 26 18 499 118 2019/01 154,889 469 45 21 521 123
  5. 5. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. キッチンにおけるデータ収集 冷蔵庫編
  6. 6. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. やりたいこと • 今回の『空気を読む家』のテーマ • ビール:冷えている物があと何本? → 在庫管理 • プリン:賞味期限切れを通知 → 期限管理 • ジュース:外気温だと味が悪くなる → 品質管理 • 冷蔵庫の中にある物の在庫管理 → 在庫、期限 • 冷蔵庫の外に出ている時間を測る → 品質 • 今回は冷蔵庫にフォーカス 冷蔵庫を改造すると怒られそうなので、復元可能な範囲で 6
  7. 7. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実現方法を検討-内蔵方式 • 冷蔵庫の中に設置 案1:BLEタグを対象物に付ける 案2:Arduino+圧力センサ+モバイルバッテリを設置 • 課題 • 冷蔵庫の中と外で通信できるのか? • ダメなら、扉が開いている間のみ通信を行う仕組みが必要 • 外気温との温度差による結露 • リチウムイオンバッテリが濡れると、爆発の恐れが? • 動作温度 • 電池やバッテリは、一般的に5度を下回ると良くない • 冷蔵室の中は、約3~6度 7
  8. 8. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実現方法を検討-観測方式 • 冷蔵庫の外に設置 • カメラを冷蔵庫上部に設置し、内部を撮影する • 物体認識で、何がどこにあるか把握 • 課題 • 扉が開いている間しか、撮影できない • どうやって「扉が開いている」を知るか? • ARマーカー or 画像 or e.t.c.... • 後ろに隠れた物は、分からない • カメラ設置に、家族の賛同が得られるか? • 冷蔵庫の近くは、カメラに映る危険がある • 冷蔵庫を開けると、確実にカメラに映ってしまう 8
  9. 9. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 検証方法 • 冷蔵庫内にBLEタグを設置 • 外のRaspberyPi3で測定 • 検証結果 • 冷蔵庫の外からでも、問題なく中の電波が取れた • 冷蔵庫の外:-40~-75 • 冷蔵庫の中:-60~-80 • 冷蔵庫の奥と、扉のポケットで、強さが違う • BLEタグの向きが変わっただけでも、強さが大きく変わった • 映画の影響で、「冷蔵庫は小さな電波暗室」と思い込んでいた • 昔の冷蔵庫は磁石が付くので、電波が届かないかも 課題:冷蔵庫の中と外で通信できるか? 9 BLEタグを 外に出した 範囲が重なっている
  10. 10. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 構成 • 対象物にBLEタグを付ける • 上に載せる、もしくは、輪ゴムで止める • 基準用に、常に冷蔵庫内に1つ置く • 外のRaspberry Pi3で、電波強度を測定する • クラウドに測定した電波強度を送る • 懸念点 • BLEタグが1個1,500円する • どんなに高価なプリンにつけても、勿体ない • 温度・加速度センサと合わせて、ワインなどを管理 冷蔵庫の中に設置:案1を実装 10 クラウド
  11. 11. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ量 • BLEタグのビーコンの電波強度を全て記録 • タグ数:4個/1軒あたり • 間隔:約2秒(かなりバラバラ) • 値の範囲:-35 ~ -105 • 通信量 • 2秒ごと、4個のBLEタグの電波強度をクラウドに送信 • 一番手軽なHTTPを利用したので、ムダが多い • 「自宅=Internet使い放題」の場合が多いはず • 削減方法 • 「状態が変化した時」だけ通知する • 軽量なプロトコル(MQTTなど)にする 11
  12. 12. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ蓄積量 • レンタルサーバ上のRDB(MySQL)に格納 • 今回は、小規模な実験で必要な性能で良しとする • 実測値:7日間 x 1軒 x 4タグで、約100万レコード • つまり、1分1タグあたり25レコード • RDBを使用しているので • 時間が経つと蓄積量が多くなり、参照や挿入が遅くなる • NoSQLも検討した方が良いが、今回は対象外とした • 発表当日の状態 • 17日間動かして、550万レコード 12
  13. 13. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 受信した電波強度-1 • 扉を閉じている状態 • 4つのBLEタグを冷蔵庫の中に置いた • -55~-90 の間を変動している 13
  14. 14. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 扉を開けて、BLEタグを1つ外へ出した • 開けた瞬間だけ、値が大きくなる • 注意:短時間だと、扉を開けた事が分からないかも 受信した電波強度-2 14 扉を開けた BLEタグを 外に出した
  15. 15. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 冷蔵庫の扉の開閉 • 開:基準タグが -50 を超えた → 見逃しあり • 閉:一定時間、基準タグが -50 を超えなかった → 遅延あり • 対象物の位置 • 出:対象タグが -50 を超えて、扉が「閉」状態 → 遅延あり • 入:一定時間、対象タグが -50 を超えなかった → 遅延あり 判定方法 15 10秒で、たまに誤判定 20秒で、ほぼ誤判定しない理想 現実
  16. 16. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 30分間、対象タグを外に出した場合 • 最初の2分間 判定方法検証-1 16 扉を開けた 誤判定した とても小さい値も たまに出る 「外」と判定
  17. 17. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 30分間、対象タグを外に出した場合 • 最後の2分間 判定方法検証-2 17 仕舞った 扉を開けたことを 見逃した
  18. 18. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装について • Raspberry Pi3側は awk で実装 • btmon(BLEモニタ)コマンドの出力をawkに流し込む • awk で、77Step を記述 • クラウドへの送信は、awk内からcurl コマンドを実行 • HTTPを使って送信 • DNS参照が何故か毎回遅いので、/etc/hosts にIPを記述 • サーバ側は php で実装 • 以前に作成したIoT用の可視化ツールを流用 • 2軒 x 4タグ x 2秒周期で、性能上は問題ナシ 18
  19. 19. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSとの連携 • 状態が変化したら、空間OSに通知する • 冷蔵庫の扉 :閉、開 • プリン1の位置:入、出 • プリン2の位置:入、出 • プリン3の位置:入、出 • HTTPを使って送信 • curl コマンドを叩くだけ 19
  20. 20. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 部会メンバによる実験の様子 • 花粉症対策で、ヨーグルトを1日1個必ず食べる • ヨーグルトが無いと、BLEタグを冷蔵庫の上へ置く 20
  21. 21. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 夜にヨーグルトを食べている • 2/1 はタグ無しのヨーグルトを食べた • グラフ通り、残ヨーグルトは1個(本人に確認済み) 部会メンバによる実験の結果 21 スタート ble2を 食べた ble4を 食べた
  22. 22. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 扉の開閉で、電波強度の変化が少ない冷蔵庫もあった • BLEタグ、Raspberry Pi3、使用しているソフトウエアは同じ • 基準タグの変化量が、非常に少ない やってみて分かった事 22 我が家の冷蔵庫 Uさん宅の冷蔵庫 物を取り出したのに、 それらしい記録がない
  23. 23. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 感想 23 • ログを取っておくと、何かに使えるかも • 朝、冷蔵庫を開ける習慣があるなら → 気温と、起床時刻との相関 → 体重と、冷凍庫の開閉回数との相関 • 今回は、電子工作が一切不要だった • 機器を買うだけなので、ハードルが低い • BLEタグを見分けるためのシールを貼った • BLEタグの電波をどこまで信じられるか? • 一方的に電波を出し、上下幅がかなりあり、判定が難しい • 基準に複数のBLEタグを使うことで、誤差を減らせる • 4つで0.5秒周期相当 1
  24. 24. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp 最新情報は こちらをご参照ください ハルミン AITC非公式イメージキャラクター AITC クラウド活用部会への参加、 お待ちしてます

×