Smarthome dev overview

スマートホームシステムの開発概要
Alexa Day 2019
株式会社システムゼウス

自己紹介
1
© 2019 Systemzeus Inc.
飛田直人（TOBITA Naoto）
株式会社システムゼウスのCOO
NTTとソニーを経て、2013年に現職
COOとして、人事や広報、情シス、
新規事業検討などを雑多に担当
約20年間システム開発に従事。
実績は電子マネーシステム、
おサイフケータイのシステムなど。
最近はIoTシステムの開発に注⼒。

株式会社システムゼウスの宣伝
• アプリケーションの受託開発が主事業
• 社員数55名（エンジニア51名）
• Webアプリケーション（サーバーサイド）が得意分野
• AWS上での開発実績多数。今現在も6つのプロジェクトがAWSで開発。
• 開発実績として電子マネーやおサイフケータイのシステムなど
• 最近はIoT関連のシステム開発に注⼒

本セッションのねらい
3
Alexaを使ったスマートホームシステムを、開発者目線で、俯瞰できるようになっていただく
組込みデバイス
全体図を⾒て、デモを⾒て、各部を⼀つひとつ確認

当日のデモで使用したモノ
4
デバイスシミュレータとAmazon EchoデバイスシミュレータとAmazon Echo
LEDライト（家模型）とAmazon EchoLEDライト（家模型）とAmazon Echo

Alexaスマートホームスキルでできること ※2019年3月時点
5
No デバイス操作内容操作例備考
1 ライト ON/OFF －
輝度 0-100%で指定
色⾚、⻘など
色温度（ケルビン） 1,000-10,000ケルビンで指定
2 扇風機 ON/OFF －
風量（％） 0-100%で指定
3 テレビ ON/OFF －
⾳量大きくして、小さくして
チェンネル ○ch、テレビ○○など
⼊⼒切替 HDMI1、HDMI2など
4 DVDプレイヤー ON/OFF －
⾳量大きくして、小さくして
再生操作再生、巻き戻し、⼀時停止、早送りなど
5 ドアロック施錠/解錠－発話での解錠は、日本では当初制限されていたが、2018.12に実装可能
になる。
6 ドアロック
（非同期）
施錠/解錠－非同期とは、8秒以上かかって施錠が⾏われるロックに対応したもの。
突き放し処理で施錠指⽰がされ、施錠結果が非同期で返る。
7 エアコン ON/OFF －
運転モードクーラー、暖房、送風
OFFタイマー ○時にOFF 2019年3月時点で日本語未対応
風量（％） 0-100%で指定
温度調整（度） ○度

当日のデモの様子（LEDライトの発話操作）
6
Amazon EchoとLEDライト（家模型）

システム全体像
7
Device Cloud
Core
Amazon Echo
Device App
API
Alexa Skill
API
他社製AI向け
API
他社製⾳声AI
Alexa Cloud
AWS IoT
Analytics
Pipeline
拡張
Quick
Sight
Device Cloud
デバイス
アプリ
スピーカ
アプリ
スマホ
組込
アプリ
運用PC
LEDライト
※橙色が開発箇所
他社製
スピーカー
Smart Home
Skill
デバイス
シミュレータ
PC
発話〜デバイス操作の流れ

クラウドのシステム構成
8
Cognito
DynamoDB
Lambda
API Gateway AWS IoT
デバイス
アプリ
アレクサ
アプリ
アレクサ
スマホデバイス
組込
アプリ
IoTに相応しいマネージドサービスの組み合わせ

ユーザ操作（初回手続き）
9
ユーザ登録
• ユーザのID＆パスワードをデバイスクラウドに登録する（持ち主登録）
デバイス
登録
• スマホのデバイスアプリを使い、デモ用LEDライトをデバイスクラウドに登録する
• 先に登録したユーザとデバイスを紐付ける
• デバイスのセキュアエレメントにある秘密鍵を使い、なりすましを防止
アカウント
リンキング
• デバイスクラウドのユーザアカウントと、Amazon Echoのユーザアカウントを紐付ける
• デバイスクラウドユーザ管轄のデバイスに、Amazon Echoのユーザからリーチできる
発話操作可能に︕
１
２
３

当日のデモの様子（デバイスの初回設定）
10
Webアプリ（スマホ）
デバイス（家の模型・LEDライト）

Webアプリにおけるデバイス登録処理
11
Device Cloud
スマホ
LEDライト
ECC608A
SAMG55
LED制御基板
Wifi APモード
切替スイッチ
（ハードボタン）
デバイス
アプリ
（Web）
LED制御
アプリ
WINC1500
1.APモード起動ブラウザ
S3
Cloud
Front
2.WebアプリのDL
3.ログイン
4.Wifi接続
OSのWifi設定
Wifiルータ
6.Wifiルータ接続指⽰
https
サーバ
7.デバイス証明書の登録（JIT）
8.デバイス登録
（OS設定でWifi切替）
LEDライト
1
2
3
4
6
5
5.ThingIDと
SSIDの取得
7
8
IoT
アプリ

スマートホームスキルの開発
12
Device Cloud
Core
Amazon Echo
Device App
API
Alexa Skill
API
他社製AI向け
API
他社製⾳声AI
Alexa Cloud
AWS IoT
Analytics
Pipeline
拡張
Quick
Sight
Device Cloud
デバイス
アプリ
スピーカ
アプリ
組込
アプリ
運用PC
他社製
スピーカー
Smart Home
Skill
デバイス
シミュレータ

スマートホームスキルの開発
13
• スキルはLambdaにホストするWebアプリケーション。弊社はNode.js（Typescript）で実装。
• カスタムスキルと異なり、発話と操作に関する仕様が予め規定されている
• スマートホームスキル対応デバイスは、ウェイクワードを省略して発話操作できる
ウェイクワードなし「アレクサ、リビングのライトをつけて」
ウェイクワードあり「アレクサ、ぜうすでんきのスキルを使って、リビングのライトをつけて」
• デバイス操作にかかる主要ロジックは後段のデバイスクラウドに実装するため、スマートホーム
スキル⾃体は中継ロジックのみで、軽量開発となる
• デバイス側のローカル操作結果をAlexaに通知する経路（ChangeReportイベント系）が、
実装漏れしやすい。

デバイスクラウドの開発
14
Device Cloud
Core
Amazon Echo
Device App
API
Alexa Skill
API
他社製AI向け
API
他社製⾳声AI
Alexa Cloud
AWS IoT
Analytics
Pipeline
拡張
Quick
Sight
Device Cloud
デバイス
アプリ
スピーカ
アプリ
組込
アプリ
運用PC
他社製
スピーカー
Smart Home
Skill
デバイス
シミュレータ

デバイスクラウドの開発
15
• Lambdaにホスト。弊社はNode.js（Typescript）で実装。
• AWS IoTを活用。AWS IoTはデバイスと通信するときのプロキシー的な役割。
• ユーザ（デバイスオーナー）管理にCognitoを活用。OAuthなどの認証プロトコルの⾃作が不要に。
• ユーザ情報とデバイス情報を紐付けるデータをDynamoで管理
• デバイス登録について、弊社ではJust In Time（JIT）方式を採用。
• デバイス登録・操作で用いるアプリ（スマホ）とのやりとりもデバイスクラウド管轄
• 拡張性を意識して開発する
デバイスクラウドではシャドウ（デジタルツイン）を用いてデバイスを管理する

（参考）シャドウとは
16
デバイスの状態を管理するJSONデータ
例︓LEDライトのシャドウ

デバイス組込みアプリの開発
17
Device Cloud
Core
Amazon Echo
Device App
API
Alexa Skill
API
他社製AI向け
API
他社製⾳声AI
Alexa Cloud
AWS IoT
Analytics
Pipeline
拡張
Quick
Sight
Device Cloud
デバイス
アプリ
スピーカ
アプリ
組込
アプリ
運用PC
他社製
スピーカー
Smart Home
Skill
デバイス
シミュレータ

デバイス組込みアプリの開発
18
• デバイス本体の基板に、IoT用基板を出島のように接続する形態が無難 ※後図参照
あ
－デバイス本体に混ぜ込むようにIoT部を実装すると、タスクと割り込みの管理が複雑になる
－IoT部のみ作ってしまえば、他の製品に使いまわしできる
• IoT部は、「MCU」「通信チップ（Wifiなど）」「セキュアエレメント」の３つから成る
• セキュアエレメントを用い、JIT登録とTLS通信を実装するのが安全でおすすめ
• IoT部の組込みアプリはC言語で開発。デモ機のMCUはマイクロチップ社のSAMG55で、
OSはFree RTOS。そのうちAmazon Free RTOS(AFR)版がリリースされるものと思われる。
• 開発の大変さは普通の組込みアプリの開発と変わらないが、AWS社やチップメーカーがIoTの
サンプルソースやライブラリを提供してくれているので、それらを組み合わせて作り込める

デモ用LEDライトの構成
19
検証基板
（マイクロチップ社製）
セキュア
エレメント
ATECC608A
Wifiチップ
ATWINC1500
Arduino
LEDライト
マイコンの中
マイコン
ATSAMG55

アプリ（スマホ）の開発
20
Device Cloud
Core
Amazon Echo
Device App
API
Alexa Skill
API
他社製AI向け
API
他社製⾳声AI
Alexa Cloud
AWS IoT
Analytics
Pipeline
拡張
Quick
Sight
Device Cloud
デバイス
アプリ
スピーカ
アプリ
組込
アプリ
運用PC
他社製
スピーカー
Smart Home
Skill
デバイス
シミュレータ

アプリ（スマホ）の開発
21
• デバイスをネットにつなげる手続きが必要で、アプリで実装するのが⼀般的
• ネイティブアプリとして実装する
－AndroidやiOSアプリ
• がんばってWebアプリ（ブラウザで動作）として実装するもよし
－アプリ保守の手間を削減できるのが最大のメリット
－ユーザビリティはネイティブより若⼲落ちる
－弊社ではhttpsサーバを組込み側に実装して実現
• ユーザに対する付加価値を提供する媒体として有効
－アプリで操作
－利用履歴の参照など

IoT Analytics & QuickSightの利用
22
Device Cloud
Core
Amazon Echo
Device App
API
Alexa Skill
API
他社製AI向け
API
他社製⾳声AI
Alexa Cloud
AWS IoT
Analytics
Pipeline
拡張
Quick
Sight
Device Cloud
デバイス
アプリ
スピーカ
アプリ
組込
アプリ
運用PC
他社製
スピーカー
Smart Home
Skill
デバイス
シミュレータ

当日のデモの様子（QuickSight）
23
QuickSightの画面

QuickSightで作成したグラフ一覧
24
デバイス別累積点灯時間
LEDライトを対象に作成したグラフ
時間帯別電源ON/OFF回数
色別累積点灯時間日別デバイスのクラウド登録数

デバイスからAnalytics&QuickSightへの流れ
25
AWS IoT QuickSight
各デバイス
Analytics
channel
pipeline
data store
data set data set
グラフ化
運用者
csvファイル
Lambda関数
デモでの加工内容
• 日本時刻化
• グループ名付与
• ThingID抽出/付与
・・・など
Pipelineに加工処理の
設定。Lambdaでプロ
グラム加工も可。
data storeへの
クエリの設定
グラフ化の設定
Act（ルール）
Analytics対象Topicを
subscribeし、それを
channelに送信する設定
所定のTopicを
更新毎に送信
生データ
加工済
データ
抽出済
データ
Topic
(MQTT)
データをPuiblishする
機能を実装

分析/管理/監視に必要な情報
26
①プロダクトID
➁ThingID
※工場出荷時に埋込
スマホ
IoT用
組込アプリ
デバイス
SE
Wifi
MCU
IoT用回路
本体
組込アプリ
Device Cloud
AWS IoT
Analytics
&
Quick
Sight
デバイス
アプリ
③ユーザー情報
④設置情報
⑥シャドウ情報 ⑤状態データ ※デバイスの状態をクラウドに通知するために
本体とIoT用の組込みアプリに必要機能を実装
予め仕込んでおかないと情報収集はままならない
運用者
デバイスユーザー
（または設置者）
操作履歴
データロスしたくない
程度を決め、送信頻度、
永続記憶部への記録等
を検討

デバイスシミュレータ ※弊社で開発したデモ・デバッグツール
27
Device Cloud
Core
Amazon Echo
Device App
API
Alexa Skill
API
他社製AI向け
API
他社製⾳声AI
Alexa Cloud
AWS IoT
Analytics
Pipeline
拡張
Quick
Sight
Device Cloud
デバイス
アプリ
スピーカ
アプリ
組込
アプリ
運用PC
他社製
スピーカー
Smart Home
Skill
デバイス
シミュレータ

当日のデモの様子（デバイスシミュレーター）
28
デバイスシミュレータの画面

画面の説明
29
状態表示
シャドウ
リモコンクラウドの処理ログ
デバイスシミュレータの画面は状態表示、シャドウ、リモコン操作、クラウドログ表示から成る

画面（デバイス）の一覧
30
ライト扇風機ドアロック
ドアロック（非同期）テレビ DVDプレイヤー
エアコン

デバイスシミュレータの構造
31
Node.js
AWS IoT SDKSocket.io
サーバーアプリ
Javascript
ExpressAngular
Material Design
for Bootstrap
Socket.io
フロントアプリ（GUI）
Javascript
ブラウザ
jQuery
AWS
IoT
デバイスシミュレータ
ブラウザ上で動作するSPA(*1)として実装。AWS IoT SDKを介してAWS IoTと通信。
(※1)SPA=Single Page Application
ユーザー

エンジニアリングギャップ
32
クラウド
IoT部本体
クラウドとデバイスの間にはエンジニアのデスバレーが存在していそう
デバイス

ビジネスギャップ
33
売り切りの家電製品に対し、クラウドやアプリはランニングコスト。しかも家電は⻑寿命。
• ⼀般的に、家電製品は５年~10年以上、使用され続ける。
• 家電製品が使い続けられている間、クラウドやアプリ保守でランニングコストがかかる。
• ランニングコストをユーザから回収するのが難しい。売り切り単価に10年分のランニング
コストを上乗せするのは⾒積もりが難しいし、⾼額になりがち。
• ⾼額な家電製品や、年間保守費及びサブスクの料⾦徴収ができそうなデバイスであれば、
比較的IoT化しやすいか。

おわりに
34
開発にフォーカスすると、スマートホームをとりまく環境はすこぶる良好
－Amazon Alexaチームさんが、開発容易性を日々向上させてくれている
－AWSさんが、必要なSDKや便利な機能をどんどん提供してくれている
－チップメーカーさんが、データシートやサンプルソースを充実させてくれている
－ユーザや個人開発者の皆さんが、⾃身でスマートホームの開発にトライしてくださっている
皆で便利なスマートホームを実現しましょう︕

http://www.systemzeus.co.jp/
開発のご相談はこちらへ
システムゼウス IoT開発窓口
Mail: itoc@systemzeus.co.jp

Smarthome dev overview

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Smarthome dev overview

Similar a Smarthome dev overview (20)

Último

Último (8)

Smarthome dev overview