More Related Content Similar to 多数のセンサーによる時空間センシングデータの効率的な集約送信技術 (20) More from 奈良先端大 情報科学研究科 (20) 多数のセンサーによる時空間センシングデータの効率的な集約送信技術1. Higashino Lab.
多数のセンサーによる
時空間センシングデータの
効率的な集約送信技術
宵憲治
*1, 山口弘純
*2,廣森聡仁
*2 ,内山彰
*2 ,東野輝夫
*2
柳谷尚寿
*3 ,中谷俊和
*3
立花篤男
*4,長谷川輝之
*4
*1
奈良先端科学技術大学院大学情報科学研究科
*2
大阪大学大学院情報科学研究科
*3 KDDI 株式会社ソリューション推進本部
*4
株式会社KDDI 研究所
2014/07/10 DICOMO2014 1
2. .
Higashino Lab.
研究背景
多種多様なセンサーによるリアルタイムセンシング
におけるセンサデータ集約
大容量のセンサデータ
計測時間等のメタデータを持つ(XML等)
多数のセンサーから数秒毎に発生
多種多様なセンサーが混在
Gateway性能や回線の制限
Gatewayのバッファリング容量等
回線が限定された地域(3Gしか使えない等)
Gatewayへ
Gateway
送信
データセンター
GW制限,通信制限に応じたデータ圧縮率制御が可能で
多種多数のセンサー混在環境に対応したデータ集約圧縮方
式
2014/10/3 DICOMO2014 2
3. -
Higashino Lab.
研究目的
多種多様なセンサーが混在する環境で出来るだけ
送信コストを減らせるような集約圧縮方式の実現
XMLタグ等データの余分なところを切り落とし,更に実
データ部分も削減したい
月々の通信量が決められているような制限がある環境等
にも対応できる
M2Mに容易に組み込める圧縮転送モジュール
シンプルで柔軟性の高い方式
2014/07/10 DICOMO2014 3
4. -
Higashino Lab.
研究概要
家庭やオフィス等に設置した多種多様なセンサーか
ら得られるデータの集約・圧縮技術の検討
温度・湿度・CO2濃度・電力センサーを使用
提案手法
1) 多種デバイス混在状況における小規模パケット集約方式
個々のデータが持っているメタデータをデータブロック毎に集約
することによるメタデータ情報量を削減
2) 集約データの時空間圧縮転送方式
圧縮センシング定理により,環境に合わせた圧縮率で実データ
の圧縮・復元
これらの方式を利用した
センサデータ収集システムの開発
2014/07/10 DICOMO2014
4
5. Higashino Lab.
研究グループで開発した
センサデータ収集システム概要
店舗/オフィス/家庭等
センサデータ
集約圧縮
Gate Way
ネットワーク
3G
LTE
WiMAX
Wi-Fi
Others
データセンター
データ復元
全データ集約
サーバー
温湿度センサー
電⼒センサー等
:データ圧縮・復元・ブロック転送機能
:リンクアグリゲーション(LA)機能(KDDI研究所)
可視化サーバー等
2014/07/10 DICOMO2014 5
6. -
Higashino Lab.
(1)多種デバイス混在環境における小規模
パケット集約方式
センサーIDと,メタデータ要素からなる多次元マトリ
クスに値丸めをしてパッキング
センサーID付与
1111 2 3 4
計測時刻
8:01:05 8:00:59 8:01:00 8:00:55
8:01:35 8:01:29 8:01:30 8:01:25
8:02:05 8:01:59 8:02:00 8:01:55
8:02:35 8:02:29 8:02:30 8:02:25
8:03:05 8:02:59 8:03:00 8:02:55
センサーID
計測時間1 2 3 4
8:01:00 250 260 250 265
8:01:30 250 260 252 260
8:02:00 248 257 250 260
8:02:30 250 257 250 260
8:03:00 250 258 248 260
メタデータ要素
(ここでは計測時間)
値丸め整列
2014/07/10 DICOMO2014
6
センサーデータ(XML)
7. Higashino Lab.
(1)多種デバイス混在環境における小規模
パケット集約方式
多次元マトリクスから空間的,時間的類似性等,環
境に合わせて適応的にデータブロックを決定
空間的類似性:同部屋に設置したセンサーの値の類似等
時間的類似性:単一センサーの時間的変化の類似
時間的類似性の高いデータブロック例(温度データ13時-16時)
類似値が多い
2014/07/10 DICOMO2014 7
8. -
Higashino Lab.
(1)多種デバイス混在環境における小規模
パケット集約方式
データブロック内のメタデータが共通する行を纏めて
付与することでメタデータ量を削減,効率化
a. センサID存在bit(行に対する列データの存在)
b. 開始行の計測時刻(行のメタデータ)
c. 計測インターバル(行メタデータの間隔)
d. 計測インターバル継続回数(行数)
センサーID
b. 080100
計測時間1 2 3 4
8:01:00 250 260 250 265
8:01:30 250 260 252 260
8:02:00 248 257 250 260
8:02:30 250 257 250 260
8:03:00 250 N/A 248 N/A
a. 1111((((各列にデータが存在))))
c. 30
d. 4
a. 1010(1, 3 にデータが存在))))
2014/07/10 DICOMO2014
8
9. -
Higashino Lab.
(2)集約データの時空間圧縮転送方式
圧縮センシングを利用
データ列のスパース性(零要素が多い性質)を利用し,圧
縮,復元を行う手法
データブロック内データの最頻値を0とした差分値を取るこ
とによりスパースなデータ列を生成し,環境に合った圧縮
率でデータ数の圧縮・復元を行う.(圧縮率と誤復元率はト
レードオフ)
スパース原信号ベクトル
0,1,0,0,0,1,0,0,-2,0,
-2,2,0,0,1,0,0,2,-2,0
センサーID
計測時間1 2 3 4
8:01:00 250 251 250 250
8:01:30 250 251 250 250
8:02:00 248 250 248 252
8:02:30 250 250 251 250
8:03:00 250 252 248 250
2014/07/10 DICOMO2014
9
10. (2)集約データの時空間圧縮転送方式
-
Higashino Lab.
データブロックをスパースになるように選ぶことで圧
縮センシングに適したデータ列を得る
実証実験では時間的類似に基づいてデータブロック構築
→最頻値を0とすると全データの零要素率60%-70%程度
実証実験(センサー数200)での全多次元マトリクス例
ID 1 2 3 4 5 6 ・・・199998888 199999999 200000000
8:01:00 250 250 251 253 253 253 ・・・250 250 251
8:01:30 250 250 251 253 253 254 ・・・250 250 251
時間的類似
8:02:00 251 249 251 253 253 254 ・・・251 249 251
8:02:30 251 250 250 253 253 255 ・・・251 250 251
8:03:00 251 250 250 253 253 253 ・・・251 250 251
空間的類似
8:03:30 251 250 250 253 253 255 ・・・251 250 251
2014/07/10 DICOMO2014
10
11. Higashino Lab.
実証実験
豊田市の実在する50施設(スマートハウス,公民館,
店舗等)に各センサー(温湿度,CO2,電力)計200台
とゲートウェイを設置し,システムの実証実験を行っ
た.
(2014年3月)
設置拠点例(スマートハウス) ゲートウェイの設置状況
2014/07/10 DICOMO2014 11
13. -
Higashino Lab.
性能評価(メタデータ削減率)
小規模パケット集約方式によるメタデータ量の削減
を行った結果
小規模パケット集約方式のメタデータ集約により
約50%(8.3MB→4MB)のデータ量を削減
集約後のデータ量は元XMLデータの4%程度
データの状態データ容量
元XMLデータ100MB
多次元マトリクス構築後8.3MB
メタデータ集約後4MB
2014/07/10 DICOMO2014 13
14. -
Higashino Lab.
性能評価(圧縮センシング)
メタデータ削減後の2MBのデータに対して圧縮セン
シングによる圧縮を行った時の結果
圧縮率に対するデータ削減率
79.8%
75.6%
71.2%
66.6%
62.0% 61.1%
0.9 0.8 0.7 0.6 0.5 0.4
95%以上の復元率
約40%まで圧縮率を変化可能
圧縮率に対する完全復元率
96.7%
96.4% 96.0% 95.8%
95.5%
0.9 0.8 0.7 0.6 0.5 0.4
メタデータ削減と合わせると
最大で約70%程度を削減
100.0%
90.0%
80.0%
70.0%
60.0%
50.0%
95.5%
100.0%
99.0%
98.0%
97.0%
96.0%
95.0%
94.0%
93.0%
2014/07/10 DICOMO2014 14
15. -
Higashino Lab.
まとめと今後の課題
まとめ
小規模パケット集約方式と圧縮転送方式によるセンシン
グデータの集約圧縮の開発
両方式による集約圧縮で最大約70%程度のデータ量を削減
実在する複数の施設で実証実験を展開し本手法が実用
上十分な結果が得られていることを確認
今後の課題
回線切断・回復といった状況の発生時における性能評価
より柔軟性の高い方式への拡張(類似性の高いデータブ
ロックの自動検出等)
2014/07/10 DICOMO2014 15
16. 各拠点
温湿度データCO2データ電力量データ
センシングデータ
集約・圧縮モジュール
-
Higashino Lab.
機能モジュールと技術
センシングデータ
復元モジュール
(2) 集約データの時空間
データセンター
圧縮転送方式
温湿度/CO2可視化サーバ電力量可視化サーバ
スマートエコワットEcoアプリ
(Webサービス))))
おんどとりwebストレージ
(Webサービス))))
(1) 多種デバイス混在環境におけ
る小規模パケット集約方式
(3) データ復元
と可視化
阪大開発
可視化ソフトウェア
2014/07/10 DICOMO2014
16
17. -
Higashino Lab.
研究背景:センサデータ集約蓄積
HEMS
BEMS
行動トラッキング
((公共空間,,,,老人施設))))
(1) 多種多数のセンサーからの個々の小デー
タがXMLに埋込まれ,時々刻々と送信される
(2) データを拠点ごとにデータ集約する
GateWayはバッファリング容量や処理性能も
限定される(e.g. 通信断時のバッファあふれ)
小規模異種センサーデータ
を適応的にリアルタイム集約
圧縮する技術が望まれる
2014/07/10 DICOMO2014
17
18. Higashino Lab.
1
5
9
2014年3月24日
13
17
21
25
33
29
300
250
200
150
100
50
0
32400
32520
32640
32760
32880
33000
33120
33240
33360
33480
33600
33720
33840
33960
34080
34200
34320
34440
34560
34680
34800
34920
35040
35160
35280
35400
35520
35640
35760
35880
2014/07/10 18
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
31
33
℃×11110000
秒((((9:00:00-10:00:00)
拠点センサーID
実証実験における
時空間データ(温度)
DICOMO2014
20. -
Higashino Lab.
圧縮センシングの原理
原信号ベクトルx0のデータ数(次元数)をN
圧縮後のベクトルのデータ数(次元数)をM(MN)
M×Nの圧縮行列をA (圧縮,復元両側で既知)(ランダム行列を用いる)
原信号ベクトルの非零要素数をK (K-スパース) (復元時に使用)
圧縮:圧縮行列との積復元:L1再構成[1]
復元M→N
M×N行列A x 0
圧縮N→M
M M ×N行列A x0
転送
ゲートウェイ側データセンター側
[1]圧縮センシング-疎情報の再構成とそのアルゴリズム- :
http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1803-03.pdfa
N
2014/07/10 DICOMO2014 20
21. -
Higashino Lab.
(3)データ復元-L1再構成-
原信号要素数N=3 圧縮後ベクトル要素数M=2
非零要素数K=2(零要素の数が1個)
L1-ノルム(3次元正八面体)
既知の2×3圧縮行列Aと圧縮ベクトルyを用いた直線式
→3変数2方程式
y = Ax→
y1
y2
+ x3
零要素数2(頂点)
x = x1
+ x2
零要素数1(辺)
L1-ノルム
=
a1
a2
b1
b2
c1
c2
既知値
x1
x2
x3
y = Ax
未知値
2014/07/10 DICOMO2014 21
22. 剠ע
Higashino Lab.
(3)データ復元-L1再構成-
L1-ノルム(正八面体)を大きくしていき,直線と接し
た点が推定値
推定値
x = x1
+ x2
+ x3
y = Ax
2014/07/10 DICOMO2014 22
23. -
Higashino Lab.
(3)データ復元-L1再構成-
線形制約y=AxのもとでL1ノルムを最小化することに
より原信号x0を推定する手法
0要素の個数が分かっているベクトルの推定には正しい結果を得やす
い
L1ノルム:原信号の各要素絶対値の和
L1ノルム最小化問題を解くことで復元
x = argmin
x
x subject.to y = Ax
実装時は補助関数t=(t1,…,tN)T
を導入し
線形計画問題として定式化
N Σ subj.to − t ≤ x ≤ t, y = Ax
min ti
i=1
2014/07/10 DICOMO2014
23
24. 各Nの値に対するメタデータ情報量削減後のデータ容量(KB)
-
Higashino Lab.
評価結果(メタデータ削減率)
データマトリクスを構築後のデータに対して時空間ブ
ロックによる集約を行った結果
(KB)
(Nの値)
25
65%
16.3
56%
14.1
50%
12.4
44%
10.9
25
20
15
10
5
0
0 12 15 20 30
2014/07/10 DICOMO2014 24
25. 85.0%
80.0%
-
75.0%
Higashino Lab.
評価結果(圧縮センシング)
N=12の時,メタデータ削減後の16.3KBのデータに
対して圧縮センシングによる圧縮を行った時の結果
復元率
0.9 0.8 0.7 0.6 0.5
90-95%程度の復元率
約50%まで圧縮率を変化可能
70.0%
65.0%
60.0%
圧縮率
0.9 0.8 0.7 0.6 0.5
96.0%
94.0%
92.0%
90.0%
88.0%
(M/N) (M/N)
メタデータ削減と合わせると
最大で約65%程度を削減
2014/07/10 DICOMO2014 25
27. -
Higashino Lab.
実証実験結果
実証実験を行った29拠点201センサー(温度,湿度
CO2濃度)の1時間(3月25日午前9時台)のデータに
対し同様の評価を行った
単拠点での評価と計測データ,完全圧縮率,復元時
誤差は概ね一致しており,十分な結果が得られてい
る.
メタデータ削減率((((ただ
しXML削減率も含む))))
計測データ
圧縮率
完全復元率復元時
誤差
圧縮
効率
0.26MB/1.53MB
(16.9%)
32KB/43KB
(74%)
9616/10212
(94.1%)
0.12
2014/07/10 DICOMO2014
27
28. 走ؒ
Higashino Lab.
実証実験結果
ある1拠点での6日間(3/15~21)の温湿度センサー
データに対し,下記を測定
小規模パケット集約によるメタデータ削減率
圧縮センシングによる計測データ圧縮率
圧縮データの(完全)復元率
不完全復元時の誤差
メタデータ削減率((((ただ
しXML削減率も含む))))
計測データ
圧縮率
完全復元率復元時
誤差
圧縮
効率
0.49MB/11.58MB
(4.2%)
108KB/150KB
(72%)
34940/39639
(88.1%)
0.12
2014/07/10 DICOMO2014
28
29. 갠 ؖ
Higashino Lab.
参考1:L1再構成の計算量
圧縮センシング問題(原信号の推測方法)をL1再構
成に基いて解くと,最適化問題であるので凸線形計
画問題として解くことができる.
圧縮時は行列と原信号の積をとるのみなので,計算量は
少ない
復元時の計算量は一般的に数式を入力します。O(N3)に
なることが知られている(より少ない計算量で再構成でき
るアルゴリズムも現在研究されている)
http://www.kurims.kyoto-u.
ac.jp/~kyodo/kokyuroku/contents/pdf/1803-03.pdf
2014/07/10 DICOMO2014 29
30. 圧縮行列A が,kスパースベクトルx に対してAx = 0 となっ
てしまうとL1再構成が機能しない.しかしkに対し下記の不等
が任意のxについて成り立つような最小のδをδkとし,
൰
Higashino Lab.
L1再構成における
可逆圧縮時の圧縮率上限
式
が成り立つようなKが存在すれば,L1再構成は正しい推定結
果を与えることが知られている(等長性定理)
つまり,x に対しAx の大きさのずれが一定以下である圧縮
行列Aを選べばL1再構成が成功する
ここでランダム行列が各要素が平均0,分散1/M の正規分布
に従うとき,高い確率で等長性定理が成り立つことが知られ
ている(CandesとTaoの定理)
2014/07/10 DICOMO2014
30
31. 蓠ؖ
Higashino Lab.
L1再構成における
可逆圧縮時の圧縮率上限
提案手法ではxの次元数が一意でないため,最大の
ランダム行列を先述の方針にしたがって定め,その
任意の部分行列もなるべくランダム行列に従うよう
にしておく.xの次元数にあわせてランダム行列から
圧縮行列Aを抽出することでランダム性を担保する
2014/07/10 DICOMO2014 31