2020 08-01 ALGYAN AI＆ロボティクス (1)

学習・推論そして制御！
クラウド＋Edgeで実現する
AI＆ロボティクス技術を垣間見る！
2020年8月1日
IoT ALGYAN 運営委員立石彰
（株式会社グリーンノート）
１．まずは基礎からスタート！JetBotではじめるAI学習への道

自己紹介
2020/08/01 ©2020 Greennote Inc. All Right Reserved. 1

略歴
 氏名
 立石彰（たていしあきら）
 高知県高知市生まれ 55歳
 経歴
 国内大手化学メーカーにて有機材料の開発に従事
工場内情報化プロジェクトを担当
 米国グローバル企業の日本研究拠点立ち上げに参加
材料研究グループ長などを歴任
国内SIer買収に伴い本社からの派遣として出向
1994年に某大手の社内電子メールをInternetに接続
 精密機器メーカーにて導電性樹脂、光重合開始剤等の
開発のほか、半導体センサー事業の立ち上げを主導
2011年以降はセンシング、IoTシステム開発に移行
 2018年8月株式会社グリーンノート設立

JetBotキット紹介
ALGYANとのコラボで当社が開発しました

ニンゲンには
個性と能力差がある

「かんたんに作れます」

うわさで聞くには、なんか
かんたんに作れそうですよね

これを見て全く慌てない人には
カンタンかもしれません

AIをやりたい？

まずは3Dプリンタを完璧に調整して、
正しい場所に確実にネジ止めできて、
USBケーブルから電源を見つけられて、
きれいに線むきができるように
なったらね！

と、いう状況を変えたい

完成品も味気ない
とはいうものの
動かないものは
つまらない

ならば、つくろう

かんたんに、なんどでも

https://bit.ly/GreennoTube
動画公開中

https://jetbot.algyan.biz
ご購入こちら

かんたんポイント
その① 車体
←ご購入動画→

プラモデル感覚

その② 配線

コネクタを入れるだけ

その③ カメラ

カメラ専用端子あります

しかし、とても壊れやすい
そもそも、何度も抜き差しするものじゃない

ほかにも工夫いろいろ

さて本日のイベントは
学習・推論そして制御！
クラウド＋Edgeで実現する
AI＆ロボティクス技術を垣間見る！

ここからはまじめに
学習・推論・制御
クラウド+Edgeの話をします
20分枠なので手短に！

AI自動運転カー
学習キット JetBotとは
動かして楽しみながら、AI応用の基礎を学べる

自動運転カーのイメージ
あなたのイメージはどちらですか？

自動運転カーのイメージ
あなたのイメージはどちらですか？
JetBotはどちらかというと右です

Jetbot ハードウェアのしくみ
2020/08/01
PWM
変換
モーター
ドライバ
モーター
モーター
モバイルバッテリー
モーター
ドライバ
カメラ
Nano
5V
5V
5V
I2C
PWM
PWM
10 0.5
©2020 Greennote Inc. All Right Reserved. 36

要するに
ラインセンサの代わりに
AI（推論）がついているだけです

ラインセンサの代わりのAI推論
2020/08/01
障害物
あり
障害物
なし
障害物
あり
障害物
あり
障害物
あり
障害物
なし
障害物
なし
障害物
なし
学習用データ（画像）
学習済
モデル
推論
Linux (ubuntu)
python 3
PyTorch
torchvision
AlexNet
学習
4,096
確率
確率
224
224
画像
障害物の
有無

ラインセンサの代わりのAI推論
2020/08/01
障害物
あり
障害物
なし
障害物
あり
障害物
あり
障害物
あり
障害物
なし
障害物
なし
障害物
なし
学習済
モデル
推論
Linux (ubuntu)
python 3
PyTorch
torchvision
AlexNet
学習
4,096
確率
確率
224
224
画像
障害物の
有無
この部分はNVIDIAで実行済み
この部分をJetBotで都度実行

AlexNetと障害物判定
いかにして画像から障害物の有無を判定しているか

AlexNetから障害物の存在確率へ(1)
4,096
224
224
1,000

4,096
224
224

4,096
確率
確率
224
224

AlexNetの学習
自分のデータで障害物判定を行うために

障害物
あり
障害物
なし
障害物
あり
障害物
あり
障害物
あり
障害物
なし
障害物
なし
障害物
なし
学習済
モデル
推論
学習
画像
障害物の
有無
データを集めるところは省略

前処理とモデル修正
import torchvision.transforms as transforms
dataset = datasets.ImageFolder( 'dataset',
transforms.Compose([
transforms.ColorJitter(0.1, 0.1, 0.1, 0.1),
transforms.Resize((224, 224)),
transforms.ToTensor(),
transforms.Normalize(
[0.485, 0.456, 0.406], [0.229, 0.224, 0.225]
)
])
)
import torchvision.models as models
model = models.alexnet(pretrained=True)
model.classifier[6] =
torch.nn.Linear(model.classifier[6].in_features, 2)
画像をランダムに補正
 Brightness （明度）
 Contrast （コントラスト）
 Saturation （彩度）
 Hue （色相）
事前学習された結果を
読み込んで再利用する
最後の分類を1,000から2に変更

学習の実行
import torch
import torch.optim as optim
import torch.nn.functional as F
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
for epoch in range(NUM_EPOCHS):
for images, labels in iter(train_loader):
optimizer.zero_grad()
outputs = model(images)
loss = F.cross_entropy(outputs, labels)
loss.backward()
optimizer.step()
test_error_count = 0.0
for images, labels in iter(test_loader):
test_error_count +=
float(torch.sum(torch.abs(labels – outputs.argmax(1))))
test_accuracy =
1.0 - float(test_error_count) / float(len(test_dataset))
print('%d: %f' % (epoch, test_accuracy))
if test_accuracy > best_accuracy:
torch.save(model.state_dict(), BEST_MODEL_PATH)
best_accuracy = test_accuracy
確率的勾配降下法（モメンタム法）
 ランダムに選んだ値で最適化し、
極小値から脱出しやすくする
 勾配（モデルが良くなっているか
どうか）を移動平均によって計算

学習の実行
import torch
import torch.optim as optim
import torch.nn.functional as F
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
for epoch in range(NUM_EPOCHS):
for images, labels in iter(train_loader):
optimizer.zero_grad()
loss = F.cross_entropy(outputs, labels)
loss.backward()
optimizer.step()
test_error_count = 0.0
for images, labels in iter(test_loader):
test_error_count +=
float(torch.sum(torch.abs(labels – outputs.argmax(1))))
test_accuracy =
1.0 - float(test_error_count) / float(len(test_dataset))
print('%d: %f' % (epoch, test_accuracy))
if test_accuracy > best_accuracy:
torch.save(model.state_dict(), BEST_MODEL_PATH)
best_accuracy = test_accuracy
訓練用データで学習
評価用データで評価
結果が良ければ保存

障害物判定と制御
障害物の有無をどのようにモーターの動作に反映するか

制御はとてもシンプル
車は直進する
車はその場で左回転する

画像取り込みと
クラウドの不思議な関係
GStreamer拡張による画像処理とクラウド連携

さて、画像の取り込みは？
Linux (ubuntu)
NVIDIA JetPack
Multimedia API
GStreamer Plugin
GStreamer PipelineCSIカメラ Libargus
USBカメラ
V4L2 NV
Extensions
OpenCV
class Camera(SingletonConfigurable):
def _gst_str(self):
return 'nvarguscamerasrc ! video/x-raw(memory:NVMM), width=%d,
height=%d, format=(string)NV12, framerate=(fraction)%d/1 !
nvvidconv ! video/x-raw, width=(int)%d, height=(int)%d,
format=(string)BGRx ! videoconvert ! appsink' %
(self.capture_width, self.capture_height, self.fps, self.width,
self.height)
def start(self):
self.cap.open(self._gst_str(), cv2.CAP_GSTREAMER)

GStreamer Pipeline
GStreamerによる推論画像取り込み
nvarguscamerasrc
CSIカメラ Libargus
def _gst_str(self):
return 'nvarguscamerasrc ! video/x-raw(memory:NVMM), width=%d,
height=%d, format=(string)NV12, framerate=(fraction)%d/1 !
nvvidconv ! video/x-raw, width=(int)%d, height=(int)%d,
format=(string)BGRx ! videoconvert ! appsink' %
(self.capture_width, self.capture_height, self.fps, self.width,
self.height)
nvvidconv
videoconvert appsink
OpenCV
video/x-raw
(memory:NVMM)
format: NV12
video/x-raw, format: BGRx, size: 224x224
整形

GStreamerがクラウド連携のカギ
動画クラウド
Linux (ubuntu)
NVIDIA JetPack
Multimedia API
GStreamer Plugin
GStreamer Pipeline
DeepStream SDK
https://developer.nvidia.com/deepstream-sdk
注）JetBotには
実装されていません

GStreamerによるクラウド連携
GStreamer Pipeline
Gst-nvinfer
前処理は
省略
Gst-nvmsgconv
Gst-nvmsgbroker
推論結果
推論用モデル
画像
メッセージ化
Protocol Adapter
Kafka
Adapter
Azure IoT
Adapter
AMQP
Adapter
AWS IoT
Adapter
Custom
Adapter
メッセージ
クラウドへ
カメラ
制御系へ

Azure IoT Adapters
Protocol Adapter
Azure IoT
Adapter
メッセージ
Azure device
client adapter
Azure IoT HubAzure module
client adapter
Azure IoT
Edge Runtime
[message-broker]
connection_str = HostName=<my-hub>.azure-devices.net;DeviceId=<device_id>;
SharedAccessKey = <my-policy-key>
shared_access_key = <my-policy-key>
https://docs.nvidia.com/metropolis/deepstream/plugin-
manual/index.html#page/DeepStream%20Plugins%20Develop
ment%20Guide/deepstream_plugin_details.3.14.html#wwpI
D0E0CK0HA

本日のまとめ

本日のまとめ
かんたんに、なんどでも。
ALGYANコラボで開発したJetBotキットを紹介しました
学んだこと
1. 実はJetBotはライントレース制御カーと
大きな違いはないこと
2. ラインセンサの代わりにAlexNetを使った
AI推論が使われていること
3. 機械学習の仕組みは単純だが（JetBotのレベルなら）、
乱数をうまく使った仕組みが用意されていること
4. 画像の取得には、応用例の豊富な GStreamer
+ NVIDIA の Multimedia API を使うこと
5. 更に NVIDIA の DeepStream API を利用することで
推論結果を簡単にクラウド連携できること

ふろく・せんでん
 当社にご興味ありましたらお問い合わせください
 はやく「人材募集してます」といいたいです
 https://www.i-gnote.com
 JetBotキットも買ってね
 販売サイト（ドメイン名に注目！）
 https://jetbot.algyan.biz/
 GitHub Wiki
 https://github.com/greennote-inc/algyanjetbot/wiki
 NVIDIA公式サイトでも紹介中！
 https://www.nvidia.com/ja-jp/autonomous-
machines/embedded-systems/jetbot-ai-robot-kit/
 「郵便受け投函お知らせサービス」実証実験中
 公式サイト
 https://bit.ly/sicmbexp
 お問い合わせはこちら！
 https://bit.ly/GreennoteTechInq

2020 08-01 ALGYAN AI＆ロボティクス (1)

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a 2020 08-01 ALGYAN AI＆ロボティクス (1)

Similar a 2020 08-01 ALGYAN AI＆ロボティクス (1) (20)

Más de Akira Tateishi

Más de Akira Tateishi (11)

2020 08-01 ALGYAN AI＆ロボティクス (1)