NVIDIA GTC Japan 2018 Inception Award 登壇資料（LiLz Inc.）

1. (C) 2018 LiLz Inc.https://lilz.jp/
Lifelong Innovation Laboratory
テクノロジーをそっと傍らに
https://lilz.jp/
GTC Japan 2018 Inception Awards（公開用）
LiLz Inc.
代表取締役社長
大西 敬吾

2. https://lilz.jp/
ヤ ン バ ル ク イ ナ は 、 日 本 で 唯 一 飛 べ な い 鳥 。
沖 縄 北 部 に 生 息 し 現 在 1 5 0 0 羽 程 度 。
I U C N （ 国 際 自 然 保 護 連 合 ） の 絶 滅 危 惧 種 I B 類 （ E N ） に 指 定
さ れ て お り 、 絶 滅 を 防 ぐ た め の 保 護 活 動 が 現 在 も 行 わ れ て い る 。
http://www.iucnredlist.org/details/22692412/0

3. (C) 2018 LiLz Inc.https://lilz.jp/
NPO法人 どうぶつたちの病院 沖縄様、日本コカ・コーラ株式会社様、沖縄コカ・コーラボトリング株式会社様に
より自動販売機に録音機を設置して数年分の環境音を録音し音解析による生態調査を開始
3

4. (C) 2018 LiLz Inc.https://lilz.jp/
ヤンバルクイナ
カラス
ヘリコプター
環境音解析は、人が複数の音を聞き分けながら解析を進める大変な労力を伴う作業
環 境 音 解 析 の 課 題
4

5. (C) 2018 LiLz Inc.https://lilz.jp/
LiLz Sound Search
探したい音が、すぐそこに
5

6. (C) 2018 LiLz Inc.https://lilz.jp/
L i L z S o u n d S e a r c h と は
After
録 音 す る
考 察
LiLz Sound Search
Before
人間が音を聞きながら探す
録 音 す る
解 析
考 察
LiLz Sound Searchにより、全ての音を聴きながら解析する作業から解放されます
6

7. (C) 2018 LiLz Inc.https://lilz.jp/
kuina解析結果
7

8. (C) 2018 LiLz Inc.https://lilz.jp/
helicopter
複数の音を同時に解析することで、騒音発生時にヤンバルクイナが呼応して鳴いていることなど一目で分かるように
kuina解析結果
8

9. (C) 2018 LiLz Inc.https://lilz.jp/
A u d i o S e t の 活 用
• AudioSetとは、Google社が公開した世界最大の音のデータセット
• https://research.google.com/audioset/
• YouTubeから収集した200万以上の音データ
• 各音は10秒で500以上の音イベントにラベリング
• 音声分類用のモデルVGGish（VGG likeなモデル）も提供
• https://github.com/tensorflow/models/tree/master/research/audioset

10. (C) 2018 LiLz Inc.https://lilz.jp/
L i L z S o u n d S e a r c h の 学 習 ・ 推 論 プ ロ セ ス
P r e - t r a i n e d
V G G i s h
M o d e l
mp3/wav
FFT
128 feature
dimension
96x64 feature
dimension
M o d e l
( S u p e r v i s e d
L e a r n i n g )学習
(On Premise)
推論
(Microsoft Azure)
mp3/wav
G P U
M o d e l
( S u p e r v i s e d
L e a r n i n g )
Prediction
Label
Prediction
AudioSetで学習済みのModel（VGGish）で生成された特徴量に対してテーマに特化した
オリジナルのラベルを付与して機械学習することで聞き分けづらい音や紛らわしい音なども精度高く検出可能
10

11. (C) 2018 LiLz Inc.https://lilz.jp/
P e r f o r m a n c e
2
2
4
39
46
62
94
755
0 200 400 600 800
90min
120mi
n
3hours
1day
GPU (NVIDIA GeForce GTX 1080Ti)
CPU (Intel Core i7-7700K CPU)
C o n v e r s i o n p e r f o r m a n c e f r o m W A V t o T F R e c o r d s
E l a p s e d t i m e ( s e c o n d s )
Audiolength
11

12. (C) 2018 LiLz Inc.https://lilz.jp/
L i L z S o u n d S e a r c h の 特 長 （ 少 量 ア ノ テ ー シ ョ ン ）
学 習 デ ー タ
ア ノ テ ー シ ョ ン モ デ ル 予 測
VGGishで生成された特
長量空間での距離
時間（10分間の音）
テ ス ト デ ー タ
クエリ音
※ＰＡＴ．Ｐ
12

13. (C) 2018 LiLz Inc.https://lilz.jp/
L i L z S o u n d S e a r c h の 特 長 （ 少 量 ア ノ テ ー シ ョ ン ）
学 習 デ ー タ
テ ス ト デ ー タ
ア ノ テ ー シ ョ ン モ デ ル 予 測
クエリ音
クエリ音と距離は遠いがヤン
バルクイナの確率が高いと
予測されたフレーム
クエリ音と距離は近いがヤンバルクイナの確
率が低いと予測されたフレーム
距離情報を見ながら必要
最低限のアノテーション
※ＰＡＴ．Ｐ
13

14. (C) 2018 LiLz Inc.https://lilz.jp/
テ ス ト デ ー タ
L i L z S o u n d S e a r c h の 特 長 （ 少 量 ア ノ テ ー シ ョ ン ）
学 習 デ ー タ
ア ノ テ ー シ ョ ン モ デ ル 予 測
クエリ音
カラス
ヤンバルクイナ
ヤンバルクイナ
特長量空間の距離情報を参考に必要最低限のアノテーションを行うことで検出精度が向上
※ＰＡＴ．Ｐ
14

15. (C) 2018 LiLz Inc.https://lilz.jp/
Machine Centered Design
多量アノテーション
Human Centered Design
少量アノテーション
L i L z S o u n d S e a r c h の 特 長
15

16. (C) 2018 LiLz Inc.https://lilz.jp/
機械学習とIoTで、持続可能な社会の発展に貢献
M i s s i o n
Lifelong Innovation Laboratory
16

17. (C) 2018 LiLz Inc.https://lilz.jp/
O u r S e r v i c e s
17
LiLz Countは、どんなモノでも少量の学
習データで高速カウンティング可能です。
交通量調査や人混み度合い分析、生態
調査など様々な調査で活用できます。
計器値 読み取り
LiLz Gaugeは、設備保全向けにあらゆる
計器の値を自動で読み取るサービスです
。毎日のように実施している計器点検の
巡回の自動化を低コストで実現します。
音の検索
LiLz Sound Searchは、環境調査などで
必要な特定音の検索を効率化するサー
ビスです。少ない準備で、長時間の音デ
ータから全てを聴くことなく特定音を検索
することが可能です。
LiLz Sound Search LiLz Gauge LiLz Count
カウンティング

18. (C) 2018 LiLz Inc.https://lilz.jp/
大西 敬吾
CEO & Product Manager
広島大学大学院 工学研究科材料工学専攻
Team
Kuba
CTO & リード機械学習エンジニア
西銘 大喜
機械学習エンジニア
大塚 誠 Ph.D
上級研究員
UCLA B.A.Psychology/Cognitive Science
NAIST Ph.D. in Engineering
IBM東京基礎研究所/OIST
King’s College London 機械工学専攻/OIST
琉球大学大学院 理工学系研究科 情報工学専攻
常盤木 龍治
Evangelist & Coporate Strategy Director
山路 康文
Creative Fellow
SONY/秋田公立美術大学准教授
18

19. (C) 2018 LiLz Inc.https://lilz.jp/
ご静聴ありがとうございました
LiLz Sound Search デモ https://lilz.io/soundsearch/demo/v1
19