JAZUG 7周年記念！ Microsoft Japan Partner Conference で 使われた Azure MediaServices (特にMediaAnalytics) の概要と Azure MediaServices はいいぞ！と伝えるLT

1. #jazug #azurejp
https://www.facebook.com/sakiaruto/
https://twitter.com/sakiaruto/
https://sakiaruto.com

2. JAZUG 7周年！
おめでとうございます！

3. 自己紹介
•鶴田 貴則（Studioさきあると）
• 中小企業零細向け PCサポート、ITサポート
• ライブ配信を 6年程 しております。
• 最近は、Office365・Azure のサポートもしております。
https://www.facebook.com/sakiaruto/
https://twitter.com/sakiaruto/
ポンコツITサポートの奮戦記
http://motsu.azurewebsites.net/
動画配信コミュニティ
https://www.facebook.com/groups/119666864376
2182/

4. 動画配信コミュニティはじめました。
各業界・各分野・各職域での交流が少ないので、よろしくお願いいたします。
コンテン
ツ構成
絵コ
ンテ
配信シス
テム
Screen Out
撮影/音声
/照明
ミキサー
/
スイッチャー
プロデュース・ディレクション
配信
ポスト・プロダクション

5. 注意事項
・本資料について個人で準備した環境において、個人的に実施した結果や
調査をもとに記載しております。
・また、本資料の内容ならびに閲覧により生じた一切の問題及び不利益に
ついて、発表者は一切の責任を負うことができませんのでご了承ください。
・本セッションで使用している動画は、発表者が撮影したもの、あるいは
パブリックドメイン、Microsoft Demosのものです。

6. Japan Partner Conferense2017 Keynote で
Azure MediaServices でました！
祝！

7. Streaming /
CDN
コンテンツ
保護
Processing取り込み
と保管
メディア 配信の コア 機能を
API として提供
Azure Media Services
PlayerAnalytics
配信サーバー
を立てなくて
いい！

8. Platform Services
Infrastructure Services
WebApps
Mobile
Apps
API
Management
API
Apps
Logic
Apps
Notification
Hubs
HDInsight Machine
Learning
Stream
Analytics
Data
Factory
Event
Hubs
Mobile
Engagement
SQL
Database
DocumentDB
Redis
Cache Search
Tables
SQLData
Warehouse
Hybrid
Operations
Azure AD
Connect Health
AD Privileged
Identity
Management
Backup
Operational
Insights
Import/Export
Site
Recovery
StorSimple
Cloud
Services
Batch Remote App
Service
Fabric Visual Studio
Application
Insights
AzureSDK
TeamProject
Security &
Management
Portal
Active
Directory
Multi-Factor
Authentication
Automation
Key Vault
Store/
Marketplace
VM ImageGallery
& VMDepot
Content Delivery
Network (CDN)
Media
Insights
VoD/Live
Transcoding
Azure Media
Player
Multi DRM VoD/LiveChannel
Streaming

9. Face &
Emotion
detection
顔のカウントおよび性別・
年齢・感情の判定
Hyperlapse
スタビライザーとタイムラプス
Video
summarization
ハイライトシーンによる
要約ビデオの自動作成
Motion
detection
動きのあった箇所の検知
Object
Character
Recognition
(OCR)
ビデオ内の画像から、テキ
ストを抽出
Speech-to-
Text
話しているテキストを抽出
現在、8言語対応
450 6th St.
San Francisco
Face
Redaction
特定の人の顔に
ぼかしを入れる
Azure Media Analytics
テキストを生成ビデオを生成

10. Face &
Emotion
detection
顔のカウントおよび性別・
年齢・感情の判定
Hyperlapse
スタビライザーとタイムラプス
Video
summarization
ハイライトシーンによる
要約ビデオの自動作成
Motion
detection
動きのあった箇所の検知
Object
Character
Recognition
(OCR)
ビデオ内の画像から、テキ
ストを抽出
Speech-to-
Text
話しているテキストを抽出
現在、8言語対応
450 6th St.
San Francisco
Face
Redaction
特定の人の顔に
ぼかしを入れる
Azure Media Analytics
テキストを生成ビデオを生成

11. コンテンツはある！だけど…
• サービスを差別化するのにあなたは何をしますか？
• どのようにしてコンテンツの価値を高めることができま
すか？
• テキスト、顔、ロゴ、画像、特定の行動を検索しやすく
しますか？
• 検索可能性、視認性を高めるためにコンテンツから、さ
らに多くのデータを引き出す方法はありますか？
なぜ Media Analytics ？

12. • Video Indexer
https://vi.microsoft.com
• Micrsosoft Stream
https://stream.microsoft.com/
• Face Reductor
https://azure.microsoft.com/ja-jp/blog/azure-media-redactor/
実は、すぐ使えるサービスあります。

13. 開発者
Data Scientist /IT
Deep Learning
コア機械学習
Azure での機械学習の選択肢

14. Indexer(Speech to Text の一種）
• 音声からテキストへの変換を可能にする
• サポート言語
一般提供：英語、スペイン語
プレビュー：ドイツ語、フランス語、イタリア語、中国語、アラビア語、日本語
• カスタムの語彙適応能力
ユーザーは、音声認識を向上させるために
ビデオに関連する単語のリストを提供します
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-process-
content-with-indexer2
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-index-
content

15. Azure Media Indexer
Azure Media
Indexer
オーディオデコード
語彙の適応
セグメンテーション
音声認識
キャプションの配置
Closed captions
(TTML/WebVTT/SAMI)
Audio or Video
MP4, WMV, MP3, M4A,
AAC, WAV, WMA
Audio Indexing Blob
(AIB) for use with SQL
Server and custom
filter add-on
Flexible metadatafiles
(keywords, word info)

16. Face Recognition(顔認知）
• あなたのビデオに現れる顔を検出する
• フレームの周りを移動するときに顔を追跡する
• 顔の位置とタイムスタンプを含む出力メタデータ
• 年齢の検出
• 性別の検出
• 顔認識
画像はイメージです
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-
face-and-emotion-detection

17. Emotion Recognition(感情認知）
• ビデオ内の表情に基づいて人や人の感情を時間の経過と共に認識する
• 野生の本物の感情のために設計されています。
• 心理学的研究が普遍的であると特定した表現に基づいて感情を識別する
• エクスペリエンスのパーソナライズ、メディアと製品へのレスポンスの
分析、および群衆分析のためのソリューション
• 感情認識：幸福、悲しみ、驚き、怒り、軽蔑、恐怖、消化、中立
• ユースケース - オーディエンス分析、パーソナライゼーションなど
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-
face-and-emotion-detection
画像はイメージです

18. Motion detection（動態認知）
• 静的なカメラ映像と共に使用して、ビデオモーションがどこで発生して
いるかを識別する
• セキュリティビデオフィードを対象としたこの技術は、実際の動き（部
屋に入る人など）と誤検知（例えば、影や光の変化に伴う風の葉など）
を区別することができます。
• 非常に長い監視ビデオから関心のある瞬間を抽出することができ、無関
係な無関係なイベントでスパムを被らずにカメラのフィードからセキュ
リティ警告を生成することができます。
画像はイメージです
https://azure.microsoft.com/en-us/documentation/articles/media-services-motion-detection/
https://azure.microsoft.com/ja-jp/blog/motion-detection/

19. • ビデオコンテンツからテキストを抽出す
る
• パフォーマンスと品質のバランスを取る
ために独自のサンプリングレートを選択
できる
• 動画のどこを見てるかを指定する（例：
キャプションの下3分の1）
• 出力は場所を含むテキストを記述する
Text: Who are we?
Location:
(200,100,250,50)
Time: 0:45:02
Text: Who are you and who
is the person sitting
next to you?
Location:
(100,250,350,90)
Time: 0:45:02
Video OCR
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-video-
optical-character-recognition

20. Face
Redaction
• ビデオをぼかして個人のアイ
デンティティを保護する
• 顔の自動検出と修正
• ライセンスプレートなどの動
的設定で識別可能な情報にタ
グを付けてぼかす

21. • 動画コンテンツポリシー違反を検出する
• 不快で不法で不適切なコンテンツを手動で閲覧するのに費やす
時間とコストを節約する
• 現在、アダルトコンテンツの分類をサポートしています
Contents Moderation
https://azure.microsoft.com/en-us/blog/content-
moderator-azure-media-analytics/
https://www.microsoft.com/en-us/Moderator

22. もしかして、デモサイトってある？
あります。
https://www.videobreakdown.com/Home/
Video Breakdown
キーワードやトピック
人の名前

23. Video Breakdown 人の認識
キーワードやトピック
• クリックすると、その
箇所に飛びます
感情認知
この人が
どれだけ
出ている
か

24. #jazug #azurejp

25. 高度な機械学習を通じてビデオ ファイルから実用的な洞察を
引き出すのを容易にします。
• 検索可能な ビデオとオーディオを作りましょう。
• ビデオおよびオーディオコンテンツ自体から直接取り出
し、リッチメタデータのデータを生成する
• 生成されるものは、
テキストに関するもの
ビデオに関するものがある。
• しかもAPI連携で簡単に
Azure Media Analytics
⇒コンテンツに新たな価値を与えましょう。

26. 参考
• InterBEE2016 - Computer Vision and Media Analytics
https://docs.com/dahatake/7077/interbee2016-computer-vision-and-media-
analytics

27. ご清聴ありがとうございました