Enviar búsqueda
Cargar
【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
•
2 recomendaciones
•
6,164 vistas
UnityTechnologiesJapan002
Seguir
尾崎 竜二(だるまジャパン合同会社) 北川 正義(だるまジャパン合同会社) 宇治原 徹(名古屋大学 未来材料・システム研究所)
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 119
Descargar ahora
Descargar para leer sin conexión
Recomendados
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Takuya Azumi
3DCG住宅プレゼンテーションのグローバルイルミネーションをディープラーニングで推定!
3DCG住宅プレゼンテーションのグローバルイルミネーションをディープラーニングで推定!
Silicon Studio Corporation
UE4.17で入る新機能を一気に紹介・解説!
UE4.17で入る新機能を一気に紹介・解説!
エピック・ゲームズ・ジャパン Epic Games Japan
PRMU 201312 subpixel object detection survey
PRMU 201312 subpixel object detection survey
Yoshihisa Ijiri
Jsug2015 summer spring適用におけるバッドノウハウとベタープラクティス
Jsug2015 summer spring適用におけるバッドノウハウとベタープラクティス
Yoichi KIKUCHI
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
SSII
アジャイルソフトウェア開発の道具箱
アジャイルソフトウェア開発の道具箱
Koichi ITO
OpenCVを用いたロボコンにおける画像処理(2013年ロボコン交流会)
OpenCVを用いたロボコンにおける画像処理(2013年ロボコン交流会)
Yuma Yoshimoto
Más contenido relacionado
Similar a 【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
【DL輪読会】AuthenticAuthentic Volumetric Avatars from a Phone Scan
【DL輪読会】AuthenticAuthentic Volumetric Avatars from a Phone Scan
Deep Learning JP
Azureを活用したHoloLensアプリ開発
Azureを活用したHoloLensアプリ開発
Satoshi Fujimoto
2012年度webゼミ前期発表
2012年度webゼミ前期発表
Chihiro Koyama
OPTPiX SpriteStudio 勉強会#03 「今回は中~上級者向け! キーワードは『達人のコツ』と『2Dツールの可能性』、そして『グロテスク』!!」
OPTPiX SpriteStudio 勉強会#03 「今回は中~上級者向け! キーワードは『達人のコツ』と『2Dツールの可能性』、そして『グロテスク』!!」
Web Technology Corp.
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Yoshitaka Ushiku
Depth From Sequence
Depth From Sequence
yuichi takeda
Mobile frontier chapter7
Mobile frontier chapter7
naoki ando
スクラムプロジェクト準備(公開用) No.31
スクラムプロジェクト準備(公開用) No.31
Sukusuku Scrum
CV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer Network
Toshiki Sakai
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
Tatsuya Matsushima
東工大長谷川修研紹介 2011 (8月1日版)
東工大長谷川修研紹介 2011 (8月1日版)
SOINN Inc.
【Unite Tokyo 2019】SRPで一から描画フローを作ってみた! ~Unity描画フローからの脱却~
【Unite Tokyo 2019】SRPで一から描画フローを作ってみた! ~Unity描画フローからの脱却~
UnityTechnologiesJapan002
SPI Japan 2012 「SEPG活動とアジャイルの親和性を考える」ポジショントーク用
SPI Japan 2012 「SEPG活動とアジャイルの親和性を考える」ポジショントーク用
Naoya Maekawa
ゼロからのエンジニアが開発マネージャーになるまで
ゼロからのエンジニアが開発マネージャーになるまで
Yusuke Shirakawa
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
Masayuki Tanaka
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
SSII
JAWSUG20171220
JAWSUG20171220
陽平 山口
分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計
yamahige
Eccv2018 report day3
Eccv2018 report day3
Atsushi Hashimoto
neural architecture search with reinforcement learning
neural architecture search with reinforcement learning
Yamato OKAMOTO
Similar a 【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
(20)
【DL輪読会】AuthenticAuthentic Volumetric Avatars from a Phone Scan
【DL輪読会】AuthenticAuthentic Volumetric Avatars from a Phone Scan
Azureを活用したHoloLensアプリ開発
Azureを活用したHoloLensアプリ開発
2012年度webゼミ前期発表
2012年度webゼミ前期発表
OPTPiX SpriteStudio 勉強会#03 「今回は中~上級者向け! キーワードは『達人のコツ』と『2Dツールの可能性』、そして『グロテスク』!!」
OPTPiX SpriteStudio 勉強会#03 「今回は中~上級者向け! キーワードは『達人のコツ』と『2Dツールの可能性』、そして『グロテスク』!!」
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Depth From Sequence
Depth From Sequence
Mobile frontier chapter7
Mobile frontier chapter7
スクラムプロジェクト準備(公開用) No.31
スクラムプロジェクト準備(公開用) No.31
CV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer Network
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
AIのラボからロボティクスへ --- 東大松尾研究室のWRS2020パートナーロボットチャレンジへの挑戦
東工大長谷川修研紹介 2011 (8月1日版)
東工大長谷川修研紹介 2011 (8月1日版)
【Unite Tokyo 2019】SRPで一から描画フローを作ってみた! ~Unity描画フローからの脱却~
【Unite Tokyo 2019】SRPで一から描画フローを作ってみた! ~Unity描画フローからの脱却~
SPI Japan 2012 「SEPG活動とアジャイルの親和性を考える」ポジショントーク用
SPI Japan 2012 「SEPG活動とアジャイルの親和性を考える」ポジショントーク用
ゼロからのエンジニアが開発マネージャーになるまで
ゼロからのエンジニアが開発マネージャーになるまで
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
JAWSUG20171220
JAWSUG20171220
分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計
Eccv2018 report day3
Eccv2018 report day3
neural architecture search with reinforcement learning
neural architecture search with reinforcement learning
Más de UnityTechnologiesJapan002
5分でわかる Sensor SDK
5分でわかる Sensor SDK
UnityTechnologiesJapan002
10分でわかる Unityコンピュータービジョン
10分でわかる Unityコンピュータービジョン
UnityTechnologiesJapan002
5分でわかる Unity Forma
5分でわかる Unity Forma
UnityTechnologiesJapan002
ROSのロボットモデルでバーチャルロボット受肉する
ROSのロボットモデルでバーチャルロボット受肉する
UnityTechnologiesJapan002
Unityでロボットの教師データは作れる!
Unityでロボットの教師データは作れる!
UnityTechnologiesJapan002
ARとUnity-Robotics-Hubの連携
ARとUnity-Robotics-Hubの連携
UnityTechnologiesJapan002
産業用ロボット開発におけるUnityの活用
産業用ロボット開発におけるUnityの活用
UnityTechnologiesJapan002
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
UnityTechnologiesJapan002
UnityとROSの連携について
UnityとROSの連携について
UnityTechnologiesJapan002
中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス
中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス
UnityTechnologiesJapan002
Unityでお手軽ロボット開発「toio SDK for Unity」最新事例
Unityでお手軽ロボット開発「toio SDK for Unity」最新事例
UnityTechnologiesJapan002
集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜
集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜
UnityTechnologiesJapan002
5分でわかる Unity点群
5分でわかる Unity点群
UnityTechnologiesJapan002
5分でわかる Unity Reflect
5分でわかる Unity Reflect
UnityTechnologiesJapan002
BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~
BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~
UnityTechnologiesJapan002
【Unity道場 自動車編】Unityで実現する産業向けxRソリューション
【Unity道場 自動車編】Unityで実現する産業向けxRソリューション
UnityTechnologiesJapan002
【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~
【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~
UnityTechnologiesJapan002
【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例
【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例
UnityTechnologiesJapan002
【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン
【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン
UnityTechnologiesJapan002
【Unity道場 自動車編】モビリティへの活用に向けて
【Unity道場 自動車編】モビリティへの活用に向けて
UnityTechnologiesJapan002
Más de UnityTechnologiesJapan002
(20)
5分でわかる Sensor SDK
5分でわかる Sensor SDK
10分でわかる Unityコンピュータービジョン
10分でわかる Unityコンピュータービジョン
5分でわかる Unity Forma
5分でわかる Unity Forma
ROSのロボットモデルでバーチャルロボット受肉する
ROSのロボットモデルでバーチャルロボット受肉する
Unityでロボットの教師データは作れる!
Unityでロボットの教師データは作れる!
ARとUnity-Robotics-Hubの連携
ARとUnity-Robotics-Hubの連携
産業用ロボット開発におけるUnityの活用
産業用ロボット開発におけるUnityの活用
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
UnityとROSの連携について
UnityとROSの連携について
中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス
中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス
Unityでお手軽ロボット開発「toio SDK for Unity」最新事例
Unityでお手軽ロボット開発「toio SDK for Unity」最新事例
集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜
集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜
5分でわかる Unity点群
5分でわかる Unity点群
5分でわかる Unity Reflect
5分でわかる Unity Reflect
BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~
BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~
【Unity道場 自動車編】Unityで実現する産業向けxRソリューション
【Unity道場 自動車編】Unityで実現する産業向けxRソリューション
【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~
【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~
【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例
【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例
【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン
【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン
【Unity道場 自動車編】モビリティへの活用に向けて
【Unity道場 自動車編】モビリティへの活用に向けて
Último
2024 03 CTEA
2024 03 CTEA
arts yokohama
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
Ayachika Kitazaki
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
Último
(11)
2024 03 CTEA
2024 03 CTEA
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
2024 04 minnanoito
2024 04 minnanoito
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
1.
裸眼で拡張現実!! プロジェクションマッピングとAIで 世界最先端研究を丸見えに 2018/5/9 尾﨑竜二 だるまジャパン合同会社 / 代表社員CEO 北川正義 だるまジャパン合同会社
/ 業務執行社員 宇治原徹 名古屋大学 未来材料システム研究所 / 教授
2.
発表者紹介
3.
尾﨑 竜二 だるまジャパン合同会社 代表社員 CEO 宇治原
徹 名古屋大学 未来材料・システム研究所 教授 北川 正義 だるまジャパン合同会社 業務執行社員
4.
本日の内容
5.
1.だるまジャパン合同会社の紹介 2.名古屋大学 宇治原ラボの研究について(名大 宇治原教授) 3.裸眼ARとは 4.演出とグラフィック実装 5.ログデータの取得 6.
機械学習スクリプト(Python)との連携 7.まとめ
6.
だるまジャパンの紹介
7.
• 岐阜県大垣市 ソフトピアジャパン内で活動 • プロジェクションマッピング技術を用いた研究開発 •
プロジェクションマッピング技術を身近なところで実用的に使う • エンタメコンテンツ開発が得意 だるまジャパン合同会社 http://drmjpn.jp/
9.
• 中京テレビの子供むけイベント らくがきチュウキョ〜くん ・3Dプリントした立体キャラクターに映像を投影 ・さわると、星・ハートが飛び出るギミックあり ・明るいところでも使える小型PMボックスを作成 ※PM =
プロジェクションマッピング ・子供の落書きどおりにキャラクターが変身
10.
• 中京テレビの子供むけイベント らくがきチュウキョ〜くん ・3Dプリントした立体キャラクターに映像を投影 ・さわると、星・ハートが飛び出るギミックあり ・明るいところでも使える小型PMボックスを作成 ※PM =
プロジェクションマッピング ・子供の落書きどおりにキャラクターが変身
14.
• NTTドコモ AIエージェント基盤を 利用したコンテンツ 聞き酒君 ・音声対話でお酒
or ソフトドリンクを注ぐ ・小型PMボックスを使用し、紙コップにPM ※PM = プロジェクションマッピング https://dev.smt.docomo.ne.jp/?p=common_page&p_name=sebastien_teaser NTTドコモAIエージェント基盤
15.
リアルタイム結晶成長可視化 システム • 名古屋大学 未来材料・システム研究所 宇治原研究室 本日ご紹介 実験装置の内部をリアルタイムに可視化 SiC結晶を生成する実験装置にPM
17.
高品質で高純度なゲルマニウム結晶の開発が 実現のカギだった http://www.shmj.or.jp http://www.nobelprize.org/ The Novel Prize
in Physics 1956 Shockley BardeenBrattain 世界初のトランジスター(コンピュータの卵)
18.
高品質な窒化ガリウム結晶の開発が 実現のカギだった http://www.nobelprize.org/ The Novel Prize
in Physics 2014 AKASAKI NAKAMURAAMANO 世界初の青色発光ダイオード Photo by Mike Deal
19.
SiC パワーデバイス 省エネ技術の キーテクノロジー シリコンカーバイド (SiC)
20.
SiCパワーデバイスによる省エネ効果 8 〜 30
over Only in Japan
21.
シミュレーションによる予測 1条件あたり 約5時間 機械学習による予測 1条件あたり 約0.03秒 超高速化を実現
23.
最先端科学に職人技を
24.
裸眼ARを実現するための プロジェクションマッピング
25.
裸眼ARとは • プロジェクションマッピングを応用してARと同等の見え方を裸眼で実現 • 錯視を用いた表現 •
現実空間との調和 • 自然な体験設計
29.
錯視を用いた表現 - 動く
-
30.
錯視を用いた表現 - 歩く
-
31.
錯視を用いた表現 - 透ける
- この表現を応用
32.
立体物での錯視演出 1 2 3 • 投影面の中でできる表現しかできない •
投影面や形状に合わせた演出を考える • 投影面の距離の差によって大きく歪みが出る • プロジェクターと体験者の見る位置の差による歪み • 歪みが目立たないような演出を行う 要望に合った演出を考えなければならない さまざまな制約がある中で A B
33.
演出とグラフィック実装
34.
実装手順 テスト投影 企画 コンセプト モデリング マテリアル ライティング ポストエフェク ト 投影調整 演出
35.
テスト投影
36.
実装手順 テスト投影 企画 コンセプト モデリング マテリアル ライティング ポストエフェク ト 投影調整 演出
37.
宇治原教授からの要望 • 各所に取り付けられたセンサーのログデータから直感的にビジュアライズ • 重要な手作業であるシードタッチ(結晶軸を溶液につける作業)を可視化 •
装置の気持ちが感じ取れるようにしたい • 実験中に新たな発見ができるようにしたい カッコ良くしてほしい!!!!! 実験が楽しくなるように!!!!
40.
ボツ案
41.
企画 -決定稿- ログデータと連動して中身を透視するフォトリアルな表現
42.
実装手順 テスト投影 企画 コンセプト モデリング マテリアル ライティング ポストエフェク ト 投影調整 演出
43.
モデリング • 現物と写真を元にモデリング • パーツ全てを正確にはモデリングしていない(見た目を重視) •
中心部(結晶を作る部分)は断面 • 中心部パーツのスケールの比率は図面に合わせる
45.
マテリアル • 実物と写真を元に作成 • ほぼ全てのパーツをSubstance
Designerで作成 • Unity内で調整可能なようにプロパティを設定 リアルさより調整できることを優先
49.
ライティング - 温度変化
- 問題点 Referenceするものがない 高温になると材料が色変化と共に自己発光する これを元に絵作り
50.
ライティング - カラー・キー
- 常温 1500℃ 1800℃
51.
ライティング & リフレクション
- 実装 - • 室内環境のHDRIを使用 • スポットライトを使用 • 温度変化は中心部にポイントライトを配置し自己発光を擬似的に再現 • リフレクション用に現実にある柵を配置(レンダリングはしない) • リフレクションプローブ • ポストプロセスのScreen Space Reflection
53.
Lighting Only
54.
Reflection Probe
55.
Screen Space Reflection
56.
Reflection Probe +
Screen Space Reflection
57.
ポストエフェクト • Post Processing
Stackを使用
58.
Antialiasing
59.
Ambient Occlusion
60.
Depth Of Field
61.
Color Grading
62.
Bloom
63.
Metallic数値によるライトの影響 Metallic 1.0 Metallic
0.8
65.
実装手順 テスト投影 企画 コンセプト モデリング マテリアル ライティング ポストエフェク ト 投影調整 演出
66.
投影用カバー
67.
機材設置 プロジェクタは上部 視線は下から見上げる 形に合うように映像を歪ませて投 影する
68.
投影調整 - 形状
-
69.
投影調整 - 位置
- • 現物と投影映像の位置関係が一致するように調整 • モデルの比率は合わせてあるので数式である程度の位置を出す • 投影用に形状を変形させているので位置が合わない 現物の位置を見ながらモデルを微調整
70.
投影調整 - グラフィック
- • ディスプレイのグラフィックがそのまま投影されるわけではない • プロジェクタの明るさ等の個体差 • 周りの環境 • 投影面の素材や色 投影しながらグラフィックを微調整
72.
溶液の温度や流速の分布が 小さくて見えない 問題点 ズーム機能
73.
ズーム機能 - 演出
- 顕微鏡で覗くような演出 形状的に難しい 虫眼鏡とカメラのレンズを合わせたような形状 覗くという行為と機械的なギミックを合わせたもの
74.
ズーム機能 - 演出
- 斜め上からIN ズーム状態でフォーカス 切り替え背景ぼかす 中心部を拡大
76.
ズーム機能 - 実装
- ズームオブジェクトの子オブジェクト にカメラを配置 レンダーテクスチャで表示 Cinemachineで位置が変わっても 常に中央を映すように設定 ポストエフェクトのDoFでフォーカ スを切り替えて背景をぼかす 音声で操作 Windows.Speechの KeywordRecognizerを使用
78.
ログデータの取得
79.
Modbus RTU • PLC(programmable
logic controller)と通信するプロトコル • RS-422AをUSBに変換してPCと接続 PLC Windows PC実験装置 ・温度 ・位置 ・回転 etc… ログ
80.
Modbus RTU https://program-plc.blogspot.jp/2015/11/modbus-serial-communication-between-plc.html出典:
81.
RS-422A PLC側 USBに変換するアダプタ PLC PC RS-232Cよりも伝送速度が速く 伝送距離が長いがコネクタが 規定されていないため配線が大変
82.
連動して移動・回転 送られてくる ログデータ 実験装置 PCの画面
83.
機械学習スクリプト(Python)との連携
84.
Pythonスクリプト ー 温度分布(名古屋大学で作成) Python Image 機械学習実験装置のログ ・温度 ・位置 ・回転 etc… ・機械学習によりログデータに対応した溶液の温度分布を回帰し、画像を生成する 温度分布画像 Matplotlibで画像化 溶液部分の半分
85.
Pythonスクリプト ー 流速分布(名古屋大学で作成) 流速分布画像 Matplotlibで画像化 流れの向きと大きさをベクトルで表現 Python Image 機械学習実験装置のログ ・温度 ・位置 ・回転 etc… ・機械学習によりログデータに対応した溶液の流速分布を回帰し、画像を生成する 溶液部分の半分
86.
UnityとPythonをどうやって連携させるか? • Websocket通信
87.
Websocket通信 • Unity側は「websocket-sharp」を使用しサーバに • Python側は「AutobahnPython」を使用しクライアントに 安定した通信 接続が途切れても再接続する http://autobahn.readthedocs.io/en/latest/
88.
Unity Python 完了通知 ログ Websocketサーバ Websocketクライアン ト ・温度 ・位置 ・回転 etc… (websocket-sharp) (AutobahnPython) 機械学習 Websocket通信でUnityとPythonスクリプトを連携
89.
温度分布の表示
90.
Websocket通信でUnityとPythonスクリプトを連携 Unity Python Image 完了通知 機械学習 ログ Websocketサーバ
Websocketクライアン ・温度 ・位置 ・回転 etc… テクスチャとして貼り付ける
91.
テクスチャの貼り付け Pythonスクリプトで生成した温度分布画像テクスチャとして貼り付ける テクスチャとして貼り付け可能な状態に整形
92.
結果表示 Unityアプリケーション Pythonアプリケーション (温度分布)
93.
実際の動作画面
94.
流速分布の表示
95.
流速分布を同様に表示 テクスチャとして貼り付ける Pythonスクリプトで生成した流速分布画像
96.
流速分布を同様に表示 拡大してもダメ 何も見えない・・・
97.
改善が必要
98.
問題点 • 温度分布 将来的にMatplotlibを使えない状況になるかもしれない Matplotlibで生成したベクトルの視認性が悪い • 流速分布 Matplotlibの使用をやめ、Pythonの出力をCSVファイルに UnityにCSVを読み込み、数値データから温度分布・流速分布 を表現する Matplotlibの仕様に依存するので表現に柔軟性がない
99.
Pythonスクリプトの出力をCSVに Unity Python Image 完了通知 機械学習 ログ Websocketサーバ
Websocketクライアン ・温度 ・位置 ・回転 etc… テクスチャとして貼り付ける
100.
Pythonスクリプトの出力をCSVに Unity Python CSV 完了通知 機械学習 ログ Websocketサーバ
Websocketクライアン ・温度 ・位置 ・回転 etc… Unity側で加工
101.
温度分布の表示 CSV 温度 1800 1810 1850 1860 カラーマップ 温度分布テクスチャ (MatplotlibのJetカラーマップと同等) : 1830 • Gradientクラスにカラーマップを作成し、CSVの数値に対応する色を決定 それぞれの座標にその色を指定してテクスチャを生成 拡大
102.
流速分布の表示 • FlowMapシェーダーの利用 http://graphicsrunner.blogspot.jp/2010/08/water-using-flow-maps.html
103.
FlowMap R=128R=128 G=255G=255 R=255R=255 G=255G=255 R=0R=0 G=255G=255 R=128R=128 G=128G=128 R=255R=255 G=128G=128 R=0R=0 G=128G=128 R=128R=128 G=0G=0 R=255R=255 G=0G=0 R=0R=0 G=0G=0 FlowMap テクスチャ • 流体の方向と速度を格納したテクスチャ •
R成分にU軸方向の値、G成分にV軸方向の値 U(X)V(Y) 変位
104.
FlowMapシェーダー float3 flowDir =
tex2D(_FlowMap, IN.texcoord) * 2.0f - 1.0f; flowDir *= _FlowSpeed; float phase0 = frac(_Time.y * 0.5f + 0.5f); float phase1 = frac(_Time.y * 0.5f + 1.0f); half3 tex0 = tex2D(_MainTex, IN.texcoord + flowDir.xy * phase0); half3 tex1 = tex2D(_MainTex, IN.texcoord + flowDir.xy * phase1); float flowLerp = abs((0.5f - phase0) / 0.5f); half3 finalColor = lerp(tex0, tex1, flowLerp); http://advances.realtimerendering.com/s2010/index.html出典:
105.
FlowMapシェーダー FlowMap テクスチャUVチェッカー 流れを表現 ✖
106.
CSVの数値からFlowMapテクスチャを生成 CSV x y 0.2 0.3 -0.1
0.4 0 0 0.3 -0.8 FlowMap テクスチャ U(X)V(Y) 変位 0.5 0.2 :
107.
流速表示テスト用アプリケーション テスト用Unityアプリケーション シェーダー
108.
結果表示 Pythonアプリケーション (温度分布) Unityアプリケーション Pythonアプリケーション (流速分布)
109.
最終動作構成
110.
Unity Python Websocketサーバ Websocketクライアン Python 完了通知 Websocket通信でUnityとPythonスクリプトを連携 CSV CSV 温度分布 流速分布 ログ ログ
111.
実際の動作画面
112.
他に試したこと
113.
Pythonコードの保護(難読化) • Cythonによるコンパイル • Pythonスクリプトの中身が見られないようになる •
Cに変換するので処理速度が向上
114.
TensorFlowSharpを使用 • Unity上で温度分布や流速分布をプレディクトする • 学習モデルはPythonで作成 •
Unityだけで完結する • スレッド処理が必要(async~await)
115.
Websocket通信を使うメリット • 機械学習部分(名古屋大学担当) と
Unityアプリ(だるまジャパン担当) を分離して研究開発できる • 今後、機械学習スクリプト(Websocketクライアント)が増えても対応可能
116.
まとめ
117.
最先端研究にUnityを用いた事例を提示した エンタメから次世代材料開発まで は様々な分野で活用できる!
118.
・名古屋大学 公式プレスリリース http://www.nagoya-u.ac.jp/about-nu/public-relations/researchinfo/upload_images/20170929_imass_1.pdf https://www.asahi.com/articles/photo/AS20171201000874.html ・朝日新聞デジタル 掲載記事 リアルタイム結晶成長可視化システム 参考URL
119.
Thank you! ご静聴ありがとうございました!
Descargar ahora