近年、科学技術の力で人間の能力をパワーアップする人間拡張という研究分野が盛んになっています。本実習ではその入門として、ステレオカメラの映像を加工してHMDを通して見ることで、周囲の見え方が様々に変化する視覚拡張システムを制作します。1日目は基本的な画像処理について学び、2日目はインストラクタと相談しながら自由にシステムを改良していきます。自身の興味やスキルに合わせて、360°カメラや距離センサ、ジェスチャ入力装置、視線検出装置などを用いたり、シェーダや深層学習を用いたリアルタイム画像変換などにチャレンジすることもできます。どのように便利な見え方、あるいは楽しい見え方をするかはあなたのアイデア次第です。意欲のある人はさらに3日目に参加するのもOKです。

1. 11
ビデオシースルーHMDで
視覚拡張の世界を体感しよう
 ハードウェア:
– ビデオシースルーHMD，アイトラッカー，ジェスチャ認識，距離センサ，全方位カメラ…（なんでもアリ！）
 ソフトウェア:
– ゲームエンジン (Unity)，画像処理 (OpenCV)，機械学習 (Python + GPU + α) …（なんでもアリ！）
 (ハードウェア) × (ソフトウェア) × (あなたのアイデア) = あたらしい視覚能力・視覚体験！
【過去のテーマ例】
– 注視エリアの自動拡大
– リアルタイム天候変換
– 空中お絵かきシステム
– オセロの自動スコアリング
– 対面者の表情認識
– 過去の自身の動きのゴースト表示
– 壁の向こう側の透視
– 実世界へのマンガの効果線の重畳