人と球体自律走行ロボット群の協調パフォーマンスシステムの開発 (20160706 jst start presen tsuchida)

•

0 likes•149 views

Shuhei Tsuchida

プロジェクトページ https://shuhei2306.com/works/mimebot.html

Technology

人と球体自律走行ロボット群の
協調パフォーマンスシステムの開発
土田修平†1, 竹森達也†2, 友近圭汰†1
†1 神戸大学
†2 京都大学

背景
⼈と移動ロボットを組み合わせたパフォーマンス
参照元: Dance with Drones,
https://www.youtube.com/watch?v=HQLORg5COiU
2

背景 3
SAMURIZE
form EXILE TRIBE
Wrecking
Crew
Orchestra
Perfume
Rhizomatiks FReaKLabS
m plus plus
技術とパフォーマンスを組み合わせると面白い！

パフォーマンスを増強するために必要な要素
・連動と強調
・⾒⽴て
・不思議さ
⼈とモノ
4

パフォーマンスを増強するために必要な要素
・連動と強調
・⾒⽴て
・不思議さ
⼈とモノ
5

パフォーマンスを増強するために必要な要素
・連動と強調
・⾒⽴て
・不思議さ
⼈とモノ
6

パフォーマンスを増強するために必要な要素
・連動と強調
・⾒⽴て
・不思議さ
⼈とモノ
7
凸凹な床壁つるつるの床

パフォーマンスを増強するために必要な要素
・連動と強調
・⾒⽴て
・不思議さ
⼈とモノ
8

マネタイズ 12
m plus plus
Core
Technology
Amusement Park
Theater
Digital Signage

More from Shuhei Tsuchida

複数人でのダンスパフォーマンスでは音楽と振り付けが上手くリンクしているものであっても，隊形が崩れているとダンスパフォーマンスとしての質が大幅に低下してしまう．そのためダンスパフォーマンスにおいて，隊形の練習は振り付けの習得と同様に重要な要素となっている．隊形を上手く魅せるためには，バラつきなく人との間隔を保つことと，次の隊形へスムーズに移行することを意識しなければならない．しかし練習の際に1人でもダンサが欠ければ，隊形の適当な間隔を掴むことが困難となる．そこで本研究では，隊形練習において一部のダンサが欠けてもスムーズに練習を行うための自走型スクリーンを用いたダンス練習支援システムを提案する．システムの提案にあたって，1人で踊る，自走ロボットと踊る，プロジェクタ映像と踊るの3つの隊形の練習手法のうち，どれが実際にダンサと2人で踊る練習手法の感覚に近いかを調査した．その結果から，プロジェクタ映像と踊る手法が最も感覚が近く，自走ロボットと踊る手法が最も移動の再現性が高いことを確認した．これら2つの手法を組み合わせた隊形練習における一部のダンサが欠けてもスムーズに練習を行うための自走型スクリーンを用いたダンス練習支援システムを提案した．また，自走型スクリーンが自走ロボットと踊る手法とプロジェクタ映像と踊る手法の利点をそれぞれ備えているか評価実験を行った．さらに，カーテンスクリーンを用いた再実験を行った．結果，提案手法は感覚の類似性が高いプロジェクタ映像と踊る手法の利点を備えているが，位置の再現性が高い自走ロボットと踊る手法の利点は備えていなかった．

ダンスパフォーマンスにおける自走型スクリーンを用いた隊形練習支援 (WISS 2012 tsuchida)

Shuhei Tsuchida

Collapsed formation in a group dance will greatly reduce the quality of the performance even if the dance in the group is synchronized with music. Therefore, learning the formation of a dance in a group is as important as learning its choreography. However, if someone cannot participate in practice, it is difficult for the rest of the members to gain a sense of the proper formation in practice. We propose a practice-support system for performing the formation smoothly using a self-propelled screen even if there is no dance partner. We developed a prototype of the system and investigated whether a sense of presence provided by both methods of practicing formations was close to the sense we really obtain when we dance with humans. The result verified that the sense of dancing with a projected video was closest to the sense of dancing with a dancer, and the trajectory information from dancing with a self-propelled robot was close to the trajectory information from dancing with a dancer. Practicing in situations similar to real ones is able to be done by combining these two methods. Furthermore, we investigated whether the self-propelled screen obtained the advantages of dancing with both methods and found that it only obtained advantages of dancing with projected video.

A System for Practicing Formations in Dance Performance Supported by Self-Pro...

Shuhei Tsuchida

In recent years, as robotics technology progresses, various mobile robots have been developed to dance with humans. However, up until now there have been no system for interactively creating a performance using multiple mobile robots. Therefore, performance using multiple mobile robots is still difficult. In this study, we construct a mechanism by which a performer can interactively create a performance while he/she considers the correspondence between his/her motion and the mobile robots' movement and light. Specifically, we developed a system that enables performers to freely create performances with multiple robotics balls that can move omunidirectionnally and have full color LEDs. Performers can design both the movements of the robotic balls and the colors of the LEDs. To evaluate the effectiveness of the system, we had four performers use the system to create and demonstrate performances. Moreover, we confirmed that the system performed reliably in a real environment.

A Dance Performance Environment in which Performers Dance with Multiple Robot...

Shuhei Tsuchida

When designing a performance involving people and mobile robots, we must consider the required functions and shape of the robot. However, it can be difficult to account for all of the requirements. In this paper, we discuss a mobile robot in the shape of a ball that is used in theatrical performances. Such a spherical robot should be agile and be able to roll like a ball. However, it is difficult to create a robot with all of these characteristics. Instead, we propose a mobile robot that can give the audience the optical illusion of the unique movements of a sphere by mounting a spherical LED display on a high-agility wheeled robot. The results of an experiment using a prototype indicate that this sort of robot can broaden the range of possible performances by giving the optical illusion of being a rolling sphere.

Mimebot: Sphere-shaped Mobile Robot Imitating Rotational Movement (MoMM2016 p...

Shuhei Tsuchida

移動ロボットを用いたダンスパフォーマンス環境の構築 (20161006 CEATEC 未踏ブース　ストリートプレゼン土田)

Shuhei Tsuchida

ホームページ https://shuhei2306.com/index-j.html 人と移動ロボットを組み合わせたパフォーマンスを設計する際には，求められる機能や形状を考慮しなければならない．しかし，要求に対して機構の実現が難しい場合がある．本論文では，身体パフォーマンスにおいて広く用いられているボールと同じ形状である球体型移動ロボットを想定する．球体型移動ロボットには，高い俊敏性や球体特有の転がるといった動作が必要となるが，そのような特徴をすべて備えた球体型移動ロボットは著者らの知る限り存在しない．そこで，本論文では移動性能の高い車輪型の全方位移動ロボット上に球状LEDディスプレイを搭載し，球体特有の動きを聴衆に錯覚させる機能をもつ移動ロボットを提案する．提案システムのプロトタイプを用いた実験結果から，提案手法により球体の転がりを十分に錯視させられ，演出の幅を広げられることがわかった．

回転移動を模したテクスチャ表示機能をもつ球体型移動ロボット (インタラクション 2016）

Shuhei Tsuchida

As social media has matured, uploading video content has increased. Multiple videos of physical performances, such as dance, are difficult to integrate into high-quality videos without knowledge of video-editing principles. In this study, we present a system that automatically edits dance-performance videos taken from multiple viewpoints into a more attractive and sophisticated dance video. Our system can crop the frame of each camera appropriately by using the performer’s behavior and skeleton information. The system determines the camera switches and cut lengths following a probabilistic model of general cinematography guidelines and of knowledge extracted from expert experience. In this study, our system automatically edited a dance video of four performers taken from multiple viewpoints, and ten video-production experts evaluated the generated video. As a result of a comparison of another automatic editing system, our system tended to be performed better.

Automatic System for Editing Dance Videos Recorded Using Multiple Cameras

Shuhei Tsuchida

本研究では，自動編集機能を活用することで，動画編集の専門知識がなくとも簡単に魅力的なダンス動画を作成できる多視点ダンス動画のインタラクティブ編集システムを提案する．ダンサーは，パラメータを調整することで，自身の目的に応じた動画に自動で編集させることができる．また，動画編集の原則に基づいて決定されたカメラの優先選択度をヒートマップとして提示することで，カメラ選択を音楽の 1 拍ごとに修正して好みのダンス動画を制作できる．さらに，被写体とカメラの距離が近いほど画面上側に，遠いほど画面下側に並び替えられており，全体を俯瞰することで近い，遠い映像の割合を容易に確認することができる．自動編集機能の有効性を評価実験を通して確認し，本提案システムの必要性を確認した．

多視点ダンス映像のインタラクティブ編集システム

Shuhei Tsuchida

Query-by-Dancing: 身体動作の類似性に基づくダンス楽曲検索システム

Shuhei Tsuchida

Database https://aistdancedb.ongaaccel.jp/ AIST Dance Video Database (AIST Dance DB) is a shared database containing original street dance videos with copyright-cleared dance music. This is the first large-scale shared database focusing on street dances to promote academic research regarding Dance Information Processing. The AIST Dance DB will foster a variety of new tasks such as Dance-motion genre classification Dancer identification Dance-technique estimation

AIST Dance Video Database: Multi-Genre, Multi-Dancer, and Multi-Camera Databa...

Shuhei Tsuchida

Databseページ https://aistdancedb.ongaaccel.jp ホームページ https://shuhei2306.com/index-j.html デモ動画 https://youtu.be/dpE3H10F0cY 発表動画 https://live.nicovideo.jp/watch/lv324368232 産総研ダンスビデオデータベースは、著作権をクリアした60曲の楽曲と13940本のストリートダンスビデオを含む大規模データベースです。ダンスモーション分類やダンサー識別などのダンス情報処理の研究を促進させます。

AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース

Shuhei Tsuchida

ホームページ https://shuhei2306.com/index-j.html デモ動画 https://youtu.be/b90PPKLvANA 発表動画 https://youtu.be/u9ozqzyyqCE?t=10158 複数人でのダンスのイメージを振付師1人でも検討・確認・共有できるグループダンスパフォーマンス動画作成インタフェース DanceUnisoner を開発した． DanceUnisoner では，ダンサー1人が踊っているダンス動画をコピー&ペーストの要領で三次元空間に配置していくことで，グループダンスの動画を手軽に作成できる．グループダンスの人数や配置，向き，大きさ，時間ずれを一括で容易に変更できるシンプルなGUIを備える．

DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース

Shuhei Tsuchida

ホームページ https://shuhei2306.com/index-j.html 発表動画 https://youtu.be/h46t7hZfDOA デモ動画 https://youtu.be/5M3Hipn7rJ8 COVID-19により、ダンスレッスンもZoom等のオンライン環境により実施されるようになった。一方で、そこでは以下の複数の課題が見受けられることが分かっている。以上の課題を解決するためのダンスレッスンのシステムを構築・提案することにより、複数の生徒に対する細やかな指導、各生徒のペースに合わせた豊かな学習、講師―生徒間のコミュニケーションを取る事も可能となると考えられる。・生徒間、及び生徒講師間でのコミュニケーションが取りづらい・一人一人に指導が行き届かず、従来の対面レッスンのような細やかな指導がしづらい

ダンスレッスンの可能性を拡張する講師ー生徒サポートAIシステムの開発

Shuhei Tsuchida

・ホームページ　https://shuhei2306.com/index-j.html ・発表動画　https://youtu.be/3xWqULVUvq8?t=746 ・デモ動画　https://youtu.be/oKdh2UgHaVU スポーツ等の学習において，情報提示を受けつつ身体を動かしながら学ぶ学習支援手法がこれまで数多く提案されてきた．我々の研究グループでは逆に，身体を動かさずに情報提示を受けることに集中するフェーズと動作を実施するフェーズの二つに分割して学習を進める「分離学習」という学習方法を提案している．先行研究では，指先を用いた打楽器のリズム学習においてこの分離学習が有効であることを確認した．しかし，身体全体を使った動作にもこの分離学習が適用可能か，また動作の習得難易度によって分離学習の有効性が変化するかについてはこれまで検討してこなかった．そこで本稿では，身体全体を使ったダンスステップの習得のための情報提示システムを構築し，ダンスステップの習得においても分離学習が適用可能か，また動作の習得難易度によって分離学習の有効性に影響を及ぼすかについて評価した．実験の結果，ダンスステップの学習時に身体を動かさなかったとしても，身体を動かしながら行う学習との間に練習効果の差は生じなかった．

ダンスステップ学習における分離学習の適用

Shuhei Tsuchida

This paper presents Query-by-Dancing, which is a dance music retrieval system that enables a user to retrieve music by dance motion. When dancers search for music to play when dancing, they sometimes refer to music in online dance videos in which motions similar to their own dance are used. Previous music retrieval systems, however, cannot support retrieval specialized for dancing because they do not accept dance motions as the query. We therefore developed our Query-by-Dancing system that uses a video of a dancing user as the input query to search a database of dance videos. This query video is recorded using an ordinary RGB camera that does not obtain depth information, such as one attached to a smartphone. The pose and motions in the query are then analyzed and used to retrieve a set of dance videos with similar pose and motions. The system then enables the user to browse the musical pieces attached to those retrieved videos so that the user can find a piece that is appropriate for his/her dancing. An interesting problem here is that simply finding the most similar videos results in getting results not similar in terms of genres of dance motions. We solved this by using a novel measure similar to tf-idf to weight the importance of dance motions when retrieving videos. We conducted the comparative experiments on four dance genres and confirmed that the system gained an average of three points or more evaluation scored for three dance genres, Waack, Pop, Break, and that our proposed method was able to deal with different dance genres.

Query-by-Dancing: A Dance Music Retrieval System Based on Body-Motion Similarity

Shuhei Tsuchida

More from Shuhei Tsuchida (15)

ダンスパフォーマンスにおける自走型スクリーンを用いた隊形練習支援 (WISS 2012 tsuchida)

A System for Practicing Formations in Dance Performance Supported by Self-Pro...

A Dance Performance Environment in which Performers Dance with Multiple Robot...

Mimebot: Sphere-shaped Mobile Robot Imitating Rotational Movement (MoMM2016 p...

移動ロボットを用いたダンスパフォーマンス環境の構築 (20161006 CEATEC 未踏ブース　ストリートプレゼン土田)

回転移動を模したテクスチャ表示機能をもつ球体型移動ロボット (インタラクション 2016）

Automatic System for Editing Dance Videos Recorded Using Multiple Cameras

多視点ダンス映像のインタラクティブ編集システム

Query-by-Dancing: 身体動作の類似性に基づくダンス楽曲検索システム

AIST Dance Video Database: Multi-Genre, Multi-Dancer, and Multi-Camera Databa...

AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース

DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース

ダンスレッスンの可能性を拡張する講師ー生徒サポートAIシステムの開発

ダンスステップ学習における分離学習の適用

Query-by-Dancing: A Dance Music Retrieval System Based on Body-Motion Similarity