Recommended
More Related Content
What's hot
What's hot (20)
Similar to 音楽を見る：情報可視化技術の音楽情報処理への適用
Similar to 音楽を見る：情報可視化技術の音楽情報処理への適用 (20)
More from Takayuki Itoh
More from Takayuki Itoh (12)
Recently uploaded
Recently uploaded (11)
音楽を見る：情報可視化技術の音楽情報処理への適用
- 1. 音楽を見る： 情報可視化技術の音楽情報処理への適用 伊藤貴之 お茶の水女子大学 理学部情報科学科 教授 情報処理学会音楽情報科学研究会 2020年8月25日 itot@is.ocha.ac.jp http://itolab.is.ocha.ac.jp/ Itoh Laboratory, Ochanomizu University
- 3. 講演者の経歴 2 Itoh Laboratory, Ochanomizu University • 1992年 日本IBM東京基礎研究所 • 1997年 早稲田大学にて博士（工学） • 2005年 お茶の水女子大学 理学部情報科学科 • 2011～15年, 2017～2021年 SIGMUS運営委員
- 4. 講演者の経歴 3 Itoh Laboratory, Ochanomizu University • 中学で作曲に興味をもつ／大学でアマチュア指揮者 • 1992年 日本IBM東京基礎研究所 • 1997年 早稲田大学にて博士（工学） • 会社員生活の傍らで音楽自主制作活動 （FM放送テーマ曲制作／CD発売／TV出演など） • 2005年 お茶の水女子大学 理学部情報科学科 • 2011～15年, 2017～2021年 SIGMUS運営委員
- 5. 講演者の経歴 4 Itoh Laboratory, Ochanomizu University • 中学で作曲に興味をもつ／大学でアマチュア指揮者 • 1992年 日本IBM東京基礎研究所 • 1997年 早稲田大学にて博士（工学） • 会社員生活の傍らで音楽自主制作活動 （FM放送テーマ曲制作／CD発売／TV出演など） • 2005年 お茶の水女子大学 理学部情報科学科 • 主に情報可視化の研究に従事しつつ CG, HCI, 音楽情報処理の研究にも着手する • 2011～15年, 2017～2021年 SIGMUS運営委員
- 6. 可視化の適用事例：お茶大伊藤研の場合 5 Itoh Laboratory, Ochanomizu University 流体 生命情報 音楽 ライフログ（写真） 人間関係 購買情報 人流
- 7. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 6 Itoh Laboratory, Ochanomizu University
- 8. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 7 Itoh Laboratory, Ochanomizu University
- 11. 某所でのユーザテスト結果 10 Itoh Laboratory, Ochanomizu University Q1: 折れ線の形を一目見て「目立つ」と思ったのはどこ？ Q2: 月や注釈と照らし合わせて「面白い」と思ったのはどこ？ (1) (2) (3) (4) (5) (6)
- 12. 某所でのユーザテスト結果 11 Itoh Laboratory, Ochanomizu University 1 1115目立つ 2 574 92 11面白い Q1: 折れ線の形を一目見て「目立つ」と思ったのはどこ？ Q2: 月や注釈と照らし合わせて「面白い」と思ったのはどこ？ 月や注釈を照合することで 閲覧者が注目する箇所が大きく変わる
- 15. 情報可視化の用途 14 Itoh Laboratory, Ochanomizu University データ全体を 広く眺めたい Overview (概観) 問題点や新しい現象を 見つけ出したい Clarification (解明) データの追加・ 削除・注釈を進めたい Handling (操作) データの意味を 明快に説明したい Announcement (報告)
- 16. 情報可視化の用途 15 Itoh Laboratory, Ochanomizu University データ全体を 広く眺めたい 問題点や新しい現象を 見つけ出したい データの追加・ 削除・注釈を進めたい データの意味を 明快に説明したい Overview (概観) Clarification (解明) Handling (操作) Announcement (報告)
- 17. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 16 Itoh Laboratory, Ochanomizu University
- 18. Colorscore:大きな1曲の構造を可視化する • 何十段もあるクラシック音楽の楽譜（スコア）を 色に置き換えて要約表示する • メロディの種類で小節を色分けする 17 木管楽器 金管楽器 打楽器 弦楽器 前半 後半 Itoh Laboratory, Ochanomizu University [Hayashi2011]
- 19. [Hayashi2011] 事例：チャイコフスキー「花のワルツ」 18 18 主旋律 伴奏（和音） 伴奏（低音） その他（装飾） 青紫色の主旋律に着目 Itoh Laboratory, Ochanomizu University
- 20. MusiCube: 好みの音楽を集めるために 19 Itoh Laboratory, Ochanomizu University ※ビデオ ＋音楽再生 [Saito2011]
- 21. MusiCubeによる推薦結果パターン • 被験者A・Bは嗜好がよく似ている – 音量平均が小 → 音量変化のあるアコースティック系？ – 高音/低音比が小 → キラキラ音の少ないシンプルな編成？ • 被験者Cは大きく異なる – 不協和音比が小 → オーソドックスな作曲技法？ 20 Itoh Laboratory, Ochanomizu University 音量 平均 音量 平均 音量 平均 高音/低音比 高音/低音比 不協和音比 被験者A 被験者B 被験者C [Saito2011]
- 22. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 21 Itoh Laboratory, Ochanomizu University
- 23. 前置き：本講演が【対象としない】音楽可視化 • 聴覚障碍者へのサポート – 音楽の進行を視覚で伝える • メディアアート・エンタテインメント – 音楽から美しいシーンや遊びっぽいインタラクションを生む • メディア変換/生成 – 写真の選択、アイコンやアバタの生成など 22 Itoh Laboratory, Ochanomizu University 本講演では 「楽譜情報や音響情報の理解を深くするための伝達手段」 としての音楽可視化を対象とする
- 24. 音楽情報可視化の分類 • データ規模 – 楽曲群、単一曲の詳細、同一楽曲の多数の演奏、… • データ形式 – 音響信号、楽譜情報、… • データ構造 – 多次元、時系列、木構造、ネットワーク、… • ターゲットユーザ層 – 一般消費者、演奏者、分析者、教育者、… • プラットフォーム – デバイス、インタラクション、… 23 Itoh Laboratory, Ochanomizu University
- 25. 楽譜情報から単一曲の構造を可視化 24 Itoh Laboratory, Ochanomizu University Automatic Music Summarization via Similarity Analysis (2002) Visualizing the semantic structure in classical music works (2009) Exploring MIDI datasets (2003)
- 26. 楽譜情報から単一曲の構造を可視化 25 Itoh Laboratory, Ochanomizu University Visualization of Concurrent Tones in Music with Colours (2010) Colorscore - Visualization and Condensation of Structure of Classical Music (2011) Songle: A Web Service for Active Music Listening Improved by User Contributions (2011)
- 27. 多数の楽曲の分布や関連を可視化 26 Itoh Laboratory, Ochanomizu University Databionic Visualization of Music Collections According to Perceptual Distance (2005) Songrium: A music browsing assistance service based on visualization of massive open collaboration within music content creation community (2013) Islands of Music: Analysis, Organization, and Visualization of Music Archives (2001) MusiCube: A Visual Music Recommendation System featuring Interactive Evolutionary Computing (2011)
- 28. 多数の楽曲の分布や関連を可視化 27 Itoh Laboratory, Ochanomizu University Instrudive: A Music Visualization System Based on Automatically Recognized Instrumentation (2018) Moodplay: Interactive music recommendation based on Artists‘ mood similarity (2019) Visualization of bipartite relations between graphs and sets (2015)
- 29. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 28 Itoh Laboratory, Ochanomizu University
- 30. 可視化の適用事例：お茶大伊藤研の場合 29 Itoh Laboratory, Ochanomizu University 流体 生命情報 音楽 ライフログ（写真） 人間関係 購買情報 人流
- 32. 情報可視化の重要な定義 • データ構造 – 1～3次元 (物理空間) – 多次元 – 時系列 – 木構造・階層 – グラフ・ネットワーク – その他 • 集合、地理情報、テキストなど • 操作手法 – Overview (概観) – Zoom (拡大) – Filter (省略) – Details on Demand (詳細情報の追加表示) – Relate (関連付け) – History (履歴) – Extract (抽出) Itoh Laboratory, Ochanomizu University [Ben Shneiderman, 1996]
- 33. データ構造による可視化手法の分類 32 Itoh Laboratory, Ochanomizu University 多次元データ 時系列データ 木構造・階層データ グラフ・ネットワークデータ
- 34. データ構造と音楽情報の例 33 Itoh Laboratory, Ochanomizu University 多次元データ 時系列データ グラフ・ネットワークデータ • 楽曲群の特徴量やメタ情報 • リスナー群の属性 • 特定の1曲の流れや変化 • 楽曲群の流行の変化 木構造・階層データ • 楽曲の関連 • ソーシャルネットワーク等での音楽の普及 • 特定の1曲の構造 • 楽曲やリスナーの分類
- 35. 多次元データの可視化 34 Itoh Laboratory, Ochanomizu University (a) 次元削減 (b) 散布図マトリクス 1 2 3 … m次元 ※ n本の折れ線 (c) 平行座標法 xi1 xim 1 n個 1 m次元 (d) ヒートマップ m 1 … … 1 m次元 x1 x2 x3 x4 u v
- 36. 時系列データの可視化 35 Itoh Laboratory, Ochanomizu University 折れ線グラフ t ヒートマップ t ※スペクトログラムは時系列データのヒートマップの一種である
- 37. 木構造・階層データの可視化 36 Itoh Laboratory, Ochanomizu University • ノード・リンク型手法 (Hyperbolic Tree, Cone Tree, …) • 空間充填型手法 (Treemap,平安京ビュー, …)
- 39. データ構造と音楽情報の例 38 Itoh Laboratory, Ochanomizu University 多次元データ 時系列データ グラフ・ネットワークデータ • 楽曲群の特徴量やメタ情報 • リスナー群の属性 • 特定の1曲の流れや変化 • 楽曲群の流行の変化 木構造・階層データ • 楽曲の関連 • ソーシャルネットワーク等での音楽の普及 • 特定の1曲の構造 • 楽曲やリスナーの分類
- 40. 最近の可視化業界のホットな話題 (1) • 複合的な可視化手法 – 前述のデータ構造に加えて、地理情報や文書情報なども融合 39 Itoh Laboratory, Ochanomizu University https://www.youtube.com/watch?v=nhoq71gqyXE
- 41. 最近の可視化業界のホットな話題 (2) • Immersive Analytics (没入環境での視覚的データ分析) 40 Itoh Laboratory, Ochanomizu University https://www.youtube.com/watch?v=n6pTdAnedIs https://www.youtube.com/watch?v=ar-LQmJrCDo&t=1s https://www.youtube.com/watch?v=LQYamaU8OvA
- 42. 最近の可視化業界のホットな話題 (3) • 機械学習の動作検証のための可視化 41 Itoh Laboratory, Ochanomizu University Analyzing the Noise Robustness of Deep Neural Networks, 2018 Interactive Correction of Mislabeled Training Data, 2019
- 43. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 42 Itoh Laboratory, Ochanomizu University
- 44. 音楽情報可視化の課題と展望 • 可視化の評価 – 可視化の研究者の間でも統一的な手法がない – 伊藤研の場合： クイズ正解率 / 納得度評価 などの比較実験、専門家評論など (参考) 5つのP: Performance, Preference, Perception, Product, Process • ベストプラクティスの追求 – 学術支援、教育支援、ビジネス分析など？ – 少なくとも現在の一般鑑賞者とは相性が悪い （スマホ等で再生ボタンを押すときしか画面を見ない人が多いので） 43 Itoh Laboratory, Ochanomizu University
- 45. 音楽情報可視化の課題と展望 • 近年の情報処理技術との融合や協業 – 機械学習過程の可視化 – VR/AR のコンテンツとしての可視化 – ソーシャルメディア・センサデータ等の可視化の一部として • 音楽情報処理の諸課題との融合や協業 – 音響処理 （音源分離・ビートトラッキングなど） の検証 – 楽譜情報や音楽理論の検証 – 音楽ビジネス・楽曲推薦などの検証 – 教育支援・練習支援 – 歴史や文化の考証 44 Itoh Laboratory, Ochanomizu University
- 46. 音楽情報可視化に着手するには • 問題：安価な汎用可視化ソフトウェアは非常に少ない – 情報可視化のメインターゲットはハイエンドな産業 （重工業、金融、医療、生命、国防、防災…） – オープン開発環境の類が普及せずに撤退を繰り返している • 自分でプログラミングするなら… – Python: bokeh, matplotlib, seaborn など – R: ggplot2 – JavaScript: D3.js, Chart.js など – 可視化手法そのものを新規に開発したいのであれば C++やJavaでゴリゴリ書いたほうがよいかも 45 Itoh Laboratory, Ochanomizu University
- 47. 本講演内容は以下の書籍にも詳細があります 46 Itoh Laboratory, Ochanomizu University 意思決定を助ける 情報可視化技術 - ビッグデータ・機械学習・VR/ARへの応用 - 1. 情報可視化の定義・歴史・展開 2. データ構造と情報可視化手法 3. 情報可視化の操作と評価 4. 視覚特性から考える情報可視化デザイン 5. 情報可視化の適用事例 6. ビッグデータと情報可視化 7. 機械学習と情報可視化 8. VR/ARと情報可視化 9. 情報可視化の研究開発の展望