1. Web情報探索前後のコンセプトマップ
の分析：
探索者によるノード同定結果を用いて
江草由佳・齋藤ひとみ・中島諒・高久雅生
寺井仁・神門典子・三輪眞木子
CRESプロジェクト
cres@nii.ac.jp

2. 発表のながれ
• 研究の背景
• 研究の目的
• 実験方法
• 分析方法と結果
• 考察

3. Exploratory Search: 探索的情報検索
• 福岡で何か観光がしたい…でもよく分からない
• Exploratory Search
– 情報要求，検索方法，探索範囲などが不明確
– 徐々に明確になり問題が解決される
• Exploratory Search Systems （ESSs）
– 検索結果の可視化，クラスタリング
→予期しない情報との出会い
– ユーザの認識の変化につながるような探索の支援

4. ESSsの評価方法
• 検索システムの評価
– 再現率と精度
• 情報要求にマッチする文書をどれだけ見つけられる
か?
– システムとユーザのインタラクション
• ユーザの検索プロセスがいかに効率的か?
– ユーザのアウトプット
• 情報検索で得られた情報で良いものが作れたか?
ESSsの利用が，利用者の内部にどれだけよい
働きかけをしたか?

5. 学習支援の研究
• 授業や学習支援システムの効果の検証
授業
よく分から 学習環境 分かった!!
ない…
システム
事前 事後

6. 学習支援の研究
• 授業や学習支援システムの効果の検証
授業
よく分から 検索システム
学習環境 分かった!!
ない…
システム
事前 事後

7. コンセプトマップ
• 人が持つ概念や概念間の関係を表現した
マップ
– ノード
– リンク
– リンクラベル

8. 関連研究1
• 教育分野におけるコンセプトマップの利用
– 初学者と熟達者のマップの比較
– 授業の前後のマップを比較
• 情報検索分野におけるコンセプトマップの利
用
– トピックに対する知識と検索行動・結果との関係
– 分野や学年による違いを比較
– コンセプトマップを利用した検索インタフェース

9. モチベーション
探索の前後での探索者の知識の変化をコンセ
プトマップをつかって測ることができるか？
ESSsの評価指標としてコンセプトマップが利用可
能か？
検索の前後に探索者が書いたコンセプトマップ
の分析

10. 関連研究2
• Egusa et. al.（2010）
– 検索前後のコンセプトマップの比較
– 要因
• システム: タブ有り，タブなし
• シナリオ: できるだけたくさん，厳選して10個
• トピック: 政権交代，メディアの影響
– 結果
• コンセプトマップ中のノード等のラベル文字列で同定し比較
– 検索前後でマップの要素が大きく変化
– 要因による違いはほとんどなかった

11. 関連研究3
• 齋藤 他.（2011）
– 検索前後のコンセプトマップの比較
– 要因
• 情報要求
– 発散: 各連載で扱う内容を幅広く
– 収束: １回の連載で扱う内容を詳細に
• トピック: 環境，旅行
– 結果
• 探索者が同定したノードを使い比較
– ノード・リンク数: 旅行＞環境
– 消失・新規: 旅行＞環境

12. モチベーション
探索の前後での探索者の知識の変化をコンセ
プトマップをつかって測ることができるか？
ノードの同定を「同一文字列ラベル」でやっ
ESSsの評価指標としてコンセプトマップが利用可
能か？ た場合と「探索者が同定した」場合に違い
はあるか？
探索前・後のコンセプトマップを統合マップを可視
検索の前後に探索者が書いたコンセプトマップ
化して比較
の分析
ノードの同定手法：
同一文字列と探索者同定の比較分析

13. 実験デザイン
• シナリオ
– 雑誌の編集者
– 連載記事のための情報収集
• 検索トピック: 被験者内
– 環境問題
– 日帰り旅行
• 情報要求: 被験者間
– 発散: 各連載で扱う内容を幅広く
– 収束: １回の連載で扱う内容を詳細に

14. 実験参加者
• 学部生3,4年生 32名
– 男性16名，女性16名（年齢20～23）
– 大学・専攻は様々
– 男女や専攻が均一になるように割り当て
被験者間＼被験者内 環境 旅行
発散 16 16
収束 16 16

15. 検索課題
環境-発散 旅行‐発散
旅行-発散
あなたは、全国紙の新聞社でニュース雑 あなたは、大手の出版社で旅行雑誌の編
誌の編集者として働いています。 集者として働いています。
あなたは編集長から、次号から始まる あなたは編集長から、次号から始まるいろ
様々な環境問題を紹介する連載記事の情 いろな東京からの日帰り旅行を紹介する
報を集めるよう指示を受けました。編集長 連載記事の情報を集めるよう指示を受け
は、１時間後に行われる他の部門の編集 ました。編集長は、１時間後に行われる他
長との編集会議で連載記事について話し の部門の編集長との編集会議で連載記事
合いをする予定です。 について話し合いをする予定です。
編集長は、会議で各回の連載記事で採り
編集長は、会議で各回の連載記事で採り 上げる内容を示したいと考えています。そ
上げる内容を示したいと考えています。そ のため連載1回分の記事に関する詳細な
のため連載1回分の記事に関する詳細な 情報よりも、各回の記事でどんな旅行を扱
情報よりも、各回の記事でどんな問題を扱 うのかを議論するための多様な情報を必
うのかを議論するための多様な情報を必 要としています。
要としています。 もちろん、読者の興味を引くものが良いと
もちろん、読者の興味を引くものが良いと 考えています。
考えています。

16. 検索課題
環境-収束
環境-発散 旅行‐発散
旅行-収束
旅行-発散
あなたは、全国紙の新聞社でニュース雑 あなたは、大手の出版社で旅行雑誌の編
誌の編集者として働いています。 集者として働いています。
あなたは編集長から、次号から始まる あなたは編集長から、次号から始まるいろ
様々な環境問題を紹介する連載記事の情 いろな東京からの日帰り旅行を紹介する
報を集めるよう指示を受けました。
報を集めるよう指示を受けました。編集長 連載記事の情報を集めるよう指示を受け
編集長は、１時間後に行われる他の部門
は、１時間後に行われる他の部門の編集 ました。編集長は、１時間後に行われる他
の編集長との編集会議で連載記事につい
長との編集会議で連載記事について話し の部門の編集長との編集会議で連載記事
合いをする予定です。
て話し合いをする予定です。 について話し合いをする予定です。
編集長は、会議で連載1回分の記事につ
編集長は、会議で各回の連載記事で採り
編集長は、会議で連載1回分の記事につ
編集長は、会議で各回の連載記事で採り いて具体的な記事の内容を示したいと考
上げる内容を示したいと考えています。そ
いて具体的な記事の内容を示したいと考
上げる内容を示したいと考えています。そ のため連載1回分の記事に関する詳細な
えています。そのため複数の旅行に関す
のため連載1回分の記事に関する詳細な
えています。そのため複数の問題に関す る情報よりも、特定の旅行についての記
情報よりも、各回の記事でどんな旅行を扱
る情報よりも、特定の問題についての記
情報よりも、各回の記事でどんな問題を扱 事を書くための詳細な情報を必要としてい
うのかを議論するための多様な情報を必
事を書くための詳細な情報を必要としてい
うのかを議論するための多様な情報を必 要としています。
ます。
要としています。
ます。 もちろん、読者の興味を引くものが良いと
もちろん、読者の興味を引くものが良いと 考えています。
考えています。

17. • 最初のアンケート
手続き
• コンセプトマップの説明・練習
10分
• 課題の教示・事前マップ作成(10分)
15分
• 課題についての情報探索
15分
休憩をはさみ
2回繰返し
• 事後マップ作成
10分
• 課題に関するアンケート
• 最後のアンケート・マップの対応付け

18. • 最初のアンケート
手続き
• コンセプトマップの説明・練習
10分
• ブラウザはFirefox
• 好きなサーチエンジンを使ってよい
課題の教示・事前マップ作成(10分)
•• 編集長に見せるページをブックマークに追加する
15分
• 課題についての情報探索
15分
休憩をはさみ
2回繰返し
• 事後マップ作成
10分
• 課題に関するアンケート
• 最後のアンケート・マップの対応付け

19. • 最初のアンケート
手続き
• コンセプトマップの説明・練習
10分
• 課題の教示・事前マップ作成(10分)
15分
• テーマに関する既有知識の有無
•• 課題についての情報探索
テーマに対する興味・難易度
15分
休憩をはさみ • 情報収集の難易度・満足度
2回繰返し • 十分に収集できたか・十分な時間があったか
•• 事後マップ作成
記事についてどんなアイデアを思いついたか
10分 • 感想
• 課題に関するアンケート
• 最後のアンケート・マップの対応付け

20. • 最初のアンケート
手続き
• コンセプトマップの説明・練習
10分
• 課題の教示・事前マップ作成(10分)
15分
• 課題についての情報探索
15分
休憩をはさみ
2回繰返し • 2つの課題を比較
• 難易度・興味・既有知識
• 事後マップ作成
10分 • 情報収集の難易度・満足度・時間の十分さ
• 探索前後の知識の変化の有無
• 探索前後のコンセプトマップの対応付け
•• 課題に関するアンケート
探索前後のコンセプトマップを見た感想
• 最後のアンケート・マップの対応付け

21. コンセプトマップの分析
• ノード・リンク・リンクラベル数
• 共通・消失・新規ノード数
• 統合コンセプトマップ

22. ノード・リンク・リンクラベル数
探索前 探索後 探索前 探索後 探索前 探索後
35.0 31.6 35.0 32.3 35.0
30.9 31.4
30.2
29.6 28.9 30.0
30.0 30.0 27.3 30.0 28.3
26.3
25.3 25.6 25.9
24.1 24.3
25.0 25.0 22.7 25.0 22.7
20.9
19.4 19.3
20.0 20.0 20.0 17.7
15.2
14.6
15.0 15.0 15.0
10.0 10.0 10.0
5.0 5.0 5.0
0.0 0.0 0.0
環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行
発散 収束 発散 収束 発散 収束
ノード数 リンク数 リンクラベル数
環境＜旅行 環境＜旅行 環境＜旅行
発散＞収束
環境: 探索前＜探索後 環境: 探索前＜探索後 検索前＜探索後

23. ノード・リンク・リンクラベル数
探索前 探索後 探索前 探索後 探索前 探索後
35.0 31.6 35.0 32.3 35.0
30.9 31.4
30.2
29.6 28.9 30.0
30.0 30.0 27.3 30.0 28.3
26.3
25.3 25.6 25.9
24.1 24.3
25.0 25.0 22.7 25.0 22.7
20.9
19.4 19.3
20.0 20.0 20.0 17.7
15.2
14.6
15.0 15.0 15.0
10.0 10.0 10.0
5.0 5.0 5.0
0.0 0.0 0.0
環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行
発散 収束 発散 収束 発散 収束
ノード数 リンク数 リンクラベル数
環境＜旅行 環境＜旅行 環境＜旅行
発散＞収束
環境: 探索前＜探索後 環境: 探索前＜探索後 検索前＜探索後

24. ノード・リンク・リンクラベル数
探索前 探索後 探索前 探索後 探索前 探索後
35.0 31.6 35.0 32.3 35.0
30.9 31.4
30.2
29.6 28.9 30.0
30.0 30.0 27.3 30.0 28.3
26.3
25.3 25.6 25.9
24.1 24.3
25.0 25.0 22.7 25.0 22.7
20.9
19.4 19.3
20.0 20.0 20.0 17.7
15.2
14.6
15.0 15.0 15.0
10.0 10.0 10.0
5.0 5.0 5.0
0.0 0.0 0.0
環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行
発散 収束 発散 収束 発散 収束
ノード数 リンク数 リンクラベル数
環境＜旅行 環境＜旅行 環境＜旅行
発散＞収束
環境: 探索前＜探索後 環境: 探索前＜探索後 検索前＜探索後

25. ノード・リンク・リンクラベル数
探索前 探索後 探索前 探索後 探索前 探索後
35.0 31.6 35.0 32.3 35.0
30.9 31.4
30.2
29.6 28.9 30.0
30.0 30.0 27.3 30.0 28.3
26.3
25.3 25.6 25.9
24.1 24.3
25.0 25.0 22.7 25.0 22.7
20.9
19.4 19.3
20.0 20.0 20.0 17.7
15.2
14.6
15.0 15.0 15.0
10.0 10.0 10.0
5.0 5.0 5.0
0.0 0.0 0.0
環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行 環境 旅行
発散 収束 発散 収束 発散 収束
ノード数 リンク数 リンクラベル数
環境＜旅行 環境＜旅行 環境＜旅行
発散＞収束
環境: 探索前＜探索後 環境: 探索前＜探索後 検索前＜探索後

26. 探索前と探索後のマップの比較のため
共通部分の算出方法
• 探索前と探索後のマップの比較のため共通部分
の算出方法を検討
• ノードをキーとして算出できないか？
• 共通ノードの定義、共通ノードをキーにして新規
ノード、消失ノードの定義

27. 基本アイデア：共通ノード
• 探索前後のマップで同じ意味を持つノード
探索前 探索後
森林破壊
森林の
生活排水
破壊
ゴミ問題
環境問題 環境問題
オゾン層 温暖化
の破壊 ゴミ問題

28. 基本アイデア：消失ノード
• 探索前にはあり，探索後にはなくなったノード
探索前 探索後
森林破壊
森林の
生活排水
破壊
ゴミ問題
環境問題 環境問題
オゾン層 温暖化
の破壊 ゴミ問題

29. 基本アイデア：新規ノード
• 探索前にはなく，探索後に新しく追加された
ノード
探索前 探索後
森林破壊
森林の
生活排水
破壊
ゴミ問題
環境問題 環境問題
オゾン層 温暖化
の破壊 ゴミ問題

30. 共通・消失・新規ノード数
40 40 40
環境 旅行 環境 旅行 環境 旅行
35 35 35
30 30 30
25 25 25
20 20 20
15 15 15
10 10 10
5 5 5
0 0 0
発散 収束 発散 収束 発散 収束
共通ノード数 消失ノード数 新規ノード数
トピック，探索条件の違 トピックによる違い トピックによる違い
いはなし 環境＜旅行 環境＜旅行

31. 共通・消失・新規ノード数
40 40 40
環境 旅行 環境 旅行 環境 旅行
35 35 35
30 30 30
25 25 25
20 20 20
15 15 15
10 10 10
5 5 5
0 0 0
発散 収束 発散 収束 発散 収束
共通ノード数 消失ノード数 新規ノード数
トピック，探索条件の違 トピックによる違い トピックによる違い
いはなし 環境＜旅行 環境＜旅行

32. 共通・消失・新規ノード数
40 40 40
環境 旅行 環境 旅行 環境 旅行
35 35 35
30 30 30
25 25 25
20 20 20
15 15 15
10 10 10
5 5 5
0 0 0
発散 収束 発散 収束 発散 収束
共通ノード数 ＜ （ 消失ノード数 新規ノード数 ）
トピック，探索条件の違 トピックによる違い トピックによる違い
いはなし 環境＜旅行 環境＜旅行

33. 共通ノード候補1(同文字列)
• 同じラベル文字列のノード（同文字列ノード）
– 初めから書いてあるルートノード含む
探索前 探索後
森林破壊
森林の
生活排水
破壊
ゴミ問題
環境問題 環境問題
オゾン層 温暖化
の破壊 ゴミ問題

34. 共通ノード候補2（探索者同定)
• 探索前後のマップで同じ意味を持つと参加者
自身が判定したノード(探索者の赤丸付与ノード)
探索前 探索後
森林破壊
森林の
生活排水
破壊
ゴミ問題
環境問題 環境問題
オゾン層 温暖化
の破壊 ゴミ問題

35. 共通ノード候補3(候補1+2)
• 同文字列ノード＋探索前後のマップで同じ意
味を持つと参加者自身が判定したノード(探索
者の赤丸付与ノード)
探索前 探索後
森林破壊
森林の
生活排水
破壊
ゴミ問題
環境問題 環境問題
オゾン層 温暖化
の破壊 ゴミ問題

36. 定義ごとの共通ノード数の平均
7.1 7.73 9.1
同一文字列 赤丸 両方
12.0
10.0
10.0 9.4
8.3 8.3 8.3 8.1
8.0 7.6 7.6
7.2 7.2
6.5
6.0 5.4
4.0
2.0
0.0
環境 旅行 環境 旅行
発散 収束

37. 赤丸を付ける基準が広めな例
・実験参加者により、
同一性判定に違いが
あった
・3名ほど赤丸の基準
が広め（個人差は見
られたがトピックや条
件間には差はなし）

38. 統合コンセプトマップ
• 事前コンセプトマップと事後コンセプトマップを
ノードのラベルと探索者の同定判定をもとに
統合したマップを作成
事前
事後
統合マップ

39. 統合コンセプトマップ作成ツール：
共通リンク
VizCMap
ラベル ルートノード
共通リンク
赤丸ノード 共通ノード
消失ノード 新規ノード
新規リンク 新規リンクラベル
消失リンク
凡例：
消失リンクラベル 同文字列 http://cres.jpn.org/?VizCMapJa
ノード

40. 統合コンセプトマップの例

41. コンセプトマップの分析のまとめ
• ノード・リンク・リンクラベル数
– ノードとリンク: 旅行＞環境，環境で前＜後
– リンクラベル: 旅行＞環境, 発散＞収束, 前＜後
• 共通・消失・新規ノード数
– 消失・新規: 旅行＞環境
• 共通ノードの定義ごとの数
– 同一文字列<赤丸<同一文字列＋赤丸
• 探索者による同定判定
– 個人差による揺らぎ
• 統合マップ
– 探索前・後のマップの統合結果の可視化

42. 考察：共通ノードの定義
• 同一文字列
– 機械的な判定が可能
– 表記の揺らぎを考慮していない
• 探索者同定
– より正確な同定になる可能性が高い
– 探索者による揺らぎ
• 3名分：探索者による顕著な揺らぎあり
• 平均2.0ノード分増加
– ただしルートノード1は必ず増えるため実質1
– 探索者の同定による増加分は必要か

43. おわりに
• トピックや探索条件の違い
– マップの構成要素やその配置の変化に影響
– 収集する情報の違いが探索者の知識に反映
• 課題
– 同一文字列と探索者判定のノード数の差の程度
の検討
– 評価手法にするための必要な要件の検討