2017年9月13日（水）に開催した「AI eats UX vol.2 -at one bite-」で話した資料です。人工知能によって「検索」体験がどう進化するかについて考えました。 https://uxtokyo.connpass.com/event/65578/

1. AI eats UX? vol.2
-at one bite-
Nozomu Tannaka
Recruit Technologies Inc.,

2. 反中 望(たんなか のぞむ)
Nozomu Tannaka
2006-2008 Works Applications Inc.,
2008-2014 beBit Inc.,
2015- Recruit Technologies Inc.,
UX Design, UX Strategy, Multi-Segment UX…

3. この絵は？

5. フランシスコ・デ・ゴヤ
『我が子を食らうサトゥルヌス』
ローマ神話に登場するサトゥルヌス（ギリシア神話
のクロノスに相当）が将来、自分の子に殺されると
いう予言に恐れを抱き5人の子を次々に呑み込んで
いったという伝承をモチーフにしており、自己の破
滅に対する恐怖から狂気に取り憑かれ、伝承のよう
に丸呑みするのではなく自分の子を頭からかじり、
食い殺す凶行に及ぶ様子がリアリティを持って描か
れている。
Wikipediaより
https://ja.wikipedia.org/wiki/%E6%88%91%E3%81%8C%E5%AD%90%E
3%82%92%E9%A3%9F%E3%82%89%E3%81%86%E3%82%B5%E3%83%
88%E3%82%A5%E3%83%AB%E3%83%8C%E3%82%B9

6. 自己の破滅に対する恐怖から

7. わが子を食らう

8. AI eats UX??

9. UX eats AI??

10. 個人的な体験

11. 伝統的“UCD”
行動観察
ユーザインサイトの発見
コミュニケーションシナリオ設計
UI設計

12. 価値の源泉
インサイトを把握する調査力・分析力・共感力
UI設計の“引き出し”の多さ

13. BigData / AIを活用したUX設計
ユーザ理解 テクノロジー理解
UXコンセプトの定義
画面デザイン
活用できるデータ模索
モデルチューニング

14. 価値の源泉
どのように価値のあるデータを得るか？
どのようにデータを保持し、加工するか？
どのようにモデルを構築し、チューニングするか？

15. 問い

16. （機械学習を含む広義の）
AIによって、UXデザインにどの
ような変化が起きているのか？

17. 3つの問い
• Chat eats UI? ～ チャットがUIを食らうのか？
• Data eats Insight? ～ データがインサイトを食らうのか？
• AI eats Designer ～ 人工知能がデザイナーを食らうのか？

18. 本日のセッション

19. Session1 AIが実現する新たな検索体験とは？
人工知能・機械学習の技術が「検索」体験をどのように刷新していくのか。
マッチングメディアにおける模索の事例から考えます。
反中望（リクルートテクノロジーズ）
越島健介（リクルートジョブズ）
Session2 UXデザイナーがAIを学ぶには？
UXデザイナー、あるいはWEBディレクターやマーケターが、「必須教養」としてAI・人工知能を学ぶ
時代が来ているのでは？ということを考えてみます。
石川聡彦（株式会社アイデミー CEO & Founder）
Closing
前田俊幸（UX Tokyo）
懇親会

20. AIが実現する新たな検索体験
とは？

21. 「ゼクシィ」での取り組み

22. フォト検索（ゼクシィ）
マルチモーダル（画像とテキストを関連づけて類似
度をマッピングできる技術）を活用し、「こんな式
がやりたい」というイメージから式場を探すことが
できる機能を実装

23. デモ

24. 普通の検索
トップ 条件指定
一覧 詳細
アクション
（CV）

25. フォト検索
写真を選ぶ
軸の提案
軸に合った
式場
アクション
（CV）

26. 写真を眺めていく中で、自
分のイメージに近い写真に
出会う

27. 選んだ写真から、おすすめ
のテーマ（キーワード）が
提案される

28. 選んだテーマに近い式場が
レコメンドされる

29. ユーザにとっての価値は？

30. 「どんな式がやりたい？」と聞かれても、
うまく言語化できない
でも、目の前のイメージから
「こういうのは好き/嫌い」は選べる
典型的な花嫁像

31. 「どんな式がやりたい？」と聞かれても、
うまく言語化できない
でも、目の前のイメージから
「こういうのは好き/嫌い」は選べる
典型的な花嫁像
「普通の検索」では、条件を指定することができず、
困ってしまう×

32. 「どんな式がやりたい？」と聞かれても、
うまく言語化できない
でも、目の前のイメージから
「こういうのは好き/嫌い」は選べる
典型的な花嫁像
「普通の検索」では、条件を指定することができず、
困ってしまう
「フォト検索」なら、直感的な「好き」を基軸にして
自然に自分の好みにたどり着ける
×
○

33. 仕組みと技術

34. マルチモーダル機械学習を利用した
画像・テキストによる相互検索API
※リクルートテクノロジーズが提供するAI・機械学習ソ
リューション「A3RT」シリーズのひとつ

35. 体にはたくさんのセンサーが張り巡らされている
味覚
触覚
嗅覚
視覚
聴覚

36. 人は経験的複数の感覚を雨という概念と結びつけている
雨の音を
聞く
雨を見る 濡れる雨の匂い
を嗅ぐ
雨だ！（知覚）

37. 0101010101010101
0101010101010101
0101010101010101
0101010101010.....
ハワイに行きました。
海がとても青くて
陽の光が眩しかったです。
0101010101010101
0101010101010101
0101010101010101
0101010101010.....
Icon: http://www.icondrawer.com/
画素データ
文字列データ
画素データの
数値列
文字コードの
数値列
0101010101010101
0101010101010101
0101010101010101
0101010101010.....
波の音
波形データ
関係は？？
波データの
数値列
コンピューターはわからない

38. マルチモーダル学習は情報間の隔たりを埋める
画像
テキスト
画像とテキストの
セマンティックギャップ
（意味的隔たり）
コンピューターの世界
0101010101010101
0101010101010101
0101010101010101
0101010101010.....
0101010101010101
0101010101010101
0101010101010101
0101010101010.....
ハワイに行きました。
海がとても青くて
陽の光が眩しかったです。
Icon: http://www.icondrawer.com/

39. 画像と画像に対する説明文のペアさえあれば学習可能
こういう画像はこういうテキスト
関係性を学習
クリスマスにワイングラスで乾杯。
赤い薔薇とオシャレなテーブル
セッティングで素敵なディナーを
お召し上がりください。

40. マルチモーダル学習は結合空間に複数の情報が関連性が高い
ものを近くにマッピングするように学習する
距離が近ければ関連性が高い
・画像a
x4
x1
・画像b
x2
x3
xd
︙
・テキストc
・テキストd
結合空間
x4
x1
x2
x3
xd
︙
・画像b
・画像a
画像空間
x4
x1
x2
x3
xd
︙
・テキストd
・テキストc
テキスト空間

41. 「検索」はどう変わるか

42. そもそも「検索」って不自然

43. 普通の検索
トップ 条件指定
一覧 詳細
アクション
（CV）

44. 意思決定の流れ(？)
ニーズ発生 軸形成
比較検討 絞込
アクション
（CV）

45. 本当？

46. 意思決定の流れ？
なんとなく
調べてみる
考える こっちかなー
いや、やっぱり
これかなー 一晩置いてみる
全然違う候補が
出てきて悩む
困って
一旦検討停止
関係なく、たまたま
見たものに一目惚れ

47. 全然違う

48. なぜ？

49. （おそらく）
単なる技術的制約

50. コンピュータの制約
010101010001111010101011…
カチッとした条件しか扱えない

51. 「検索」＝
「目当ての情報を探し出す」
というメタファー

52. 「検索」のルーツ
「○○について知りた
いけど、どの本の中に
載っているかな」
＝“蔵書検索”
＝“図書館情報学”
https://www.darpa.mil/program/memex

53. あらかじめ「正解」（ほしいもの）
はわかっている。
それを膨大なデータの中から
いかにスムーズに見つけ出すか
が検索のイシュー

54. 人生における
「意思決定」は全く異なる

55. あらかじめ「正解」が
あるわけではない。
それ自体、検討体験の中で、
徐々に構築されていくもの

56. むしろ、最終的に選んだ時に
はじめて
「正解」が決まる

57. 「意思決定」とは
「運命の出会い」
「一目惚れ」
→理詰めではない
http://jin115.com/archives/52054862.html

58. 「意思決定」とは
「相談」「交渉」
「議論」「納得」
→コミュニケーション
で刻々と変わる

59. 意思決定はそもそも
曖昧でファジーなもの

60. 曖昧なものは、
コンピュータが扱いきれない

61. AIの進化で
状況が変わってきた

62. －今までのコンピュータによる最適化の能力では、答えは
基本的に1つしかない。それがディープラーニングだと、
答えがそもそもないのです。「確たる答えはないけど、な
んとなくこう」っていうのがディープラーニングです。
－いちばんの特徴は、コンピュータがこれまで持てなかっ
たセンスや感覚が生まれたということです。
UEI清水さんのインタビュー
http://toyokeizai.net/articles/-/185678

63. 深層学習により、
AIが「曖昧なコト」を
扱えるようになった

64. 「こんな式が挙げたい」と
いう曖昧なニーズを扱いた
い、という試み

65. 「検索メディア」
から
「意思決定支援サービス」へ

66. https://hana-yume.net/howto/wedding-soudan/https://www.officegift.jp/column/detail8769.html
検索メディア 意思決定支援サービス

67. 大事なこと
• 「なんとなく」や「曖昧」なニーズを扱えること
• インタラクティブであること
• やりとりの記憶・履歴が蓄積されていくこと

68. 一回性 人格性
過去のやり取りが蓄積さ
れるため、「同じクエリ
なら同じ結果が返ってく
る」ということが保証さ
れない一回性の世界。
正解が見えない中での意
思決定支援には、必然的
に「人格」が求められる
（あるいは、勝手に投影
される）世界。

69. 検索が
本当の“体験”になる

70. 今はまだ、“検索”の延長で
しかないけれど
これを第一歩として
進んでいきたい

71. fin