SoftLayer Bluemix Summit 2015: BluemixでWatsonをつかいたおせ！

Copyright © 2015 TIS Inc. All rights reserved.
BluemixでWatsonをつかいたおせ！
2015年9月2日
TIS株式会社
戦略技術センター
油谷実紀

Copyright © 2015 TIS Inc. All rights reserved. 2
自己紹介
油谷実紀(ゆたにみき)
TIS株式会社戦略技術センター
■新規技術の検証と導入
■関心のある領域：AI, IoT, SDI, ロボット
■OSSデザイン指向クラウドオーケストレータ
CloudConductorプロダクトオーナー
http://cloudconductor.org/
Twitter: @blackaplysia
Facebook: 油谷実紀

3つの質問
Q1. Watsonといえば何を連想しますか?
①クイズ番組「Jeopardy!」の勝利と
三井住友銀行への入行内定報道
②Bluemix上の16個のサービス
③「緋色の研究」

3つの質問
Q1. Watsonといえば何を連想しますか?
①クイズ番組「Jeopardy!」の勝利と
三井住友銀行への入行内定報道
③「緋色の研究」
【このセッション終了後の回答】

3つの質問
Q2. Watsonサービスを使ってみたい
ですか?
①Watsonは私が開発した
②明日から使ってみる
③MQTTにしか興味がない

3つの質問
Q2. Watsonサービスを使ってみたい
ですか?
①Watsonは私が開発した
③MQTTにしか興味がない

3つの質問
Q3. Watsonは人工知能だと思いますか?
①はい
②WatsonはIBMがコグニティブ・
コンピューティング・ソリュー
ションとして提供するサービス・
プロダクトのブランド名で、とくに
自然言語処理と機械学習に強い

3つの質問
Q3. Watsonは人工知能だと思いますか?
①はい
②WatsonはIBMがコグニティブ・
コンピューティング・ソリュー
ションとして提供するサービス・
プロダクトのブランド名で、とくに
自然言語処理と機械学習に強い
②(略)※公式見解ではありません

本日は次のテーマについてお話します。
「BluemixユーザがWatsonを使ってみるために
知っておくといいアレコレ」
(1) BluemixとWatsonの微妙な関係
(2) CurlとCFでお手軽な技術検証のやりかた
(3) 実際に使ってみる
(a) Language Translation
(b) Personality Insights
(c) Natural Language Classifier

Watsonとは何か?
■BluemixとWatsonの関係は微妙または複雑
■本セッションでは、
全貌のわかりにくいWatsonを
自分なりにまとめてみた
■現在のAIが目指すものが見えると
Watsonの位置づけも見えてくる

人工知能は実践的(practical)であることを目指す
■Oxford大学(2013)「全米の雇用の47%を
20年以内にコンピュータが奪う」
×輸送・物流(自動運転)、製造(センサ)、
バックオフィス・管理・セールス(ビッグデータ)
○アート、オリジナリティ
出典：http://www.oxfordmartin.ox.ac.uk/downloads/
academic/The_Future_of_Employment.pdf

人工知能は実践的(practical)であることを目指す
■人にできること、人にはできないことを
コンピュータが代替する
→コグニティブ・コンピューティングは
知能(intelligence)ではなく、
認知的タスク(cognitive task)
を実装したソフトウェア
■ひとつのソリューションが「質問応答」
→「第1のWatson」=Watson QAシステム

Watson QAシステムとWatson Explorer
■「Jeopardy!」で74回連続優勝者と
最多賞金獲得者(約3億円)を破る
■大手都銀におけるコールセンターでの活用
→多くの事例はWatson QAではない
→「第2のWatson」=Watson Explorer
※ほかにもWatson Analyticsというプロダクトもある
⇔Watson Engagement AdvisorはほぼWatson QA
預金者オペレーター
①質問
④回答
Watson
②音声または
テキスト入力
③解答候補と
証憑を提示

Watson Explorerの事例
プレスリリース「三井住友海上、IBM Watson
Explorerでお客さまサービスを変革」(2015/4/16)
http://www.ms-ins.com/news/fy2015/pdf/0416_1.pdf
１．システムの概要
本システムには、テキストマイニングや分析を行うソフトウェアである
IBM® Watson Explorerを採用しています。(中略) その結果、コール
センターのオペレーターは、お客さまからのさまざまな質問に対して、
過去の問い合わせ内容をはじめとする構造化・非構造化データの分析に
基づき、適切な情報を得ることができます。
(中略)
注：IBM Watson ExplorerはIBM Watson Content Analyticsと
IBM InfoSphere Data Explorerを統合したソリューションです。
本システムではIBM Watson Content Analytics V3.5（旧称 IBM
Content Analytics V3.0）を採用しています。

BluemixとWatsonの微妙な関係
■「第1のWatson」と「第2のWatson」には
Bluemixは出てこない・・・
■Bluemix上にあるWatsonとは何か?

質問応答ソフトウェアの構造
■質問応答ソフトウェアの基本的な構造
■Watson：システムが仮説を生成し検証
質問例：When was Mozart born?
(1) 焦点(focus)を仮定: when
(2) 回答タイプ(LAT)を仮定: date of birthなど
(3) LATに対応する回答候補を収集: 1756/1/27
※従来技術のクエリ実行はこの処理の一部
(4) 自然言語による回答と確信度、証憑を生成:
“Wolfgang Amadeus Mozart was born on 27 January 1756.”
質問解析検索回答生成
質問
パターン
知識
データ
ベース
回答
テンプ
レート

Watson QAシステムと自然言語処理
■Watson QAシステムの処理フロー
質問解析
仮説生成スコアリング
回答生成&確信度計算
回答・証憑
データベース
出典：http://www.aaai.org/Magazine/Watson/watson.php

■Watson QAシステムの派生技術と周辺技術
質問解析
仮説生成スコアリング
回答生成&確信度計算
回答・証憑
データベース
出典：http://www.aaai.org/Magazine/Watson/watson.php
Relationship Extraction
Speech to Text
Speech to Text
Natural Language
Classifier
Concept Insights

■現在、Watson QAシステムからの
派生技術および周辺技術(と推測される)
16種類のサービスがBluemixにて
公開されている
→「第3のWatson」
=Bluemix上のWatsonサービス
→BluemixとWatsonが紐づいているのは
この文脈のみ(微妙な関係…)

Bluemix上のWatsonサービス
■公開中の16サービスを独断と偏見で分類
すぐに使えるもの
(1) Personality Insights
(2) Question and Answer
(3) Visual Recognition
(4) Tradeoff Analysis
(5) Text To Speech
(6) Speech To Text
(7) Alchemy API
(8) Language Translation
(9) Message Resonance

Bluemix上のWatsonサービス
独自データを投入することで使えるもの
(10) Dialog
(11) Concept Insights
(12) Retrieve and Rank
Watsonの部品サービス(とおもわれるもの)
(13) Relationship Extraction
(14) Natural Language Classifier
(15) Tone Analyzer

すぐに使えるWatsonサービス
サービス名称アイコン利用料用途
Personality
Insights
100回ま
で無料
ソーシャルデータなどを
用いて利用者のパーソナ
リティ分析を行う
Question and
Answer
無料
(β版)
事前に準備されたデータ
の内容に従って質問を解
析し回答候補を生成する
Visual
Recognition
無料
(β版)
画像に対して何が起きて
いるシーンかを解析し分
類する

Tradeoff
Analysis
1,000回
まで無料
複数の選択肢に対するト
レードオフの分析と可視
化を行う
Text to
Speech
100万文
字まで無
料
文字を音声に変換する
Speech To
Text
1,000分
まで無料
音声を文字に変換する

Alchemy API 無料 IBMが買収したAlchemy
API社の画像分類、ニュー
ス配信などのサービス
Language
Translation
100万字
まで無料
62言語を識別し、いくつ
かの言語間ではニュース
などのドメインを指定し
て翻訳を行う
Message
Resonance
無料
(β版)
特定のコミュニティにお
ける言葉の反響度をスコ
ア化する

独自データを投入することで使えるもの
Dialog 無料
(β版)
アプリケーションに利用
者との対話のインタ
フェースを実装する
Concept
Insights
無料
(β版)
文書に直接または間接的
に関連する内容を
Wikipediaの中から探す
Retrieve and
Rank
無料・実
験(1万文
書まで)
機械学習により人間の目
では判断できないデータ
の「シグナル」を見出す

Watsonの部品サービス(とおもわれるもの)
Relationship
Extraction
無料
(β版)
テキストを単語に分割し、
その単語の品詞や意味を
解析する
Natural
Language
Classifier
利用
1,000回
まで無料
テキストに対する分類器
を生成し、学習および
サービス利用する
Tone
Analyzer
無料テキストから感情のトー
ンを解析する

Watsonの日本語対応状況
■「Watson」の名を冠しているプロダクトで
日本語対応済みである主なもの
・Watson Explorer
(Watson Content Analytics)
・Bluemix上のWatsonサービス
・Speech To Text
・Language Translationの
言語識別機能(identify)

Watsonの日本語対応状況
■日本語版Watsonの提供に関するアナウンス
ソフトバンク「Watsonエコシステムプログラム」
http://tm.softbank.jp/watson/
対象市場：IBMとソフトバンクが直販する企業
(大手企業)以外のすべての顧客
(大企業、中堅・中小企業、コンシューマ)
対象企業：
(1) アプリケーションパートナー
(2) データパートナー
(3) タレントパートナー

ここまでのまとめ
■人工知能の歴史の中で、コグニティブ・
コンピューティングは実践的(practical)な
活用を志向しており、IBMによるその
サービスおよびプロダクトのブランドが
Watsonである
■Watsonとよばれるものは文脈によって
違いがあることに要注意
(1) Watson QA (質問応答)システム
(2) Watson Explorer
(3) Bluemix上のWatsonサービス

BluemixダッシュボードによるWatsonサービス利用
■サービスを選択する
①「カタログ」を選択
②サービス
を選択

■サービスを使用する
③「使用」を押す
→サービスインスタンスの作成

ここでバインドするアプリケーションを選択

ちょっと試すだけでアプリケーションを
つくるのは面倒…

アプリケーションの
選択肢をよく見ると
・・・

「アンバインドのまま」
というバラ色の選択肢が！
これを選択
すると・・・
「資格情報名」の
パラメータが出現
→このまま「使用」

■「アンバインドのまま」でも
サービス資格情報(url, username,
password)を入手できた

■このままBluemix外から使えないか?

■このままBluemix外から使えないか?
→(Watsonは)使える
※通常通りサービス課金あり

■資格情報はアプリがサービスインスタンス
を呼び出すためにCloud Foundryから
振り出される認証情報だが、
現在のWatsonは接続元制限をかけていない
サービス Watson …アプリ
Bluemix
Cloud Foundry
外部
アプリ
○
×
○
○

Bluemix外からのWatson利用
■Bluemix外からWatsonを利用してみよう
①Watsonサービスインスタンスの作成
②Watsonサービスインスタンスの
資格情報の作成
③Watsonサービスインスタンスへの接続
Bluemix
Cloud Foundry
外部
アプリ
①② ③

Bluemix外からのWatson利用
■Bluemix外からWatsonを利用してみよう
①cf create-service
②cf create-service-key
③curl
Bluemix
Cloud Foundry
外部
アプリ
①② ③

cf - Cloud Foundry CLI
■Cloud Foundryのコマンドライン
インタフェース(CLI)であるcfを使う
配布元：https://github.com/cloudfoundry/cli/releases
ドキュメント： http://docs.cloudfoundry.org/
■インストール(以下の例は64bit Linux)
$ wget -O cf-linux64-6.12.2.tgz ¥
> https://cli.run.pivotal.io/¥
> stable?release=linux64-binary&version=6.12.2&¥
> source=github-rel
$ sudo tar zxvf cf-linux64-6.12.2.tgz -C /usr/local/bin/
$ cf -v # バージョン情報が出力されればOK

cfを使ったWatsonサービスインスタンス立ち上げ
■Bluemix利用のローカル設定
# cfサイトとしてBluemixを指定(最初の1回だけ)
$ cf api https://api.ng.bluemix.net
# Bluemixにログイン(たまに必要)
$ cf login -u <IBM ID>
■サービスとプランの確認
$ cf marketplace
# 以下は特定のサービスを検索する例
$ cf marketplace | grep question

■サービスインスタンスの作成
$ cf create-service <サービス> <プラン> <サービス名>
■例
$ cf create-service question_and_answer ¥
> question_and_answer_free_plan ¥
> myqa

■資格情報の作成
$ cf create-service-key <サービス名> <資格情報名>
■例
$ cf create-service-key myqa myqa-credentials

■資格情報の内容を確認(username,
password, urlを含むjsonを表示)
$ cf service-key <サービス名> <資格情報名>

■例
$ cf service-key myqa myqa-credentials
Getting key myqa-credentials for service instance myqa
as your-account...
{
“password”: “<password>",
"url": “<url>",
“username”: “<username>"
}

WatsonのAPI情報のさがしかた
■WatsonサービスAPI情報はどこにあるか?
→Watson Developer Cloudのサイト
http://www.ibm.com/smarterplanet/us/en/
ibmwatson/developercloud/doc/

■WatsonサービスAPI情報はどこにあるか?
→知りたいことはすべて
Watson Developer Cloudにある
http://www.ibm.com/smarterplanet/us/en/
ibmwatson/developercloud/doc/

■REST APIドキュメントの見方
①サービスを選択
②メソッドを選択
③パラメータを熟読

■REST APIドキュメントの見方
① ② ③ ④
①パラメータ名
②とりうる値やrequiredか否か
③パラメータの意味
④パラメータを送る方法と値の型
path: URIの一部
header: httpヘッダ
body: httpデータ
form: htmlフォーム形式

curlを使ったWatson利用例(GET)
$ curl -s -u '<username>:<password>' ¥
> <url>/v1/services ¥
> | jq .
[
{
"description": "Watson for the Travel Domain",
"name": "Travel Content Lab",
"id": "travel"
},
{
"description": "Watson for the Healthcare Domain",
"name": "Healthcare Content Lab",
"id": "healthcare"
}
]
レスポンスjsonには空白がないのでjqで見やすくする

curlを使ったWatson利用例(POST)
$ curl -s -u '<username>:<password>' ¥
> -H 'Content-Type: application/json' ¥
> -H 'Accept: application/json' ¥
> -H 'X-synctimeout: 30' ¥
> -d '{"question":{"questionText":"What is the best ¥
> Japanese restaurants in New York?"}}‘ ¥
> <url>/v1/question/travel ¥
> | jq -r '.[].question.evidencelist[0].text'
Try one of the following: Little Vincent's, 329 New
York Ave, Huntington, ☎ +1 631 423-9620. Italian food,
pizza. Peter Luger's Steakhouse. Est. 1887 in Brooklyn
is one of the best steakhouses in New York.
Benten Japanese Restaurant. In Miller Place is
a highly rated Japanese restaurant.
headerパラメータ
bodyパラメータ
pathパラメータ
なるべく
形式を
指定する
jqでテキスト
だけ抽出

Watsonサービスインスタンスのあとしまつ
■資格情報の削除
$ cf delete-service-key <サービス名> <資格情報名>
■サービスの削除
$ cf delete-service <サービス名>

Language Translationとは
■Language Translationは機械翻訳を提供
■従来のLanguage Identificationや
Machine Translationを統合し、
正式版(GA)としてリリース

Language Translation API
API メソッド用途
基本機能
/v2/identifiable_languages GET 識別可能な言語の一覧を取得
/v2/identify POST 言語を識別
/v2/models GET 翻訳モデルの一覧を取得
/v2/translate POST 翻訳
翻訳モデルのカスタマイズ
/v2/models POST カスタマイズモデルのデータを
投入しトレーニングを開始
/v2/models/{model_id} GET カスタマイズモデルのトレーニ
ング状況を確認
/v2/models/{model_id} DELETE カスタマイズモデルを削除

サービスの利用準備
# サービスを作成
$ cf create-service language_translation standard tr
# サービス資格情報を作成
$ cf create-service-key tr tr-credentials
# サービス資格情報を表示
$ cf service-key tr tr-credentials

識別できる言語の列挙
$ curl –s -u "<username>:<password>" ¥
> <url>/v2/identifiable_languages
{
"languages":[
{
"language":"af",
"name":"Afrikaans"
},
{
"language":"ar",
"name":"Arabic"
},
... ※62個のデータが列挙される

日本語の識別情報を抽出
$ curl -s -u “<username>:<password>" ¥
> <url>/v2/identifiable_languages ¥
> | jq –r '.languages[] | select(.language=="ja")'
{
"name": "Japanese",
"language": "ja"
}
jqで”ja”だけ抽出

日本語テキストの識別
> -X POST ¥
> -H "Accept: application/json" ¥
> -H "Content-Type: text/plain; charset=utf-8" ¥
> -d "吾輩は猫である。名前はまだ無い。"
> <url>/v2/identify
[
{
"confidence": 0.998804,
"language": "ja"
},
... ※全言語の確信度が列挙される

日本語テキストの識別
> -X POST ¥
> -H "Content-Type: text/plain; charset=utf-8" ¥
> -d "吾輩は猫である。名前はまだ無い。"
> <url>/v2/identify ¥
> | jq -r '.languages | .[0:5] | .[] | "¥(.language) ¥(.confidence)"' ¥
> | awk 'BEGIN{k=0;l=0;w=0}
> {n[k]=$1;v[k]=$2;ls=length($1); if(w<ls)w=ls;k++}
> END{f=sprintf("%%-%ds : %%.3f¥n",w);for(i=0;i<k;i++){printf(f,n[i],v[i])}}'
ja : 0.999
zh-TW : 0.000
zh : 0.000
vi : 0.000
ur : 0.000
jqで確信度
TOP5を抽出
awkで結果を整形

翻訳モデルの一覧取得
> <url>/v2/models ¥
> | jq -r '.models[] | select(.target=="en") | .model_id'
ar-en
ar-en-conversational
es-en
es-en-conversational
es-en-patent
fr-en
fr-en-conversational
ko-en-patent
pt-en
pt-en-conversational
pt-en-patent
zh-en-patent
翻訳先が英語のものだけを選択し、
model_idのみ表示
デフォルトモデルのmodel_id
・ss-tt:ニュースドメイン
・ss-tt-conversational:
会話ドメイン
・ss-tt-patent: 特許ドメイン

翻訳してみる
> -X POST -H "Accept: application/json" ¥
> -H "Content-Type: application/json; charset=utf-8" ¥
> -d '{
> "model_id":"es-en",
> "text":["La desaprobación de la presidenta de Chile,
> Michelle Bachelet, llegó a una cifra histórica del 70%,
> de acuerdo con la más reciente encuesta de Adimark."]
> }' ¥
> <url>/v2/translate ¥
> | jq -r '.translations[].translation'
The disapproval of the president of Chile,
Michelle Bachelet, reached a historical figure of 70%,
According to the latest survey of madmen.

翻訳してみる
> -X POST -H "Accept: application/json" ¥
> -H "Content-Type: application/json; charset=utf-8" ¥
> -d '{
> "model_id":“ar-en",
> "text":[" ‫العطية‬ ‫خالد‬ ‫قطر‬ ‫دولة‬ ‫خارجية‬ ‫وزير‬ ‫وصف‬‫االتفاق‬‫بأنه‬ ‫اإليراني‬ ‫النووي‬‫الخيار‬
> ‫ا‬‫ألنسب‬‫واستقرار‬ ‫أمن‬ ‫بضمان‬ ‫ملتزمة‬ ‫بالده‬ ‫أن‬ ‫كيري‬ ‫جون‬ ‫األميركي‬ ‫نظيره‬ ‫أكد‬ ‫بينما‬ ،‫المنطقة‬ "]
> }' ¥
> <url>/v2/translate ¥
> | jq -r '.translations[].translation'
The State of Qatar Foreign Minister Khalid al-Attiyah
described the Iranian nuclear deal as the best option,
while his American counterpart John Kerry stressed
that his country is committed to ensuring
the security and stability of the region."

繰り返してみた
元の文
‫بينما‬ ،‫األنسب‬ ‫الخيار‬ ‫بأنه‬ ‫اإليراني‬ ‫النووي‬ ‫االتفاق‬ ‫العطية‬ ‫خالد‬ ‫قطر‬ ‫دولة‬ ‫خارجية‬ ‫وزير‬ ‫وصف‬
‫أكد‬‫واستقرار‬ ‫أمن‬ ‫بضمان‬ ‫ملتزمة‬ ‫بالده‬ ‫أن‬ ‫كيري‬ ‫جون‬ ‫األميركي‬ ‫نظيره‬‫المنطقة‬.
ar→en
The State of Qatar Foreign Minister Khalid al-Attiyah described
the Iranian nuclear deal as the best option, while his American
counterpart John Kerry stressed that his country is committed
to ensuring the security and stability of the region.
en→ar
‫ونظيره‬ ‫خيار‬ ‫افضل‬ ‫االيراني‬ ‫النووي‬ ‫اتفاق‬ ‫وصف‬ ‫العطية‬ ‫خالد‬ ‫الخارجية‬ ‫وزير‬ ‫قطر‬ ‫دولة‬
‫االمريكى‬‫المنطقة‬ ‫في‬ ‫واالستقرار‬ ‫األمن‬ ‫بضمان‬ ‫ملتزمة‬ ‫بالده‬ ‫ان‬ ‫اكد‬ ‫كيرى‬ ‫جون‬.
ar→en
Qatar Foreign Minister Khalid al-Attiyah described the Iranian
nuclear agreement is the best option and his U.S. counterpart
John Kerry stressed that his country is committed to ensuring
security and stability in the region.
ほとんど同じ文意となっており、正確さを期待できる

翻訳モデルのカスタマイズ
■翻訳モデルのカスタマイズ手順
(1) トレーニングデータを作成
・フォーマット: Translation Memory Exchange (TMX)
https://ja.wikipedia.org/wiki/Translation_Memory_eXchange
(2) POST /v2/modelsにデータを投入
(3) GET /v2/models{model_id}の
statusが“Available”になるまで待つ
(4) POST /v2/translateで翻訳
■結果
・いいかげんに作った.tmxは翻訳に反映されない
・たまに数日経っても”available”にならない
日本語対応に期待！

サービスのあとしまつ
# 資格情報を削除
$ cf delete-service-key tr tr-credentials
# サービスを削除
$ cf delete-service tr

Personality Insightsとは
■Personality Insightsはテキスト著者の
プロファイル(性格や資質)を分析
■顧客のパーソナリティ情報として
CRMなどへの活用が見込める

Personality Insights API
/v2/profile POST プロファイル分析
/v2/visualize POST プロファイルを視覚化する
→廃止(deprecated)

Personality-Insightsの分析結果
■米国の社会心理学研究者が体系化した
3種類のプロファイルカテゴリに基づく分析
(1) パーソナリティ(personality)
Goldbergが提唱したパーソナリティを表す指標で、
性格診断などによく使われる。5因子からなるため
Big Fiveと呼ばれている。
Goldberg(1990), An Alternative "Description of Personality":
The Big-Five Factor Structure. http://projects.ori.org/lrg/
PDFs_papers/Goldberg.Big-Five-FactorsStructure.JPSP.1990.
pdf
Digman(1990), Personality Structure: Emergence of the
Five-Factor Model. http://orientation.uchicagolawandecon.
org/readings/Digman%20on%20Five%20Factor%20Model.pdf

(2) 関心(needs)
Ford(2005)のUniversal Needs Modelに基づいた、
ソーシャルメディアからユーザのニーズをあらわす因子。
IBMの関連研究(2013)に詳しい。
Ford(2005), Brands Laid Bare: Using Market Research for
Evidence-Based Brand Management.
http://www.amazon.co.jp/dp/B000PY4M6O/
Yang and Li(2013), Identifying User Needs from Social Media.
https://domino.research.ibm.com/library/cyberdig.nsf/
papers/28778C32C50DDB9185257BFA005AF49B/%24File/
rj10513.pdf

(3) 価値観(values)
Schwarz(1992)の基本価値理論(Theory of Basic
Values)の10因子を代表する5因子。
加納&谷田(2015)を参照。
Schwarz(1992), Universals in the Content and Structure of
Values: Theoretical Advances and Empirical Tests in
20 Countries. http://citeseerx.ist.psu.edu/viewdoc/download?
doi=10.1.1.220.3674&rep=rep1&type=pdf
加納&谷田(2015), 世界価値観データベースに基づく世界消費者の
把握. http://openarchive.cbs.dk/bitstream/handle/10398/
9151/Fumiko%20Kano%20Gl%C3%BCckstad_1D3-NFC-00-1
.pdf?sequence=1

$ cf create-service personality_insights standard pi
$ cf create-service-key pi pi-credentials
$ cf service-key pi pi-credentials

サンプルテキストの準備
■Bill Gatesのブログ
“Teaching Is About Relationships”(2015/8/16)
http://www.gatesnotes.com/Education/Teaching-Is-About-Relationships
$ head -1 bill-gates-blog.txt
I got my first big comeuppance as a computer
programmer when I was a senior in high school.
I had a job debugging software for a company
...
$ wc bill-gates-blog.txt
13 963 5375 bill-gates-blog.txt

プロファイルを分析する
> -X POST ¥
> -H "Content-Type: text/plain" ¥
> -d @bill-gates-blog.txt ¥
> <url>/v2/profile ¥
> > pi.json
‘@’でファイルから読み込む

出力結果の加工
# Personality, needs, valuesの各項目を取得
$ cat pi.json ¥
> | jq -r '.tree.children[].children[].children[] |
> "¥(.category) ¥(.id) - ¥(.percentage)"' ¥
> | sed 's/ to /-to-/' > pi.txt
# Personalityのみさらに明細を取得
$ cat pi.json ¥
> select(.category=="personality") |
> { cat:.category, id:.id, c:.children[] } |
> "¥(.cat) ¥(.id) ¥(.c.id) ¥(.c.percentage)"' ¥
> | sed 's/ str/-str/;s/ lev/-lev/' >> pi.txt

出力結果の加工
$ cat pi.txt | sort
needs Challenge - 0.04725128806007396
needs Closeness - 0.19382557681651744
needs Curiosity - 0.23522770320357678
...
personality Agreeableness - 0.3354070721930483
personality Agreeableness Altruism 0.1927528788515951
personality Agreeableness Cooperation 0.4702606940590503
...
personality Conscientiousness - 0.5001604388154699
personality Conscientiousness Achievement-striving 0.9405
personality Conscientiousness Cautiousness 0.688059240173
personality Conscientiousness Dutifulness 0.27264580741013カラム目が’-’でない行は明細(Personalityのみ)
それ以外は各項目の値

出力結果の表示
$ cat pi.txt | sort ¥
> | awk "BEGIN{f=¥"%-12s %-22s: %.3f¥¥n¥"}
> {if(¥$3==¥"-¥")printf(f,¥$1,¥$2,¥$4);
> else printf(f,¥"+¥",¥$3,¥$4)}"
needs Challenge : 0.047
needs Closeness : 0.194
needs Curiosity : 0.235
needs Excitement : 0.166
needs Harmony : 0.923
needs Ideal : 0.035
needs Liberty : 0.273
needs Love : 0.848
needs Practicality : 0.983
...

順位付け
$ cat pi.json | jq -r '.tree.c] |
> | sed 's/ to /-to-/' ¥
> | sort -k 4,4 -r ¥
> | head -5
> | awk ¥
> "{printf(¥"%-12s %-18s: %.3f¥¥n¥",¥$1,¥$2,¥$4)}"
values Self-enhancement : 1.000
needs Practicality : 0.983
needs Harmony : 0.923
needs Love : 0.848
personality Openness : 0.771

Martin Luther King牧師演説のパーソナリティ分析
■Martin Luther King牧師の
”I have a dream”演説
http://aboutusa.japan.usembassy.gov/e/jusa-majordocs-king.html
$ head -1 martin-luther-king-speech.txt
I am happy to join with you today in what will go down
in history as the greatest demonstration for freedom
in the history of our nation.
...
$ wc martin-luther-king-speech.txt
83 1657 9100 martin-luther-king-speech.txt

Martin Luther King牧師演説のパーソナリティ分析
$ cat pi.json ¥
> | sed 's/ to /-to-/' ¥
> | sort -k 4,4 -r ¥
> | head -5 ¥
> | awk ¥
> "{printf(¥"%-12s %-18s: %.3f¥¥n¥",¥$1,¥$2,¥$4)}"
values Self-transcendence: 1.000
needs Challenge : 0.968
values Openness-to-change: 0.958
personality Openness : 0.942
needs Love : 0.853

$ cf delete-service-key pi pi-credentials
$ cf delete-service pi

Natural Language Classifierとは
■Natural Language Classifierは
与えられた例文に基づく分類器を作成し、
それによってテキストを分類する
■技術的には深層学習(deep learning)を
採用している
■ソーシャルテキストの分析や感情分析
(sentiment analysis)など、従来は
ユーザ属性やタグ、キーワードを
利用していた分類というタスクを
機械学習によってより精緻にかつ自動化
することができる

Natural Language Classifier API
/v1/classifiers GET 分類器の一覧を表示
/v1/classifiers POST 分類器を作成してデータを投
入しトレーニング開始
/v1/classifiers/{classifier_id} GET 分類器のトレーニング状況を
確認
/v1/classifiers/{classifier_id}
/classify
POST 分類器を使用してテキストを
分類
/v1/classifiers/{classifier_id}
/classify
GET
/v1/classifiers/{classifier_id} DELETE 分類器を削除

$ cf create-service natural_language_classifier ¥
> standard nlc
$ cf create-service-key nlc nlc-credentials
$ cf service-key nlc nlc-credentials

Natural Language Classifierの利用フロー
■Natural Language Classifierの利用には、
まず分類器を作成し、トレーニングする
トレーニング
データの作成
分類器の作成と
トレーニング開始
Available?
分類器の使用
No
Yes
CSVデータ
POST /v1/classifiers
GET /v1/classifiers/{classifier_id}
POST /v1/classifiers/{classifier_id}
GET /v1/classifiers/{classifier_id}

トレーニングデータの作成
■トレーニングデータフォーマット
・形式はCSV、2カラムで構成
第1カラム：トレーニングテキスト
第２カラム：分類クラス
・UTF-8
・カンマ、タブ、改行を含むときは
ダブルクォーテーションで囲む
・ダブルクォーテーション文字は「””」
・[A-Za-z0-9_-]以外の文字を含んでは
ならない

■PandrabotsのAIMLルールをつかってみる
http://www.pandorabots.com/
https://code.google.com/p/aiml-en-us-foundation-alice/
<category>
<pattern>YOU ARE * ME</pattern>
<template>I have no reason to do that to you, <get name='name'/>.</template>
</category>
<category>
<pattern>YOU ARE *</pattern>
<template>
<random>
<li>Thanks for telling me that </li>
<li>You think </li>
<li>Do you mind if I tell other people you say </li>
<li>I will tell my <bot name='botmaster'/> you said </li>
</random>
I am <person/>.
</template>
</category>
XML形式のif-thenルール
AIML: AI Markup Language

# Pandrabot (Alicebot)の公開ルールデータをダウンロード
$ wget https://aiml-en-us-foundation-¥
> alice.googlecode.com/files/¥
> aiml-en-us-foundation-alice.v1-9.zip
# Javascript+jqでXMLをjsonに変換し、CSVに抜き出す
# (手段は省略…後日Qiitaにて公開予定)
$ tail -5 questions.csv
"i play basketball",sports
"how many baseball something",sports
"they play basketball",sports
"do you play baseball",sports
"do you play soccer",sports

分類クラスと件数
分類クラス件数
astrology 13
biography 549
date 36
drugs 36
emotion 118
food 23
geography 843
history 10
literature 35
money 33
movies 61
分類クラス件数
music 17
numbers 109
personality 66
politics 24
primeminister 26
psychology 663
religion 312
science 25
sex 140
sports 24
合計 3,163
クラスごとに件数のばらつきが非常に多い

分類器の作成とトレーニング
> -X POST ¥
> -F training_data=@questions.csv ¥
> -F training_metadata="{
> ¥"language¥":¥"en¥",
> ¥"name¥":¥"knowledge-by-alice¥"
> }" ¥
> <url>/v1/classifiers ¥
> | jq .
(結果は次のスライド)

分類器の作成とトレーニング
(前のスライドで実行したcurlの結果)
{
"status_description": "The classifier instance is
in its training phase, not yet ready to accept classify
requests",
"status": "Training",
"url": “<url>/v1/classifiers/<classifier_id>",
"created": "2015-08-30T04:11:47.207Z",
"language": "en",
"name": "knowledge-by-alice",
"classifier_id": "<classifier_id>"
}

分類器のトレーニングの状況確認
> <url>/v1/classifiers/<classifier_id> ¥
> | jq .
{
"status_description": "The classifier instance is
in its training phase, not yet ready to accept classify
requests",
"status": "Training",
"url": “<url>/v1/classifiers/<classifier_id>",
"created": "2015-08-30T04:11:47.207Z",
"language": "en",
"name": "knowledge-by-alice",
"classifier_id": "<classifier_id>"
}
Statusが“Training”→”Available”
となればトレーニング完了
トレーニングに要した時間(実績)は、
400件で約10分、3,000件で約1時間

トレーニングデータに存在する内容の問い合わせ
> -X POST ¥
> -H "Content-Type:application/json" ¥
> -d "{¥"text¥":¥"what is the Avogadro Constant?¥"}" ¥
> <url>/v1/classifiers/<classifier_id>/classify ¥
> | jq -r '.classes[0:5] | .[] | "¥(.class_name) ¥(.confidence)"' ¥
> {n[k]=$1;v[k]=$2;ls=length($1);if(w<ls)w=ls;k++}
> END{f=sprintf("%%-%ds : %%.3f¥n",w);
> for(i=0;i<k;i++){printf(f,n[i],v[i])}}'
science : 0.961
religion : 0.013
literature : 0.005
biography : 0.003
geography : 0.003
トレーニングデータにあるとおり、
Scienceの確信度が非常に高かった
トレーニングデータ：
> "what is avogadro s number",science

トレーニングデータに存在しない内容の問い合わせ
> -X POST ¥
> -H "Content-Type:application/json" ¥
> -d "{¥"text¥":¥"what is the Planck Constant?¥"}" ¥
> <url>/v1/classifiers/<classifier_id>/classify ¥
> | jq -r '.classes[0:5] | .[] | "¥(.class_name) ¥(.confidence)"' ¥
> {n[k]=$1;v[k]=$2;ls=length($1);if(w<ls)w=ls;k++}
> END{f=sprintf("%%-%ds : %%.3f¥n",w);
> for(i=0;i<k;i++){printf(f,n[i],v[i])}}'
science : 0.468
religion : 0.194
geography : 0.132
literature : 0.044
biography : 0.044
トレーニングデータになくとも
それなりの回答になっている
→Watsonのベース知識が有効に機能
(Wikipedia、DBpedia等)
トレーニングデータ：該当なし

テキストの内容を少しずつ変化させる
■以下のテキストを分類
①who is Zarathustra?
②what is Zarathustra?
③what is ‘Thus spoke Zarathustra?’
④what is ‘Thus spoke Zarathustra’ written by Friedrich
Nietzsche?
⑤who is Friedrich Nietzsche?
① ② ③ ④ ⑤
第1位 biography Geograp... movies religion biography
確信度 0.979 0.270 0.396 0.370 0.987
第2位 movies literature geography biography movies
第3位 primemin... religion religion geography primemin...
第4位 music moviews science science music
第5位 Politics science literature literature politics

試行錯誤の結果
■トレーニング
・トレーニングデータに一般的なテキストが
多いほど(ex. “Who are you?”)、
そのテキストを含む分類クラスの確信度が
高くなる傾向にある
・トレーニングデータになくともWatsonが
はじめからもっている知識を利用している
■確信度
・確信度が0.7を下回るときには、適切な回答
とみなさない対応をするほうがよい
(Pepperが話題をそらしてごまかすように)

$ cf delete-service-key nlc nlc-credentials
$ cf delete-service nlc

本日のまとめ
■Bluemix上にはWatsonと呼ばれる
16個のサービスがある
■cfとcurlとjqを駆使すれば、プログラムを
書かずともWatsonを簡単に使える
■Watsonサービスはアプリケーションの
部品としての価値がありそう
■とにかく日本語対応が待ち遠しい！

SoftLayer Bluemix Summit 2015: BluemixでWatsonをつかいたおせ！

SoftLayer Bluemix Summit 2015: BluemixでWatsonをつかいたおせ！

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (14)

Similar a SoftLayer Bluemix Summit 2015: BluemixでWatsonをつかいたおせ！

Similar a SoftLayer Bluemix Summit 2015: BluemixでWatsonをつかいたおせ！ (20)

Más de Miki Yutani

Más de Miki Yutani (13)

SoftLayer Bluemix Summit 2015: BluemixでWatsonをつかいたおせ！