マイニング探検会 #01

マイニング探検会 #1 東京大学情報基盤センター学術情報研究部門　助教清田　陽司 (兼株式会社リッテル上席研究員) 2010年4月9日＠東京大学アントレプレナープラザ会議室

素朴な疑問そもそも、図書館の価値ってなに？過去の情報の蓄積と提供研究・調査・教育のための知的インフラ情報リテラシーを育てる場「知る権利」の保証＝民主主義を支える柱 etc. まわりの人たちに価値をどうやって伝えるか？

Webが世界に与えたインパクト最初は「ハッカーのおもちゃ」まわりの人たちを巻き込んでいくことで爆発的に成長世界に新たな「知的ゲーム」を提供した究極の「暇つぶしツール」参加者の数が価値を生み出している多くの人々の人生に新たな意味を与えたゲームの意味を問うことには意味がない！意味は後から生み出される

知的ゲームの提供者としての図書館現在の図書館の基盤を築いたのは何か？誰でも情報に触れられる場を提供したこと膨大な情報を検索できるツールを提供したこと価値あるゲームを社会に提供することで認められた Webによってかなりの部分が代替されつつある -> 新たな知的ゲームを創造すべき時期になっている！

新たな知的ゲームを創造するために多くの人々を巻き込むしかけ組織の壁を超えた交流エンターテインメント精神が大事 Webがもつ価値を徹底的に利用 Webを支える「ルール」と「テクニック」を知っておくプログラミングできなくても大丈夫実際に手を動かして体験学習図書館パラダイムの再構築ライブラリアンシップを次の世代に受け継ぐためにひとりひとりが新サービスのプロデューサーとしての役割を果たしていこう！

トピック案情報検索 Lucene, GETAssoc データマイニング相関ルール抽出、回帰分析、機械学習、クラスタリングレコメンデーション協調フィルタリング、プロファイル推定、… テキスト処理形態素解析、構文解析、固有表現抽出、… 大規模データ処理 Hadoop、Amazon EC2/S3、Google Apps Engine、Windows Azure 信頼性の向上 HDFS、ZooKeeper、… Webインタフェース AJAX、Flash、HTML5、…

API (Application Programming Interface) OS(Windows、MacOS、Linuxなど)やプログラミング言語(C言語、Java、C#など)によって提供 OSやライブラリ内部の機能を利用できる APIの役割アプリケーション開発においてプログラミングの手間を省くシステム間の連携抽象化 (=人間のレベルに近づける) 簡潔さと柔軟性のトレードオフ抽象化しすぎると細かな要望に手が回らない

Web API APIの概念をWebの世界に援用単に「API」といえば「Web API」 Webサービス運営者によって提供 Webサービス内部の機能やデータを利用できる Web APIの役割新たなWebサービス開発の手間を省く Webサービス間の連携 -> マッシュアップ抽象化トレードオフが存在簡単にするほど細かな処理ができなくなる

Web APIを支える技術リソースの指定 IPアドレスドメイン名 URL 通信プロトコル TCP/IP (インターネット) HTTP / HTTPS (cf. Z39.50) ファイルフォーマット XML JSON APIへの情報送信 SOAP REST

URL (Uniform Resource Locater) インターネット上のリソースの「住所」プロトコル＋ホスト名＋パス名で構成 http://ja.wikipedia.org/wiki/Wikipedia https://mail.google.com/mail/ ftp://ftp.iij.ad.jp/pub/linux/centos/5/os/x86_64/ ホスト名はドメイン名またはIPアドレス http://124.83.167.215/hl

HTTP(HyperText Transfer Protocol) Webを支える基盤プロトコル(通信規約) ほぼすべてのWebサービスはHTTPを利用暗号化されたHTTP = HTTPS クライアント＝サーバモデルクライアント(ブラウザとか)からのリクエストを受けて、サーバがコンテンツをクライアントに返すいろんなコンテンツを送れるテキスト、画像、動画、プログラム、XML、… サーバがコンテンツをどう作るかは関知せずディスクにしまってあるコンテンツをそのまま書き出してもよい (静的コンテンツ) プログラムでコンテンツをその場で作ってしまってもよい(動的コンテンツ)

静的コンテンツの場合 GET/ HTTP/1.1 Host: www.mi-tan.jp User-Agent: Mozilla/5.0 ….. サーバ (www.mi-tan.jp) クライアント (ブラウザソフト) URLの入力インターネット HTTPサーバコンテンツの表示 HTTP/1.1 200 OK Date: Tue, 06 Apr 2010 13:14:32 GMT Server: Apache Content-Type: text/html <html> <head><title>マイニング探検会（マイタン） - 図書館の未来を探る勉強会 -</title> </head> <body class=“mainPage”> … </body> <html> <head><title>マイニング探検会（マイタン） - 図書館の未来を探る勉強会 -</title> </head> …

動的コンテンツの場合 GET/search?p=マイニング探検会&ei=UTF-8 HTTP/1.1 Host: search.yahoo.co.jp User-Agent: Mozilla/5.0 サーバ (search.yahoo.co.jp) クライアント (ブラウザソフト) 検索クエリーの入力インターネット HTTPサーバコンテンツの表示 HTTP/1.1 200 OK Date: Tue, 06 Apr 2010 13:14:32 GMT Server: Apache Content-Type: text/html <html> <head><title>「マイニング探検会」の検索結果 - Yahoo!検索</title> </head> <body> … </body> 検索エンジンサーバ検索インデックス

HTTPリクエストのメソッド GET URL埋め込み形式で情報を送ることができる http://search.yahoo.co.jp/search?p=マイニング探検会&ei=UTF-8 サイズ制限あり (Internet Explorerでは2083bytes) ブラウザから簡単に試せる POST さまざまなコンテンツを送ることができるファイルをアップロードすることも可能サイズ制限なし利用が少し面倒

XML (eXtensible Markup Language) <?xml version="1.0" encoding="UTF-8"?> <レシピ名前="パン" 準備時間="5分" 調理時間="3時間"> <料理>基本的なパン</料理> <材料量='3' 単位='カップ'>小麦粉</材料> <材料量='0.25' 単位='オンス'>イースト</材料> <材料量='1.5' 単位='カップ' 状態="温かい">水</材料> <材料量="1" 単位="ティースプーン">食塩</材料> <要領> <手順>全ての材料を一緒にして混ぜます。</手順> <手順>十分にこねます。</手順> <手順>布で覆い、暖かい部屋で1時間そのままにしておきます。 </手順> <手順>もう一度こねます。</手順> <手順>パン焼きの容器に入れます</手順> <手順>布で覆い、暖かい部屋で1時間そのままにしておきます。 </手順> <手順>オーブンに入れて温度を180℃にして30分間焼きます。 </手順> </要領> </レシピ> マークアップ言語の規格電子的文書を記述する規格SGMLの後継「タグ」で構造を表現できる応用例ニュースリーダー (RSS) 電子書籍 (Open eBook) オフィス文書

SOAPとREST SOAP (Simple Object Access Protocol) REST (Representational State Transfer) XMLで記述されたSOAPメッセージを送信利点 HTTP以外も利用可能 (SMTP) 複雑な指示が送れる欠点利用が面倒キャッシュ不可 URLを情報送信の手段として利用利点簡単に利用できるキャッシュ可能欠点 HTTPに依存あまり複雑な指示は送れない

紹介するWeb API Amazon Twitter CiNii (国立情報学研究所) PORTA (国立国会図書館) レファレンス共同データベース (国立国会図書館) J-Global (科学技術振興機構)

Amazon Product Advertising API Amazonの商品情報を利用したサイト構築のための機能を提供商品検索検索条件による絞り込み商品画像の表示商品情報の取得レビュー・ランキング・関連商品・販売状態などの取得アフィリエイトとの連携 (Amazonアソシエイト) サーバーサイド SOAPまたはRESTが利用可能 APIキーの発行が必須 http://developer.amazonwebservices.com/connect/kbcategory.jspa?categoryID=19

Twitter API Twitterのアプリケーションを作るために必要な一通りの機能を提供タイムラインの取得ステータスの取得アカウント情報の取得発言の投稿 3種類のAPI REST 2種類 (歴史的経緯) Streaming GETメソッド (メッセージ投稿など一部はPOST) 公開ユーザのタイムライン取得以外は認証が必要ドキュメント http://apiwiki.twitter.com/ 利用例 (自分のタイムライン) http://api.twitter.com/1/statuses/home_timeline.xml

CiNii API NII論文検索の基本的な機能を提供ツールバーなどからの論文・著者検索論文・著者詳細情報の取得 CiNii内のコンテンツへの直接リンク GETメソッド REST準拠フォーマット検索: RSS or Atom 詳細情報: RDF 認証不要ドキュメント http://ci.nii.ac.jp/info/ja/if_link_receive.html 利用例 (RSSフィード) http://ci.nii.ac.jp/opensearch/search?q=長尾真&range=0&sortorder=1&start=1&count=20&format=atom

PORTA API NDL PORTAコンテンツの検索とハーベスティング機能を提供 GETメソッド/POSTメソッドが混在 REST/SOAP/Z39.50が混在認証不要

レファレンス協同データベースAPI 詳細検索画面と同等の検索機能を提供キーワード検索 (boolean) 館ごとの検索指定アクセス数ランキング GETメソッド REST準拠フォーマット XML (独自形式) 認証不要

J-GLOBAL Web API 4つの基本情報を検索可能「文献」「科学技術用語」「科学物質」「資料」 J-GLOBAL サイトの検索結果一覧と同等レベルの情報を取得可能取得可能な検索結果 HTML形式あらかじめレイアウトが決まっていて簡単に実装可。 JSON形式項目ごとにデータを取得し、自由にレイアウトが可。 WebAPIキーの取得が必要

APIの利用制限 APIキーの発行を受けないと利用できないものがある呼び出し頻度に注意過度の呼び出しはサーバに負荷をかけるアクセス制限を受けることも利用規約非営利利用に制限されているものリンクを張ることが義務づけられているもの(Amazonなど)

Web API提供の考え方なぜ公開するのか？お互いハッピーになれるかも？ cf. カーリルのスクレイピング何を公開し、何を公開しないか？個人情報はNG レコメンデーションは？どうやって普及させるか？ APIコンテストアフィリエイト開発者(ベンダー含む)との関係をどう築いていくか？サービスとしてどう継続していくか？標準をどう作っていくか？営利と非営利の境界線図書館とWeb書店はどこまで連携可能か？

マイニング探検会 #01

Recomendados

Recomendados

Más contenido relacionado

Similar a マイニング探検会 #01

Similar a マイニング探検会 #01 (20)

Más de Yoji Kiyota

Más de Yoji Kiyota (20)

Último

Último (7)

マイニング探検会 #01